MLOps Engineer_MLOps platform Squad

About the company

Ժամանակակից լոկալ DataOps և մեքենայական ուսուցման հարթակի կառուցում և շահագործում տվյալների ինժեներների և տվյալագիտության թիմերի համար։ Հարթակը հիմնված է Kubernetes-ի վրա և սպասարկում է տվյալների մշակման, վերլուծության և մեքենայական ուսուցման համակարգերի մասշտաբավորվող, բարձր հասանելիությամբ աշխատանքային ծանրաբեռնվածություն։ Այս հաստիքը համատեղում է DevOps ճարտարագիտությունը, «տվյալների լճի» տեսքով պահոցի ժամանակակից ճարտարագիտությունը և MLOps աջակցությունը։

Your tasks

• Նախագծել, տեղակայել և շահագործել Kubernetes կլաստերներ (լոկալ) իրական միջավայրում՝ կենտրոնանալով բարձր հասանելիության, մասշտաբավորման և առանց դադարների տեղակայումների վրա
• Կառավարել Helm գծապատկերները և ArgoCD-ն հարթակի և հավելվածների աշխատանքային ծանրաբեռնվածության` GitOps-ի վրա հիմնված շարունակական սպասարկման համար
• Կառուցել և սպասարկել CI/CD հոսքագծերը Azure DevOps-ում՝ տվյալների և մեքենայական ուսուցման սերվիսների ավտոմատացված թեստավորման և տեղակայման համար
• Նախագծել և սպասարկել ժամանակակից «տվյալների լիճ»՝ օգտագործելով բաց աղյուսակների ձևաչափեր (Iceberg) լոկալ և հիբրիդային պահպանման համար
• Կառուցել, պլանավորել և վերահսկել մասշտաբավորվող խմբային և հոսքային հոսքագծեր՝ օգտագործելով Apache Airflow-ն, Apache Spark-ը և Apache Flink-ը
• Տեղակայել և շահագործել Trino-ն և ClickHouse-ը որպես հարցումների սպասարկման համակարգ` «տվյալների լճի» վերլուծության համար
• Տեղադրել և շահագործել JupyterHub-ը և Dagster-ը Kubernetes-ի վրա՝ մեքենայական ուսուցման փորձարկումների և աշխատահոսքերի կառավարման համար
• Կառավարել Feature Store-ը (Feast / PostgreSQL) և Parquet-ի վրա հիմնված տվյալների պահոցը մեքենայական ուսուցման աշխատանքային ծանրաբեռնվածության համար
• Սերտորեն համագործակցել տվյալագիտության և տվյալների ինժեներների թիմերի հետ՝ մեքենայական ուսուցման աշխատահոսքերը իրական միջավայրի համար նախապատրաստելու և նոր տվյալների աղբյուրներ ներդնելու համար

Requirements

• Գործնական փորձ Kubernetes կլաստերները զրոյից նախագծելու և կառավարելու ոլորտում (ցանկալի է` լոկալ միջավայրում)
• Helm-ի և ArgoCD-ի հետ աշխատելու գործնական փորձ՝ Kubernetes միջավայրերում GitOps-ի հիման վրա հավելվածների տեղակայման համար
• Azure DevOps-ի միջոցով CI/CD հոսքագծեր կառուցելու փորձ
• Apache Airflow-ի, Apache Spark-ի և Apache Flink-ի հետ աշխատելու փորձ՝ հոսքագծերի կառավարման և մշակման համար
• Trino-ի կամ ClickHouse-ի` որպես հարցումների մշակման բաշխված մեխանիզմների հետ աշխատելու փորձ
• dbt-ի հետ աշխատելու փորձ՝ տվյալների փոխակերպման և մոդելավորման համար
• Ժամանակակից բաց աղյուսակների ձևաչափերի (Iceberg) իմացություն
• Dagster, JupyterHub, Feast կամ Parquet-ի վրա հիմնված տվյալների լճերի ձևանմուշների իմացությունը կդիտվի որպես առավելություն