Senior Data Engineer [M/F]

Projekt obejmuje budowę i optymalizację pipeline’ów danych wspierających analitykę, systemy rekomendacyjne oraz rozwiązania Machine Learning. Będziesz współpracować z zespołami Data Science i Engineering, dbając o niezawodność, wydajność oraz wysoką jakość danych w środowisku produkcyjnym.

Daily tasks

• rozwój, utrzymanie i optymalizację skalowalnych platform danych,
• budowę i obsługę złożonych pipeline’ów ETL/ELT,
• zapewnienie niezawodności pipeline’ów przetwarzających miliardy zdarzeń dziennie,
• monitoring, observability oraz zapewnienie wysokiej jakości danych,
• rozwiązywanie problemów produkcyjnych i dbanie o stabilność infrastruktury,
• współpracę z Data Scientistami, Analystami i zespołami Engineering,
• rozwój narzędzi i frameworków wspierających Data Platform,
• pracę przy rozwiązaniach związanych z ML, streamingiem oraz systemami rekomendacyjnymi,
• utrzymywanie i rozwój infrastruktury działającej w środowisku Kubernetes/GKE,
• rozwój standardów Software Engineering i Data Engineering.

Requirements

min. 6-letnie doświadczenie w roli Data Engineera, bardzo dobra znajomość Python, SQL oraz Spark , doświadczenie w budowie i utrzymaniu dużych pipeline’ów ETL/ELT, doświadczenie z narzędziami orkiestracyjnymi, np. Apache Airflow , praktyczne doświadczenie z chmurą: GCP, AWS lub Azure , doświadczenie w pracy z dużymi wolumenami danych, znajomość Kubernetes , dobra znajomość praktyk Software Engineering, doświadczenie z Git oraz CI/CD , samodzielność i umiejętność przejmowania odpowiedzialności za działające systemy produkcyjne, bardzo dobre umiejętności analityczne i rozwiązywania problemów, zaawansowana znajomość języka angielskiego ( min. B2 ).

Must have: Python, Spark, SQL, ETL, Kubernetes, CI/CD, Git, GCP, AWS, Azure, Orkiestracja danych

Nice to have: Apache Airflow