Spark / Data Lakehouse Developer

Kogo szukamy?

Do zespołu Data Platform szukamy doświadczonego Spark / Data Lakehouse Developera , który będzie rozwijał rozwiązania Data Engineeringowe związane z rekoncyliacją danych, MongoDB oraz architekturą Data Lakehouse. Oferujemy pracę przy nowoczesnej platformie Data Lakehouse, udział w ciekawych projektach związanych z dużymi zbiorami danych, pracę z nowoczesnym stackiem: Spark, MongoDB, Iceberg, Kubernetes, Prometheus, Grafana , możliwość rozwoju i wpływu na rozwiązania technologiczne, współpracę z doświadczonym zespołem,

Requirements

Oczekiwania min. 4 lata doświadczenia z Apache Spark, bardzo dobra znajomość PySpark i Spark SQL, doświadczenie z MongoDB i MongoDB Spark Connector, praktyczna znajomość Apache Iceberg, doświadczenie w budowie warstw Data Lakehouse: raw/bronze/silver/gold, znajomość CI/CD i Jenkins, znajomość Prometheus i Grafana, doświadczenie w Scrum/Kanban oraz pracy z Jira/Confluence. Wymagania umiejętność optymalizacji procesów Spark, doświadczenie w rekoncyliacji i kontroli jakości danych, znajomość partitioningu, caching, broadcast joins i AQE, doświadczenie w pracy z dużymi zbiorami danych, samodzielność i analityczne podejście do rozwiązywania problemów, umiejętność współpracy z zespołami Data, QA i DevOps.

Must have: Apache Spark, PySpark, Spark SQL, MongoDB, Spark, Data Lake, Jenkins, Prometheus, Grafana, Kanban, Jira, QA, DevOps