Senior Data Engineer - IT Contracting

Klientem końcowym jest firma z branży bankowej. Branża: Technology & Telecoms Obszar: IT Data Analysis Oferujemy

Praca w modelu hybrydowym (Gdańsk - 3 dni pracy z biura w tygodniu)

Umowa B2B via Michael Page (Pierwszy kontrakt do końca roku z prawdopodobieństwem przedłużenia)

Start pracy w projekcie: ASAP

Daily tasks

• Projektowanie i rozwój rozwiązań do przetwarzania dużych wolumenów danych.
• Tworzenie oraz optymalizacja procesów ETL i transformacji danych.
• Analiza i implementacja złożonych wymagań biznesowych w postaci wydajnych zapytań SQL.
• Rozwijanie rozwiązań opartych o Hadoop i Spark.
• Współpraca z zespołami biznesowymi oraz technicznymi przy dostarczaniu rozwiązań raportowych.
• Zapewnienie wsparcia L3 dla środowisk produkcyjnych.
• Współpraca z zespołami Production Assurance w zakresie diagnozowania i rozwiązywania problemów.
• Udział w usprawnianiu procesów CI/CD oraz automatyzacji wdrożeń.

Requirements

5+ lat doświadczenia na stanowisku Data Engineer.

Doświadczenie w pracy z rozproszonym przetwarzaniem danych.

Bardzo dobra znajomość SQL oraz umiejętność przekładania złożonych wymagań biznesowych na rozwiązania techniczne.

Doświadczenie w zakresie wsparcia produkcyjnego (L3 Support).

Umiejętność komunikowania kwestii technicznych w sposób zrozumiały dla biznesu.

Bardzo dobra znajomość języka angielskiego.

Must have IT skills: Apache Hadoop, Apache Spark, Scala, SQL i transformacje danych, Workflow orchestration (Oozie, Airflow), CI/CD (Git, Jenkins, Pull Requests/Code Review), Kafka i architektury event-driven

Must have: SQL, Apache Hadoop, Spark, Scala, Airflow, CD, Git, Jenkins, Kafka