Data Engineer

Devire Outsourcing IT to forma współpracy dedykowana dla specjalistów z branży IT, oparta na zasadach własnej działalności gospodarczej - B2B, realizująca projekty dla Klientów prowadzących innowacyjne i nowoczesne projekty.

Dla naszego Klienta - wiodącej międzynarodowej firmy świadczącej usługi bankowo-finansowe Data Engineera, który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie wysokowydajnych platform danych wspierających procesy analityczne w obszarze FX (Foreign Exchange).

• Wynagrodzenie: 120-150 PLN/h netto + VAT
• Lokalizacja: w pełni zdalnie (raz na kwartał wizyta w biurze- Wrocław/Poznań/Warszawa)
• Forma współpracy: B2B, z możliwością skorzystania z dodatkowych benefitów - karta sportowa, prywatna opieka medyczna, ubezpieczenie na życie, platforma językowa
• Czas trwania projektu: długofalowy kontrakt

Daily tasks

• Projektowanie, rozwój i utrzymanie baz danych PostgreSQL.
• Modelowanie danych oraz projektowanie struktur bazodanowych.
• Optymalizacja wydajności zapytań SQL i procesów przetwarzania danych.
• Analiza planów wykonania zapytań oraz optymalizacja indeksów.
• Tworzenie i rozwój procedur, funkcji oraz triggerów w PL/pgSQL.
• Implementacja i optymalizacja procesów ETL.
• Praca z dużymi wolumenami danych oraz rozwiązaniami klasy Big Data.
• Zarządzanie partycjonowaniem tabel, indeksami i widokami materializowanymi.

Requirements

• Minimum 5 lat doświadczenia w pracy z PostgreSQL.
• Bardzo dobra znajomość SQL.
• Zaawansowana znajomość PostgreSQL i jego architektury.
• Doświadczenie w modelowaniu danych relacyjnych, normalizacji i denormalizacji.
• Praktyczna znajomość PL/pgSQL, w tym procedur, funkcji i triggerów.
• Doświadczenie w optymalizacji wydajności baz danych i analizie planów wykonania zapytań.
• Znajomość indeksów B-Tree, Hash, GIN, GiST i BRIN.
• Doświadczenie w pracy z dużymi wolumenami danych.
• Praktyczna znajomość integracji ETL.
• Znajomość zagadnień związanych z VACUUM, ANALYZE, autovacuum oraz monitoringiem wydajności.
• Znajomość systemu Linux.

Mile widziane

• Podstawowa znajomość Python.
• Doświadczenie w pracy z RabbitMQ lub Kafka.
• Znajomość Apache Airflow.
• Doświadczenie w obszarze CI/CD.
• Doświadczenie w sektorze bankowym lub finansowym.

Must have: PostgreSQL, SQL, ETL, Linux

Nice to have: Python, RabbitMQ, Kafka, Apache Airflow, CI/CD