Инженер платформы данных
реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer); реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника; построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям; реализация и поддержка прикладных решений для контроля качества данных в DWH; реализация и поддержка прикладных решений для управления метаданными DWH; участие в R D для выбора инструментов для построение отдельных частей платформы данных.
Требования
базовые навыки в области инженерии данных; системное аналитическое инженерное мышление; умеренный перфекционизм и внимание к деталям; понимание концепций проектирования DWH; продвинутый уровень знания SQL; высокий уровень владения Python для обработки данных; опыт работы с оркестраторами и понимание концепции DAG; опыт разработки и поддержки end-to-end пайплайнов данных; опыт получения данных из различных типов API; опыт работы с потоковой обработкой данных; умение работать с GIT.
Высшее образование — специалитет, магистратура; Опыт: 6 лет