Engenheiro de Dados

Principais responsabilidades

Projetar, desenvolver e manter pipelines de dados utilizando arquiteturas ETL/ELT.

Desenvolver processos de ingestão, transformação, integração e disponibilização de dados.

Atuar na construção e otimização de soluções utilizando Snowflake e serviços da AWS.

Desenvolver e manter scripts e processos de processamento de dados utilizando Python e SQL.

Implementar e gerenciar fluxos de trabalho e orquestração de pipelines utilizando Apache Airflow/MWAA.

Desenvolver e manter modelos de dados utilizando dbt.

Aplicar boas práticas de modelagem, qualidade, governança e segurança dos dados.

Implementar processos de versionamento e integração contínua (Git/CI/CD).

Monitorar, identificar e solucionar problemas relacionados à execução e performance dos pipelines.

Contribuir para a evolução da arquitetura de dados, buscando escalabilidade, eficiência e otimização de custos.

Requisitos técnicos

Experiência em Engenharia de Dados e desenvolvimento de pipelines ETL/ELT.

Conhecimento avançado em Python e SQL.

Experiência com Snowflake.

Conhecimento em serviços e arquitetura AWS, especialmente S3, Glue, Redshift, Lambda e demais serviços relacionados à engenharia de dados.

Experiência com Apache Airflow ou Amazon MWAA.

Conhecimento em dbt para transformação, modelagem e testes de dados.

Experiência com Git e práticas de CI/CD.

Conhecimento em modelagem de dados e integração de diferentes fontes de informação.

Capacidade de troubleshooting e otimização de processos de dados.