Databricks Data Engineer

Sobre a YellowIpe

Temos a missão de inspirar a conexão da tecnologia com as pessoas, fomentamos o melhor de nossos profissionais através de nossa expertise em encontrar e atrair os melhores talentos para os melhores projetos. O Foco nas Pessoas, Colaboração e Comprometimento são os pilares que nos guiam nessa trajetória.

Junte-se à equipa amarela como nosso novo Databricks Data Engineer!

Responsabilidades:

Colaborar com a equipa de Data & Analytics de uma instituição financeira prestigiada em Lisboa, suportando a migração das capacidades de engenharia de dados da Azure Synapse para a plataforma Databricks. Executar tarefas de engenharia de dados, focando na adoção e implementação eficaz do Databricks, utilizando a arquitetura Data Vault estabelecida que classifica os dados em camadas de bronze (dados brutos), prata (dados estruturados e processados que compõem a camada de data lake) e ouro (camada orientada ao negócio e pronta para consumo). Construir, otimizar e manter pipelines de transformação de dados, garantindo a eficiência e escalabilidade na movimentação de dados entre as várias camadas. Implementar práticas robustas de governança de dados durante o processo de engenharia, assegurando a criação de um catálogo de dados abrangente e a rastreabilidade dos dados (data lineage), integrando essas funcionalidades na nova arquitetura. Trabalhar em estreita colaboração com a equipa interna, proporcionando suporte técnico e compartilhando conhecimento para reforçar as capacidades de engenharia da equipa. Realizar testes rigorosos e garantir a qualidade dos dados durante todo o processo de migração, abordando e resolvendo problemas de performance de forma proativa. Contribuir para a documentação técnica e manual de melhores práticas, garantindo que todo o conhecimento adquirido durante o projeto esteja acessível para a equipa.

Requisitos:

Experiência prática comprovada com Databricks, não sendo suficiente experiência genérica em Spark ou engenharia de dados na nuvem (obrigatório). Sólidos conhecimentos em Engenharia de Dados, com historial demonstrado na construção e otimização de pipelines em arquiteturas de dados em camadas (obrigatório). Experiência prévia em práticas de governança de dados, incluindo implementação e gestão de catálogos de dados e rastreabilidade de dados (obrigatório). Familiaridade com modelagem Data Vault será considerada uma vantagem significativa. Entre 4 a 5 anos de experiência relevante em Engenharia de Dados, preferencialmente em ambientes financeiros ou similares. Fluência em inglês é essencial; conhecimento de português será um diferencial valorizado. Disponibilidade para um regime híbrido de trabalho, com pelo menos 2 dias por semana requerendo presença física no escritório. Localização: Lisboa, Portugal.

Diferenciais:

Experiência com as capacidades de Inteligência Artificial e Machine Learning do Databricks será considerada uma vantagem, embora não constitua um requisito essencial. Habilidade em trabalhar em equipas multifuncionais e em ambientes ágeis, adaptando-se rapidamente a novas tecnologias e desafios. Certificações em Databricks, Azure ou outras plataformas relevantes são um plus.

Informações importantes:

Tipo de contrato: full-time Localização: Lisboa, Portugal Modalidade: Híbrido – pelo menos 2 vezes por semana no escritório Idioma(s) necessário(s): Inglês obrigatório; Português será considerado um diferencial Nível: Não especificado

Candidatura: Ver a vaga e candidatar-me na YellowIpe