Arquitecto Databricks

Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información solicita:

Databricks Solution Architect

Ingles conversacional obligatorio

Trabajo en esquema hibrido (2 días Home Office - 3 días en sitio)

A laborar en CDMX o Guadalajara

Requisitos indispensables

Más de 12 años de experiencia en tecnologías de información (IT).

Al menos 5 años de experiencia en arquitectura de soluciones con Databricks.

Experiencia sólida en diseño e implementación de arquitecturas Lakehouse empresariales.

Experiencia práctica con Apache Spark, PySpark, Spark SQL, Python y SQL.

Experiencia diseñando plataformas de datos cloud a escala empresarial.

Conocimientos sólidos de Delta Lake, Unity Catalog, Databricks Workflows y herramientas de ingesta y transformación.

Experiencia en integración de datos, modelado, optimización de consultas y desarrollo de pipelines ETL/ELT.

Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.

Conocimientos de automatización, infraestructura como código y pipelines CI/CD.

Experiencia liderando decisiones de arquitectura, equipos técnicos y conversaciones con stakeholders.

Principales responsabilidades

Arquitectura y estrategia de datos

Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.

Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.

Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.

Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.

Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.

Data Engineering e integración

Diseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.

Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.

Optimizar procesos de ingesta, transformación, modelado y consulta de datos.

Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.

Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.

Cloud y plataforma

Diseñar e implementar soluciones Databricks en Azure, AWS o Google Cloud Platform.

Definir estrategias de almacenamiento, redes, identidad, accesos y seguridad para plataformas de datos.

Implementar infraestructura como código utilizando Terraform y herramientas de automatización cloud.

Diseñar estrategias de despliegue para múltiples ambientes y espacios de trabajo de Databricks.

Optimizar el rendimiento, la escalabilidad y los costos de infraestructura cloud.

Inteligencia artificial y Machine Learning

Diseñar arquitecturas de datos que soporten soluciones de Machine Learning e Inteligencia Artificial Generativa.

Implementar estrategias de gestión del ciclo de vida de modelos utilizando MLflow.

Colaborar con equipos de Data Science y AI para desplegar y operar modelos en ambientes productivos.

Definir buenas prácticas de MLOps, monitoreo y gobierno de modelos.

Participar en iniciativas de IA empresarial mediante Databricks Mosaic AI y frameworks de GenAI.

Gobierno, seguridad y cumplimiento

Implementar Unity Catalog para la gestión centralizada de permisos, metadatos y gobierno de datos.

Definir controles de acceso, RBAC, ABAC, cifrado y gestión de identidades.

Establecer frameworks de clasificación, calidad, auditoría y trazabilidad de datos.

Asegurar la alineación con regulaciones y estándares aplicables, como GDPR, SOX, PCI-DSS y HIPAA, según el sector y el alcance del proyecto.

Liderazgo y gestión de stakeholders

Actuar como referente técnico y experto en Databricks dentro de la organización.

Traducir necesidades de negocio en soluciones y roadmaps de arquitectura de datos.

Liderar revisiones de arquitectura y decisiones técnicas.

Coordinar equipos de Data Engineering, Cloud, Seguridad, Data Science y áreas de negocio.

Mentorear a ingenieros, arquitectos y equipos técnicos.

Participar en actividades de consultoría de soluciones y preventa cuando sea necesario.

Ofrecemos:

Horario de Oficina

Esquema 100% nomina

Sueldo abierto a negociación de acuerdo a experiencia

Prestaciones de Ley

Prestaciones superiores (SGMM familiar, SV 1 millón, Vales de despensa, 30 días de aguinaldo, PTU)