Data Engineer - 194

Propósito:

Desarrollar y mantener la infraestructura de datos de la empresa, incluyendo la creación y gestión de pipelines de datos, el diseño de almacenes de datos y la implementación de soluciones para el procesamiento y análisis de datos.

Responsabilidades:

1. Diseñar, construir y mantener pipelines de datos para la ingestión, limpieza, transformación y carga (ETL) de datos desde diversas fuentes hacia almacenes de datos y sistemas analíticos.
2. Configurar y administrar sistemas de almacenamiento de datos, bases de datos y herramientas de procesamiento de datos, asegurando su escalabilidad, disponibilidad y rendimiento.
3. Identificar y resolver cuellos de botella de rendimiento en pipelines de datos y sistemas de almacenamiento, implementando soluciones para mejorar la eficiencia y la velocidad de procesamiento.
4. Desarrollar y mantener sistemas de gestión de metadatos para catalogar y documentar conjuntos de datos, pipelines de datos y procesos de transformación.
5. Implementar medidas de seguridad y cumplimiento para proteger la confidencialidad, integridad y disponibilidad de los datos de la empresa, incluyendo la encriptación, la autenticación y el control de acceso.
6. Trabajar en estrecha colaboración con equipos de ciencia de datos, desarrollo de productos, ingeniería de software y operaciones para asegurar la integración efectiva de sistemas de datos en los productos y servicios de la empresa.
7. Conocer a profundidad el negocio y sector, para hacer uso adecuado de los datos y que estos permitan la toma de decisiones.

Conocimientos y Experiencia:

Profesional en Ingeniería informática, Ingeniería de software, ingeniería de datos o afines

Experiencia minina de 2 años en modelamiento de bases de datos relacionales y no relacionales.

Conocimientos Complementarios en:

SQL y manejo de sistemas de gestión de bases de datos como PostgreSQL, MySQL, entre otros.

Tecnologías de almacenamiento de datos, incluyendo data lakes y/o data warehouses (Redshift, BigQuery, Snowflake)

Diseño y desarrollo de pipelines de datos escalables (ETL).

Herramientas de orquestación de flujos de datos como Airflow o similares.

Dominio de Python.

Integración de datos desde múltiples fuentes: APIs, archivos planos, sistemas internos, entre otros.

Entornos de nube como AWS (S3, Redshift, Glue), GCP o Azure.

Manejo de Git y familiaridad con prácticas de CI/CD aplicadas a pipelines de datos.

Experiencia con herramientas de transformación como dbt.

Conocimiento de procesamiento distribuido con Apache Spark.