Data Engineer
Nutné:PythonGitAWSAzureGoogle CloudDockerCloudDataHealthTech
Ringkasan Peran Membangun dan memelihara data pipeline yang andal serta dataset yang siap digunakan untuk kebutuhan analitik dalam lingkungan healthcare/healthtech SaaS. Fokus utama pada kualitas implementasi, mencakup ingestion, transformation, modeling, testing, dan dukungan operasional pipeline, serta bekerja sama secara erat dengan data/engineering owner yang sudah ada dalam menentukan arah pengembangan platform.
Kualifikasi Teknis yang Wajib :
- Bersedia untuk WFO di Bandung
- SQL yang kuat, meliputi penggunaan JOIN, window functions, logika incremental, serta data quality checks.
- Pernah merancang setidaknya satu data model dimensional/analytical dari awal (scratch), bukan hanya melakukan query terhadap tabel yang sudah tersedia.
- Menguasai Python untuk membangun data pipeline dan scripting.
- Memiliki pengalaman membangun dan memelihara ETL/ELT pipeline.
- Familiar dengan orchestration tools, terutama Apache Airflow.
- Memahami data modeling untuk kebutuhan analitik, termasuk konsep staging, mart, atau dimensional modeling.
- Memiliki pengalaman menggunakan setidaknya satu analytical data warehouse atau lakehouse, seperti ClickHouse, BigQuery, Snowflake, Iceberg, atau teknologi sejenis.
- Memiliki pengalaman bekerja dengan setidaknya satu cloud platform, seperti AWS, GCP, atau Azure.
- Terbiasa melakukan kolaborasi berbasis Git dan memahami pemisahan environment dasar dengan pola pikir development/staging/production.
- Mampu melakukan debugging terhadap job yang gagal, membaca log, serta meningkatkan reliability/keandalan pipeline.
Kualifikasi Tambahan / Nilai Plus :
- Memiliki pengalaman dengan dbt, termasuk models, tests, dan documentation.
- Memiliki pengalaman dengan query engine/federated SQL, seperti Trino, atau teknologi sejenis.
- Familiar dengan tools untuk data lineage, data catalog, atau data governance, seperti OpenMetadata atau sejenisnya.
- Memahami pola data multi-tenant SaaS, seperti tenant-aware pipelines, batching, dan watermarking.
- Pernah memiliki exposure terhadap data operasional healthcare atau healthtech.
- Memahami dasar-dasar Docker dan Linux.
- Memiliki ketertarikan pada bidang healthcare/healthtech SaaS dan lingkungan data multi-tenant.
- Nyaman dalam membangun kapabilitas data analytics platform yang reusable, yaitu komponen atau sistem yang dapat digunakan kembali untuk berbagai kebutuhan analitik.
Tanggung Jawab
- Mendesain, membangun, dan memelihara ETL/ELT pipeline dari sumber data operasional menuju layer analitik.
- Mengembangkan dan meningkatkan analytics data model, mulai dari staging hingga mart/consumption-ready tables.
- Mengimplementasikan dan mengoperasikan scheduled data jobs menggunakan tools orkestrasi seperti Apache Airflow.
- Menulis dan memelihara SQL/Python untuk kebutuhan transformasi data, incremental load, dan validasi data.
- Mengimplementasikan data quality checks serta membantu memantau kesehatan pipeline, termasuk failure, freshness, dan correctness.
- Melakukan debugging dan penyelesaian masalah pipeline, serta meningkatkan reliability, kejelasan, dan maintainability dari job yang sudah ada.
- Berkolaborasi dengan tim engineering dan product untuk menerjemahkan kebutuhan analitik menjadi data deliverables.
- Mendokumentasikan dataset, perilaku pipeline, dan operational runbook secara praktis.
- Mendukung pola pengelolaan data multi-tenant SaaS, termasuk tenant-aware processing, safe batching, dan repeatable runs.
- Berpartisipasi dalam code review dan melakukan continuous improvement terhadap praktik-praktik data engineering.
Skills: MySQL, Oracle Database, Skema Data, Optimasi Kerja, Elt Pipelines, SQL, MariaDB, Data Integration, Mysql Clusters, clickhouse, PostgreSQL, Extract, Transform, Load (ETL), Table Partitioning