Data Engineer

JOB DESCRIPTION – DATA ENGINEER

Job Overview

Kami mencari Data Engineer yang memiliki kemampuan untuk membangun, mengembangkan, dan mengelola arsitektur data perusahaan dari tahap awal. Posisi ini akan berperan penting dalam merancang dan mengimplementasikan data pipeline, mengintegrasikan berbagai sumber data, serta membangun data warehouse atau data lakehouse untuk mendukung kebutuhan analitik, business intelligence, dan pengambilan keputusan strategis perusahaan.

Kandidat ideal merupakan individu yang hands-on, memiliki kemampuan problem solving yang kuat, memahami konsep data engineering secara menyeluruh, serta mampu bekerja secara mandiri dalam lingkungan teknologi yang masih berkembang.

Posisi ini akan bekerja sama dengan tim Software Development (.NET), Business Intelligence, Data Analytics, dan stakeholder bisnis untuk memastikan ketersediaan data yang terintegrasi, akurat, konsisten, dan dapat digunakan secara optimal.

Responsibilities

1. Data Pipeline Development

• Mendesain, membangun, mengembangkan, dan mengelola proses ETL/ELT untuk integrasi data dari berbagai sumber, seperti Microsoft SQL Server, PostgreSQL, API, Excel, CSV, dan sistem aplikasi lainnya.
• Mengembangkan data pipeline yang scalable, reliable, dan efisien untuk kebutuhan batch processing maupun near real-time data processing.
• Mengimplementasikan proses data extraction, transformation, cleansing, dan loading secara otomatis.
• Membangun mekanisme scheduling, orchestration, dan dependency management untuk memastikan proses pipeline berjalan sesuai jadwal.
• Melakukan monitoring, troubleshooting, dan optimasi performa data pipeline.
• Mengimplementasikan mekanisme error handling, logging, retry, dan data recovery untuk menjaga keandalan proses integrasi data.

1. Data Architecture & Data Modeling

• Mendesain dan mengimplementasikan arsitektur data perusahaan, termasuk data warehouse, data lake, atau lakehouse.
• Membangun data model menggunakan pendekatan dimensional modeling, seperti Star Schema, Fact Table, dan Dimension Table.
• Merancang struktur penyimpanan data yang terintegrasi untuk mendukung kebutuhan reporting, analytics, dan business intelligence.
• Mengoptimalkan struktur database, indexing, partitioning, dan query performance.
• Mengembangkan strategi pengelolaan data historis, incremental loading, dan data retention.
• Memastikan arsitektur data dapat dikembangkan sesuai pertumbuhan volume, kompleksitas, dan kebutuhan bisnis perusahaan.

1. Data Quality & Data Governance

• Memastikan kualitas data melalui proses data validation, cleansing, deduplication, reconciliation, dan data profiling.
• Membangun mekanisme data quality monitoring untuk memastikan akurasi, kelengkapan, konsistensi, validitas, dan ketepatan waktu data.
• Memastikan integritas dan konsistensi data antar sistem serta mengidentifikasi dan menangani data yang tidak valid atau duplikat.
• Mendukung implementasi data governance melalui pengelolaan metadata, data lineage, data dictionary, dan dokumentasi struktur data.
• Menerapkan mekanisme pengamanan data, termasuk data access control, role-based access, dan pengelolaan data sensitif.
• Berkolaborasi dengan Data Owner dan Data Steward untuk meningkatkan kualitas serta konsistensi data perusahaan.

1. System Integration & Data Enablement

• Mengembangkan dan mengelola integrasi data antara ERP, aplikasi internal, database, dan berbagai sistem operasional perusahaan.
• Berkolaborasi dengan tim Software Developer (.NET) dalam merancang kebutuhan integrasi data antar aplikasi.
• Mengembangkan mekanisme API integration untuk pertukaran dan konsumsi data antar sistem.
• Menyediakan data terstruktur dan terintegrasi untuk kebutuhan dashboard, reporting, business intelligence, dan advanced analytics.
• Mendukung kebutuhan data untuk pengembangan predictive analytics dan machine learning.
• Melakukan analisis terhadap permasalahan integrasi data serta memberikan rekomendasi solusi teknis.

1. Data Platform Development & Maintenance

• Membangun dan mengembangkan infrastruktur serta platform data perusahaan dari tahap awal.
• Mengelola dan memelihara lingkungan data development, testing, dan production.
• Menerapkan version control, deployment management, dan dokumentasi teknis untuk pengembangan data pipeline.
• Memastikan availability, reliability, performance, dan scalability dari data platform.
• Melakukan evaluasi dan rekomendasi teknologi data engineering sesuai kebutuhan serta arah pengembangan teknologi perusahaan.
• Menyusun dokumentasi arsitektur, data flow, pipeline, dan prosedur operasional data platform.

Requirements

1. Education & Experience

• Minimal S1 Teknik Informatika, Sistem Informasi, Ilmu Komputer, atau bidang terkait.
• Memiliki pengalaman minimal 3 tahun di bidang Data Engineering, Data Integration, atau Data Platform Development.
• Memiliki pengalaman membangun dan mengelola data pipeline dari berbagai sumber data.
• Memiliki pengalaman dalam membangun data warehouse atau data lakehouse.
• Memiliki pengalaman bekerja dengan database relasional dan pengolahan data dalam volume besar.

1. Technical Skills – Required

• Memiliki kemampuan SQL yang kuat, termasuk complex queries, JOIN, CTE, Window Functions, dan query optimization.
• Memiliki kemampuan Python untuk data processing dan automation, khususnya menggunakan Pandas atau library terkait.
• Memahami konsep dan implementasi ETL/ELT serta data integration.
• Memahami konsep data warehouse, data lake, lakehouse, dan dimensional data modeling.
• Memiliki pengalaman menggunakan relational database, khususnya Microsoft SQL Server dan/atau PostgreSQL.
• Memahami REST API dan mekanisme integrasi antar sistem.
• Memahami konsep data quality, data validation, dan database performance optimization.
• Memahami version control menggunakan Git.

1. Technical Skills – Preferred / Added Advantage

• Pengalaman menggunakan Microsoft Fabric, Azure Data Factory, atau Azure Data Engineering services.
• Familiar dengan Apache Spark / PySpark untuk distributed data processing.
• Pengalaman menggunakan workflow orchestration tools seperti Apache Airflow, Prefect, atau Dagster.
• Memahami Change Data Capture (CDC) dan incremental data loading.
• Pengalaman menggunakan cloud platform seperti Microsoft Azure, AWS, atau GCP.
• Memiliki pengalaman dengan Docker dan CI/CD untuk deployment data pipeline.
• Familiar dengan data visualization dan BI platforms seperti Power BI.
• Pengalaman menggunakan .NET untuk kebutuhan data processing atau system integration menjadi nilai tambah.

Soft Skills & Competencies

• Memiliki kemampuan analytical thinking dan problem solving yang kuat.
• Hands-on, proaktif, dan memiliki inisiatif tinggi dalam mengidentifikasi serta menyelesaikan permasalahan.
• Mampu bekerja secara mandiri mulai dari analisis kebutuhan, desain solusi, implementasi, hingga maintenance.
• Mampu bekerja dalam lingkungan yang belum memiliki arsitektur dan tata kelola data yang matang.
• Memiliki kemampuan komunikasi yang baik untuk berkolaborasi dengan tim teknis maupun stakeholder bisnis.
• Memiliki kemampuan dokumentasi dan knowledge sharing yang baik.
• Memiliki ownership dan accountability terhadap kualitas serta keandalan data yang dikelola.
• Mampu memahami proses bisnis dan menerjemahkannya menjadi solusi teknis pengelolaan data.

Preferred Business Domain Knowledge

• Memahami proses bisnis ERP dan integrasi antar modul.
• Memiliki pengalaman dalam pengelolaan data operasional, keuangan, procurement, inventory, atau project management.
• Memiliki pemahaman terhadap industri konstruksi, engineering, atau project-based business menjadi nilai tambah.
• Memahami konsep Work Breakdown Structure (WBS), Bill of Quantity (BOQ), project schedule, project budget, cost control, dan project progress menjadi keunggulan tambahan.

Expected Deliverables Dalam menjalankan perannya, Data Engineer diharapkan mampu menghasilkan:

1. Enterprise Data Architecture: Arsitektur data yang terdokumentasi dan dapat dikembangkan sesuai kebutuhan perusahaan.
2. Integrated Data Pipeline: Pipeline otomatis untuk mengintegrasikan data dari ERP, aplikasi internal, database, dan sumber lainnya.
3. Centralized Data Platform: Data warehouse atau lakehouse sebagai sumber data terintegrasi untuk kebutuhan analitik.
4. Data Quality Framework: Mekanisme validasi dan monitoring kualitas data secara konsisten.
5. Data Documentation: Dokumentasi data dictionary, metadata, data lineage, dan data flow.
6. Analytics-Ready Data: Data terstruktur yang siap digunakan oleh BI, Data Analyst, dan Data Scientist untuk menghasilkan business insights.

Skills: Hadoop, Data Engineering, SQL, Python, PostgreSQL, Data Processing, Microsoft SQL Server, Data Modeling, Database Systems, Data Integration, ETL