מפתח/ת BI

למרכז רפואי במרכז הארץ דרוש.ה Data Engineer

תחומי אחריות עיקריים:

• תכנון, פיתוח, הטמעה ותחזוקה של תהליכי ETL/ELT מורכבים לאיסוף, טרנספורמציה וטעינה של נתונים ממקורות שונים (Databases, APIs, Files, Streaming) אל Data Lake (S3) ו-Data Warehouse.
• אופטימיזציה של תהליכי Data Pipelines לשיפור ביצועים וסקיילביליות.
• יישום Best Practices לטיפול בנתונים (Data Quality, Data Validation, Error Handling).
• עבודה שוטפת עם Apache Spark באמצעות Databricks Notebooks
• פיתוח וניהול Workflows ב-Databricks.
• שימוש ב-Databricks SQL לניתוח נתונים ופיתוח שכבות סמנטיות.
• הטמעת Data Governance וניהול הרשאות באמצעות Unity Catalog.
• כתיבת שאילתות SQL מורכבות ומתקדמות
• תכנון ופיתוח מודלי נתונים (Dimensional Modeling, Star/Snowflake Schemas) עבור Data Warehouses ו-Data Marts.
• יצירה ואופטימיזציה של Stored Procedures, Views, Functions ו- Materialized Views.
• אחריות על הבטחת איכות, שלמות ועקביות הנתונים לאורך כל ה-Pipeline.
• עבודה צמודה עם אנליסטים עסקיים, מדעני נתונים, מפתחי תוכנה וצוותי תפעול.

דרישות:

• ניסיון של שנתיים ומעלה בפיתוח BI/Data Engineering.
• ניסיון מוכח ורחב עם Databricks (כולל Spark, Delta Lake, Notebooks, Jobs, Workflows, Databricks SQL, Unity Catalog).
• שליטה עמוקה ומוכחת ב-SQL ויכולת כתיבת שאילתות מורכבות, אופטימיזציה ו-Performance Tuning.
• ניסיון עשיר בפיתוח תהליכי ETL/ELT.
• ניסיון במידול נתונים (Dimensional Modeling, Star/Snowflake Schemas).
• שליטה מלאה ב-Python (לפיתוח Spark/PySpark) או Scala.
• היכרות עם כלי CI/CD (Jenkins, GitLab CI, CodePipeline/CodeBuild) ו-Git.