Ingénieur de données Databricks
Durée: 6-12 mois renouvelable
Lieu: mode hybride centre-ville de Montréal
Contexte: C'est pour joindre l'équipe Plateformes et outils de données dans le cadre d'une réorganisation ayant mené à la création de nouvelles squads (Marketing et RH). Le rôle est orienté à environ 60-65 % projets et 35-40 % opérations, avec une forte composante de développement et d'administration de la plateforme Azure Databricks.
Responsabilités
- Concevoir, développer et maintenir des pipelines de données batch et temps réel.
- Mettre en place et optimiser les solutions sur Azure Databricks.
- Participer à l'ingestion, la transformation et la préparation des données provenant de multiples sources.
- Développer des solutions conformes aux standards d'architecture et de gouvernance des données.
- Collaborer avec les équipes d'analytique, de science des données et les parties prenantes d'affaires.
- Diagnostiquer et résoudre les incidents liés aux pipelines et aux plateformes de données.
- Participer aux cérémonies Agile, à l'estimation des user stories et à l'amélioration continue des pratiques d'ingénierie de données.
Compétences requises
- Eexpérience comme Ingénieur de données.
- 4+ ans d'expérience Databricks à titre de configurateur, développeur ou administrateur
- Maîtrise obligatoire de: Delta Lake, Unity Catalog, Workspaces, Lakeflow, Databricks Asset Bundles
- Solide expérience avec Python, PySpark et Spark.
- Expérience avec Azure Data Factory (ADF) et Azure Data Lake.
- Maîtrise de SQL et des bases de données relationnelles.
- Expérience en modélisation de données et architecture Medallion.
- Connaissance des Slowly Changing Dimensions (SCD).
- Expérience avec Azure DevOps, Git et pipelines CI/CD.
