Le conseiller en ingénierie de données contribue au développement de solutions permettant d’assurer la collecte, l’intégration, la consolidation, le nettoyage, le stockage et l’exploitation des flux des données. Il participe au développement, à la maintenance, au support et à l’opération des applications informatiques et des pipelines de données, en assurant l’analyse fonctionnelle, la conception technique, le codage, la mise au point et la documentation des programmes.
Responsabilités principales
- Recueillir les besoins analytiques exprimés par les utilisateurs
- Concevoir et construire des systèmes et des plateformes de collecte de données dans le cadre de mandats variés
- Réaliser le développement des pipelines de données, l’intégration, la transformation et la consolidation des données de différents systèmes dans des structures adaptées au contexte
- Effectuer des spécification et documentation de mapping de données
- Mettre en œuvre, surveiller, maintenir et optimiser des systèmes diversifiés répondant aux besoins d’affaires
- Utiliser divers langages de scripts et outils en vue de permettre le stockage et la production d’ensembles de données complexes
- Développer des algorithmes, des prototypes et des démonstrations de faisabilité à l’intérieur de projets complexes
- Identifier des opportunités d’optimisation des systèmes sur la base des tendances et des comportements et recommander des évolutions aux services de gestion des données
- Mode de travail : Hybride (télétravail 3 jours par semaine)
Compétences
- Avoir une bonne expérience dans les solutions infonuagique Azure : Spark, DataFactory, Devops, GitHub
- Avoir 4 ans d’expérience dans la mise en place des solutions dans DataBricks
- Connaissance des architectures Lakehouse et Medallion
- Faire preuve d’esprit stratégique et de leadership dans les solutions de données
- Maîtriser les relations interpersonnelles
Connaissances et aptitudes requises
- Un minimum de huit ans d’expérience pertinente
- Participation à au moins une implémentation complète, mise en place ou migration vers DataBricks
- Expérience dans les outils ETL et les bonnes pratiques d’extraction, de transformation et de chargement de la donnée
- Expérience pertinente avec les méthodologies agiles (Scrum, Kanban)
- Connaissance des langages Python, SAS (un atout)
- Connaissance des bases de données, langages SQL, T-SQL, procédures/fonctions stockées
- Connaissance en sécurité des données (ex.: modèle d’accès, protection des données) (un atout)
- Connaissance des diagrammes de solutions (un atout)
