Data Engineer RD-017

Configure and manage Delta Lake storage structures, tables, partitions, and optimization routines (OPTIMIZE, Z-ORDER, VACUUM).

Design and evolve data schemas that balance query performance, cost, and maintainability as data volume grows.

Maintain clear metadata and documentation of table structures to support easy consumption by the Data Science and application teams.

Ensure pipeline reliability and observability: error handling, retries, monitoring, and alerting for a continuously running system.

Adapt pipelines to evolving external API contracts, rate limits, authentication changes, and new data sources.

Troubleshoot pipeline failures, perform recovery, and tune performance as needed.

Build, schedule, and monitor workflows using Databricks Workflows, Delta Live Tables, or similar orchestration tools.

Contribute to CI/CD pipelines for code deployment, versioning, and environment management.

Work closely with the Data Scientist to expose clean, well-structured data feeding LLM/NLP pipelines and downstream models.

Participate in technical decisions around data architecture and propose structuring solutions as the team's needs evolve.

Document pipelines, data dictionaries, job schedules, and transformation logic.

Support the onboarding of new data sources and pipelines as the product expands to additional solution areas.

Lieu : Télétravail (Québec/Canada)

Irth Solutions est un fournisseur de premier plan de logiciels SaaS infonuagiques pour la prévention des dommages, l'intégrité des actifs, la mobilisation des parties prenantes et la gestion foncière, aidant les entreprises des secteurs de l'énergie, des services publics, des télécommunications et des infrastructures à protéger leurs réseaux d'infrastructure critiques. Avec près de trois décennies d'expérience dans l'industrie, Irth dessert des clients à travers l'Amérique du Nord et continue d'élargir sa plateforme avec de nouvelles capacités axées sur les données et l'intelligence artificielle.

Nous sommes à la recherche d'un(e) ingénieur(e) de données pour concevoir, construire et maintenir des pipelines d'ingestion et de traitement de données dans Databricks, transformant des sources de données externes à haut volume en données propres, structurées et fiables pour l'analyse et l'intelligence en aval. Ce poste appuiera principalement notre offre de mobilisation des parties prenantes (Stakeholder Engagement), en collaboration étroite avec notre data scientist et les équipes de développement applicatif.

Concevoir, construire et maintenir des pipelines d'ingestion à partir d'API externes à haut volume, capables de fonctionner de façon continue et fiable à grande échelle.

Implémenter des flux d'ingestion et de transformation avec Databricks (Spark/PySpark, SQL, Delta Live Tables), en appliquant les patrons d'architecture medallion (Bronze → Silver → Gold) pour transformer le contenu brut ingéré en données propres, structurées et prêtes pour l'analyse.

Construire l'infrastructure de déduplication et de filtrage de pertinence du contenu entrant, en implémentant la logique de filtrage et les critères de qualité définis en collaboration avec le data scientist.

Implémenter la gestion de l'évolution des schémas et des règles de validation des données, à mesure que les sources et formats de données évoluent.

Configurer et gérer les structures de stockage Delta Lake, les tables, le partitionnement et les routines d'optimisation (OPTIMIZE, Z-ORDER, VACUUM).

Concevoir et faire évoluer des schémas de données qui équilibrent performance des requêtes, coûts et facilité de maintenance à mesure que le volume de données croît.

Maintenir une documentation claire des métadonnées et des structures de tables afin de faciliter leur utilisation par les équipes de data science et de développement applicatif.

Assurer la fiabilité et l'observabilité des pipelines : gestion des erreurs, mécanismes de reprise (retries), surveillance et alertes pour un système fonctionnant en continu.

Adapter les pipelines aux changements des contrats d'API externes, des limites de taux (rate limits), des méthodes d'authentification et à l'ajout de nouvelles sources de données.

Diagnostiquer les défaillances des pipelines, effectuer les reprises nécessaires et optimiser la performance au besoin.

Construire, planifier et surveiller des flux de travail avec Databricks Workflows, Delta Live Tables ou des outils d'orchestration équivalents.

Contribuer aux pipelines CI/CD pour le déploiement du code, la gestion des versions et des environnements.

Collaborer étroitement avec le data scientist pour fournir des données propres et bien structurées alimentant les pipelines LLM/NLP et les modèles en aval.

Participer aux décisions techniques liées à l'architecture des données et proposer des solutions structurantes à mesure que les besoins de l'équipe évoluent.

Documenter les pipelines, les dictionnaires de données, les calendriers d'exécution et la logique de transformation.

Appuyer l'intégration de nouvelles sources et pipelines de données à mesure que le produit s'étend à d'autres domaines de solutions.

Forte préférence pour les candidat(e)s résidant au Québec, la maîtrise du français (parlé et écrit) constituant un atout important en plus de l'anglais.

As part of our hiring process, this role may use artificial intelligence or automated tools to assist with reviewing and screening applications. These tools support, but do not replace, human judgment in making hiring decisions.

Expérience en prompt engineering avec des LLM et/ou connaissances de base en IA/NLP.

Connaissance de l'architecture medallion ou des meilleures pratiques lakehouse.

Expérience avec des frameworks d'orchestration (ADF, Workflows, Airflow, DBX, etc.).

Expérience avec des outils CI/CD et de contrôle de version (Git, GitHub Actions ou équivalent).

Connaissances de base des pratiques de sécurité : RBAC, chiffrement, gestion des identifiants.

Certification Databricks (Data Engineer Associate ou équivalent).

Dans le cadre de notre processus de recrutement, ce poste peut faire appel à l'intelligence artificielle ou à des outils automatisés pour appuyer l'examen et la présélection des candidatures. Ces outils appuient le jugement humain dans la prise de décisions d'embauche, mais ne le remplacent pas.

L'échelle salariale pour ce poste se situe entre CAD $75000

Cette échelle reflète uniquement le salaire de base et n'inclut aucune autre composante de rémunération. Toute offre d'emploi dépend de plusieurs facteurs, incluant, sans s'y limiter, l'expérience, les compétences, les qualifications et le lieu de résidence du ou de la candidat(e).

Salaire compétitif — Une rémunération concurrentielle basée sur l'expérience et les qualifications.

Assurance médicale, dentaire et visuelle — Une couverture d'assurance complète pour vous et votre famille.

Régime de retraite avec contribution de l'employeur .

Congés payés généreux — Du temps libre pour favoriser l'équilibre travail-vie personnelle.

Jours fériés payés par l'entreprise — Congés payés tout au long de l'année.

Modalités de travail flexibles — Possibilité de télétravail selon le poste et les besoins de l'entreprise.

Compensation pour disponibilité — Rémunération additionnelle pour les quarts de garde admissibles.