Senior Platform Engineer, Data II

Relevant du directeur de la plateforme de données, l'ingénieur principal de plateforme de données est responsable de la construction et de l'exploitation des systèmes de base qui permettent un accès aux données et des analyses fiables, évolutifs et à haute vitesse dans l'ensemble de Mistplay.

Ce rôle n'est pas axé sur l'analyse, mais plutôt sur l'ingénierie de systèmes de données à grande échelle. Vous serez propriétaire d'importants composants de la plateforme, contribuerez à l'orientation technique et appliquerez les meilleures pratiques qui permettent aux données de passer de l'ingestion brute à des informations fiables et de haute qualité qui génèrent un impact commercial en temps réel.

Vous agirez comme un contributeur individuel solide au sein des équipes, en partenariat avec la science des données, la plateforme ML (apprentissage automatique) et le Backend (système dorsal) pour réduire la latence des données, augmenter le débit analytique et améliorer la confiance dans les données tout au long de leur cycle de vie complet.

Ce que vous ferez Contribuer de manière essentielle à la conception, à la construction et à l'exploitation des éléments suivants: • Infrastructure d'ingestion et de pipeline - construire et maintenir des systèmes d'ingestion évolutifs et fiables pour les sources de données par lots et en continu; mettre en œuvre l'évolution des schémas, les contrats de données et la lignée de bout en bout; contribuer à l'optimisation des calculs et des coûts dans diverses charges de travail. • Architecture d'entrepôt de données et de Lakehouse - mettre en œuvre et faire évoluer la plateforme de données analytiques de base (entrepôt, lakehouse ou hybride); appliquer des stratégies de couche de stockage, de partitionnement et de modèles d'accès; contribuer aux normes de modélisation des données, à l'optimisation des performances et à l'efficacité des coûts. • Couche de transformation et d'orchestration - construire et maintenir des pipelines de transformation évolutifs et faciles à maintenir (par exemple, dbt, Spark); mettre en œuvre l'orchestration et la gestion des dépendances; appliquer des contrats de qualité des données et des cadres de test à travers la couche de transformation. • Couche de service et d'accès aux données - mettre en œuvre des systèmes d'accès aux données à faible latence pour les consommateurs analytiques et opérationnels; appliquer des stratégies de mise en cache, de matérialisation et d'API; contribuer aux accords de niveau de service (SLAs) sur la fraîcheur, la cohérence et la performance des requêtes. • Observabilité et qualité des données - mettre en œuvre la surveillance de la qualité des données, la détection des anomalies et les vérifications de fraîcheur; contribuer aux définitions des objectifs de niveau de service (SLO) pour les données et aux pratiques opérationnelles; participer à la réponse aux incidents et aux analyses post-mortem pour la fiabilité des données. • Catalogue de données et découvrabilité - contribuer aux systèmes de gestion des métadonnées; encourager la découvrabilité, la propriété et les normes de documentation des données au sein de votre domaine; soutenir l'accès en libre-service à des actifs de données fiables et bien compris. • Outils et évolution de la plateforme - évaluer et intégrer les composants de la plateforme de données (par exemple, Spark, dbt, Airflow, Kafka, catalogues de données); contribuer aux migrations et aux améliorations de la plateforme avec une perturbation minimale pour les consommateurs en aval. Ce que vous apporterez • Expérience de la plateforme de données - 7-8+ ans et plus de construction et d'exploitation de plateformes de données de production; propriété avérée de composants au sein de systèmes à grande échelle prenant en charge l'accès aux données en temps réel ou quasi réel et les charges de travail analytiques. • Génie logiciel - forte maîtrise de Python, Scala ou Go; expérience éprouvée dans la construction et l'évolution de systèmes de données distribués avec une fiabilité élevée, une facilité de maintenance et des normes d'ingénierie rigoureuses. • Entreposage de données et Lakehouse - expertise solide dans les architectures modernes d'entrepôt de données et de lakehouse (par exemple, Snowflake, BigQuery, Databricks, Delta Lake, Iceberg); expérience dans la construction et l'optimisation de systèmes analytiques à grande échelle. • Pipelines en continu et par lots - forte expérience dans la conception et l'exploitation de pipelines de données; solide compréhension des systèmes de streaming (par exemple, Kafka, Flink) et des cadres par lots (par exemple, Spark, dbt) avec une connaissance des compromis entre la latence, le débit et le coût. • Modélisation et transformation des données - capacité à appliquer et à contribuer aux normes de modélisation des données pour divers besoins des consommateurs; expérience de travail avec des cadres de transformation et des pratiques de test au sein des équipes d'ingénierie et d'analyse. • Observabilité et opérations - rigueur opérationnelle solide dans les systèmes de données (métriques, journaux, alertes de qualité des données); expérience dans la contribution aux définitions des SLO, à l'optimisation des coûts et à la réponse aux incidents pour la fiabilité des données. • Croissance technique (niveau principal) - participation active aux revues de conception et aux discussions architecturales; encadrement des coéquipiers; démonstration de la propriété de composants complexes de la plateforme; trajectoire claire vers l'établissement d'une orientation technique plus large. • Collaboration et influence - travail efficace avec la science des données, la plateforme ML, l'analyse, DevOps et le Backend; communication claire des compromis techniques; traduction des exigences en travail de plateforme bien délimité et exécutable English Job Description