Ingénieur·e logiciel, plateforme de données d'entreprise

Résumé

Rejoignez l'équipe Plateforme de données d'entreprise de Global Data and BI alors que nous construisons une infrastructure de données sécurisée, conforme et évolutive pour les clients Fortune 500 dans des industries hautement réglementées. Vous aiderez à concevoir et construire des plateformes de données de niveau entreprise qui alimentent l'IA, l'analytique et la business intelligence tout en respectant des exigences strictes de sécurité, confidentialité et conformité. Ce rôle se concentre sur la couche de plateforme de données (incluant l'architecture lakehouse, la gouvernance des données, le chiffrement, le contrôle d'accès et les architectures de données multi-régions) et collabore étroitement avec les équipes Sécurité, Succès client, Ingénierie de données et IA.

Ce que vous ferez (rôles et responsabilités)

• Concevoir et faire évoluer des architectures de lakehouse de données modernes pour les clients d'entreprise, implémentant des formats de tables (Apache Iceberg, Hudi, Delta Lake) qui servent de source de vérité pour l'analytique, l'IA et la business intelligence
• Construire et opérer des composants lakehouse essentiels incluant catalogues de données, gestion de schémas, suivi de métadonnées et systèmes de lignée de données qui permettent l'analytique en libre-service et la gouvernance
• Concevoir, implémenter et renforcer des pipelines de données par lots et en streaming utilisant Spark, Kafka, Databricks, Azure Data Factory et services AWS qui déplacent et transforment les données de manière fiable à travers les régions, fournisseurs cloud et environnements clients
• Travailler avec les équipes Sécurité et conformité pour intégrer la gestion de clés d'entreprise (EKM), implémenter le chiffrement au niveau fichier et enregistrement, et assurer la manipulation sécurisée des clés dans les systèmes de traitement distribués
• Construire des primitives pour le contrôle d'accès granulaire et la gouvernance des données, permettant l'accès basé sur les rôles, politiques basées sur les attributs et journalisation d'audit complète pour que les clients puissent suivre qui a accédé à quelles données, quand et sous quelles garanties
• Implémenter les exigences de résidence et souveraineté des données pour les clients mondiaux, assurant que les données restent dans les limites géographiques spécifiées et respectent les exigences de conformité régionales
• Élever la barre opérationnelle pour les plateformes de données d'entreprise en améliorant le monitoring, le débogage, les alertes et la réponse aux incidents pour les pipelines et services de données
• Relever les défis d'optimisation de performance et de coût à travers Kafka, Spark, stockage cloud et calcul pour de très grandes charges de travail d'entreprise (milliers d'utilisateurs, données à l'échelle pétaoctet, déploiements multi-régions)
• Construire l'infrastructure pour supporter les workflows IA/ML incluant pipelines d'entraînement, feature stores, service de modèles et infrastructure d'embeddings sur des plateformes de données partagées
• Concevoir et implémenter des architectures de données multi-régions et multi-cloud qui supportent la reprise après sinistre, haute disponibilité et conformité avec les exigences de localisation des données
• S'associer avec les équipes Ingénierie de données pour construire des frameworks de transformation de données réutilisables, vérifications de qualité des données et modèles d'orchestration
• Contribuer aux décisions d'architecture technique, documents de conception et évaluations de plateformes qui influencent la direction de l'infrastructure à long terme et les choix technologiques
• Assurer la conformité avec les exigences réglementaires incluant SOC 2, RGPD, CCPA, HIPAA et réglementations spécifiques à l'industrie pour les clients des services financiers
• Construire l'infrastructure d'observabilité et monitoring pour les plateformes de données utilisant des outils modernes pour les métriques, journalisation, traçage et détection d'anomalies
• Collaborer avec les clients d'entreprise pour comprendre leurs exigences de sécurité, gouvernance et conformité et livrer des capacités de plateforme qui répondent à leurs besoins
• Encadrer les ingénieurs juniors et établir les meilleures pratiques pour construire des plateformes de données sécurisées et évolutives

Exigences essentielles (Must-Haves)

• Diplôme de baccalauréat ou maîtrise en Informatique, Génie logiciel ou expérience pratique équivalente
• 5+ années d'expérience dans la construction et l'exploitation de plateformes de données ou d'infrastructure de données à grande échelle pour SaaS d'entreprise ou environnements similaires
• Solides compétences en programmation en Python, Java ou Scala; à l'aise avec SQL pour l'analytique et la modélisation de données complexe
• Expérience pratique approfondie avec les systèmes de traitement de données distribués (Apache Spark, Databricks, AWS EMR, Azure Synapse) incluant le débogage, l'optimisation de performance et l'ajustement
• Expertise en streaming et ingestion de données avec Kafka, Azure Event Hubs, AWS Kinesis ou systèmes équivalents; expérience avec les modèles CDC et réplication de données (Debezium, Fivetran, connecteurs personnalisés)
• Expérience en lakehouse et architecture de données moderne avec des formats de tables comme Apache Iceberg, Hudi ou Delta Lake, et compréhension des catalogues de données et évolution de schémas
• Expertise en sécurité et gouvernance des données : Compréhension pratique du chiffrement (au repos et en transit), modèles de contrôle d'accès, gestion de clés, journalisation d'audit et exigences de conformité
• Expérience en infrastructure cloud avec AWS et/ou Azure, incluant services de données gérés (EMR, Glue, Databricks, Azure Data Factory, Synapse Analytics, S3, ADLS, Redshift, Snowflake)
• Expérience en opérations de production : À l'aise pour posséder des services et pipelines en production, incluant rotations de garde, réponse aux incidents, post-mortems et améliorations de fiabilité
• Solides compétences en résolution de problèmes et pensée systémique : Capacité à concevoir des systèmes distribués complexes qui équilibrent performance, coût, sécurité et simplicité opérationnelle
• Expérience avec Infrastructure as Code (Terraform, Pulumi, CloudFormation, modèles ARM) pour gérer l'infrastructure de données
• Compréhension de la conformité des données exigences (SOC 2, RGPD, CCPA) et comment elles impactent l'architecture de plateforme
• Excellentes compétences en communication : Capacité à travailler avec des équipes transversales, expliquer les décisions techniques et collaborer avec les clients d'entreprise

Atouts (Nice-to-Haves)

• Expérience directe de travail avec des clients d'entreprise sur des fonctionnalités comme la résidence de données, cloud souverain, EKM, CMEK ou audit axé sur la conformité
• Travail antérieur sur des plateformes de gouvernance de données d'entreprise comme Databricks Unity Catalog, AWS Lake Formation, Azure Purview ou systèmes similaires de catalogue/gouvernance
• Expérience dans l'implémentation d'architectures de données multi-régions et multi-cloud avec réplication inter-régions, reprise après sinistre et exigences de localité des données
• Formation dans les services financiers ou autres industries hautement réglementées avec exigences de conformité complexes
• Expérience dans la construction d'infrastructure ML/IA incluant workflows d'entraînement/évaluation, feature stores, registres de modèles et pipelines MLOps sur des plateformes de données partagées
• Familiarité avec les bases de données vectorielles (Pinecone, Milvus, pgvector) ou infrastructure de recherche (Elasticsearch, OpenSearch) et leur intégration avec les systèmes de données en amont
• Expérience avec les outils de pile de données moderne (dbt, Great Expectations, Monte Carlo, Airbyte) et compréhension des frameworks de qualité des données
• Expertise en observabilité des données et plateformes de monitoring (Datadog, Honeycomb, OpenTelemetry) avec expérience dans l'implémentation de métriques, traces et agrégation de journaux pour les systèmes de données
• Expérience avec Kubernetes ou charges de travail de données conteneurisées et orchestration
• Connaissance de l'architecture Power BI, Tableau et intégration avec les plateformes de données d'entreprise
• Compréhension du data mesh ou modèles d'architecture de données fédérées
• Expérience avec les modèles de sécurité zero-trust et leur application aux plateformes de données
• Contributions à l'open source projets d'infrastructure de données (Spark, Iceberg, Kafka, dbt, etc.)
• Maîtrise bilingue de l'anglais et du français (atout pour les clients québécois et exigences de plateforme bilingue)
• Certifications en plateformes cloud (AWS Solutions Architect Professional, Azure Solutions Architect Expert) ou sécurité (CISSP, CISM)

Détails

• Localisation : Télétravail, fuseau horaire EST préféré pour la collaboration d'équipe et l'engagement client
• Relation hiérarchique : Vous relèverez du Gestionnaire d'ingénierie senior ou Directeur Ingénierie plateforme de données

Rémunération

Package salarial de niveau senior compétitif ajusté selon votre marché local et votre pays de résidence. La rémunération est basée sur la localisation et reflète les standards du marché régional. Nous nous alignons sur les principales entreprises technologiques de votre pays pour garantir une rémunération compétitive et équitable pour les talents d'ingénierie senior/staff avec expertise en plateformes de données d'entreprise.

Que se passe-t-il après votre candidature

Échéancier : Nous visons à compléter notre processus dans les 2-3 semaines suivant la candidature.