Ingénieur·e Big Data AWS
Résumé
Nos équipes s'intègrent aux opérations du client. En tant qu'ingénieur·e Big Data, vous collaborerez avec les parties prenantes métier et votre équipe de données pour fournir un produit de données durable et avec la plus haute maintenabilité à long terme.
Vous développerez des solutions utilisant des technologies big data telles qu'Apache Spark, Hive/Hadoop et des moteurs de requête distribués. Vous travaillerez dans un environnement de données vaste, extrêmement complexe et dynamique. Vous concevrez, développerez et exploiterez des pipelines de données hautement évolutifs, performants et économiques dans des plateformes de traitement de données distribuées. Vous intégrerez diverses sources de données, incluant des données en temps réel, en streaming, par lots et basées sur des API, pour enrichir les insights de la plateforme et favoriser la prise de décision basée sur les données.
Ce que vous ferez (rôles et responsabilités)
- Collaborer avec les gestionnaires de produits et de programmes, les leaders en ingénierie et les leaders d'affaires pour construire des architectures et plateformes de données
- Concevoir, développer et exploiter des pipelines de données hautement évolutifs, performants, économiques et précis
- Concevoir, construire et gérer tous les composants d'un entrepôt de données à haut volume de bout en bout
- Fournir un soutien d'ingénierie de données de bout en bout pour l'exécution du cycle de vie des projets
- Implémenter des solutions big data pour le calcul distribué
- Assurer le respect des politiques de gouvernance des données en implémentant ou validant la lignée, les vérifications de qualité, la classification
- Intégrer diverses sources de données (temps réel, streaming, lots, API)
- Interagir avec d'autres équipes technologiques pour extraire, transformer et charger (ETL) des données
- Concevoir et gérer des workflows d'orchestration de données (Apache NiFi, Apache Airflow)
- Se tenir à jour avec les technologies big data et évaluer l'utilisation de nouveaux produits
- Reconnaître et adopter les meilleures pratiques en traitement, reporting et analyse de données
- Améliorer continuellement les processus de reporting et d'analyse
- Gérer la mise à l'échelle fonctionnelle et non fonctionnelle des systèmes logiciels
Exigences essentielles (Must-Haves)
- Diplôme de baccalauréat requis (maîtrise un atout) en Génie logiciel, Informatique, ou expérience équivalente
- Certifications obligatoires : AWS Big Data Specialty, AWS Solution Architect Associate, AWS Solution Architect Professional
- Minimum de 7 ans d'expérience en ingénierie de données avec processus structurés
- Minimum de 4 ans d'expérience en ingénierie big data
- Minimum de 4 ans en Architecture de Solutions de Données
- Minimum de 4 ans en développement de solutions d'intégration avec outils de pipeline (Qlik, Talend, Informatica, DataStage, SSIS)
- Minimum de 4 ans d'expérience avec technologies AWS (Redshift, S3, RDS, EC2, Lambda, DynamoDB, Athena, AWS Glue, EMR, Kinesis, FireHose, IAM)
- Minimum de 4 ans d'expérience SQL
- Expérience en modélisation de données, entreposage et construction de pipelines ETL
- Compétence dans les frameworks (Python, Java/Scala) et frameworks de traitement/stockage (Databricks, Spark, Kafka)
- Expérience dans la conception et gestion de workflows d'orchestration (Apache NiFi, Apache Airflow)
- Expérience avec l'optimisation des performances (schémas, SQL, ETL, Unity catalog, Delta Live tables)
- Expérience avec les bases de données non relationnelles (stockage d'objets, clé-valeur, graphiques, familles de colonnes)
- Expérience DevOps (Git, Gitlab, Jenkins), CI/CD, tests automatisés
- Capacité à prendre l'initiative, opérer de façon autonome et livrer des projets complexes
- Excellentes compétences analytiques et de résolution de problèmes
- Solides compétences en communication et collaboration avec équipes transversales
- Maîtrise de l'anglais à l'écrit et à l'oral
Atouts (Nice-to-Haves)
- Expérience avec outils de gestion de projet et suivi
- Expérience avec méthodologies Agile
- Bonne connaissance des cadres/pratiques de gouvernance (DAMA, RDM, MDM, Qualité des données)
- Bonne connaissance de la gestion des données de référence et des métadonnées
Détails
- Localisation : Télétravail, fuseau horaire EST
- Relation hiérarchique : Vous relèverez du Gestionnaire de Produit
Rémunération
Tarifs contractuels compétitifs, ajustés selon votre marché local et votre pays de résidence. La rémunération est basée sur la localisation et reflète les standards du marché régional. Nous nous alignons sur les principales entreprises technologiques de votre pays pour garantir une rémunération compétitive et équitable.
Que se passe-t-il après votre candidature
Échéancier : Nous visons à compléter notre processus dans les 2-3 semaines suivant la candidature.