Data Engineer GCP / PySpark / dbt (H/F)FRANCE TRAVAIL
Montigny-le-Bretonneux (78)CDI
Il y a 4 joursSoyez parmi les premiers à postuler
Critères de l'offre
Métiers :
- Data Engineer
Expérience min :
- 3 à 5 ans
Lieux :
- Montigny-le-Bretonneux (78)
Conditions :
- CDI
- Salaire non précisé
- Temps Plein
L'entreprise : FRANCE TRAVAIL
sqyemploi.fr est un portail emploi à destination des entreprises du territoire de Saint-Quentin-en-Yvelines
Description du poste
Contexte de la mission :
Dans le cadre du développement et de l'évolution d'une plateforme Data Cloud, nous recherchons un Data Engineer GCP pour intervenir sur la conception, le développement et l'industrialisation de pipelines de données à grande échelle.
Missions principales :
Concevoir, développer et maintenir des pipelines de données batch et/ou streaming.
Développer les traitements de données avec Python / PySpark et SQL.
Réaliser les transformations et la modélisation des données avec dbt.
Exploiter les services GCP : BigQuery, Dataproc, Cloud Storage, Pub/Sub, Composer/Airflow.
Optimiser les traitements Spark et les performances des requêtes BigQuery.
Industrialiser et automatiser les déploiements via les processus CI/CD.
Mettre en place les contrôles de qualité, fiabilité et monitoring des données.
Participer à la conception et à l'évolution de l'architecture Data.
Collaborer avec les Data Analysts, Data Scientists et équipes métiers.
Compétences recherchées :
GCP, PySpark, Python, SQL, dbt, BigQuery, Dataproc, Cloud Storage, Airflow/Composer, Git et CI/CD.
Profil recherché :
Data Engineer confirmé disposant d'une expérience significative sur des environnements GCP et Big Data, avec une très bonne maîtrise de PySpark, SQL et dbt. Le consultant devra être autonome, à l'aise sur des problématiques d'industrialisation et capable d'intervenir sur des volumes de données importants.
Dans le cadre du développement et de l'évolution d'une plateforme Data Cloud, nous recherchons un Data Engineer GCP pour intervenir sur la conception, le développement et l'industrialisation de pipelines de données à grande échelle.
Missions principales :
Concevoir, développer et maintenir des pipelines de données batch et/ou streaming.
Développer les traitements de données avec Python / PySpark et SQL.
Réaliser les transformations et la modélisation des données avec dbt.
Exploiter les services GCP : BigQuery, Dataproc, Cloud Storage, Pub/Sub, Composer/Airflow.
Optimiser les traitements Spark et les performances des requêtes BigQuery.
Industrialiser et automatiser les déploiements via les processus CI/CD.
Mettre en place les contrôles de qualité, fiabilité et monitoring des données.
Participer à la conception et à l'évolution de l'architecture Data.
Collaborer avec les Data Analysts, Data Scientists et équipes métiers.
Compétences recherchées :
GCP, PySpark, Python, SQL, dbt, BigQuery, Dataproc, Cloud Storage, Airflow/Composer, Git et CI/CD.
Profil recherché :
Data Engineer confirmé disposant d'une expérience significative sur des environnements GCP et Big Data, avec une très bonne maîtrise de PySpark, SQL et dbt. Le consultant devra être autonome, à l'aise sur des problématiques d'industrialisation et capable d'intervenir sur des volumes de données importants.
Salaire et avantages
Primes
Indemnité transports
Indemnité transports
Référence : 179103