GCP Data Engineer
Ref: #75209GCP Data EngineerFrance (Paris/Toulouse)We are looking for an experienced GCP Data Engineer to join a large-scale cloud data engineering programme, helping design, build and optimise enterprise data pipelines and distributed processing solutions on Google Cloud Platform (GCP).The position requires strong hands-on experience with Java and Apache Spark, alongside a solid understanding of modern GCP data services. You will work within an engineering-focused environment, developing scalable data processing applications and pipelines that support downstream analytics, reporting and AI/ML use cases.Key ResponsibilitiesDesign, develop and maintain scalable data pipelines and distributed data processing applications on GCP.Build high-performance data processing solutions using Java and Apache Spark.Develop and optimise Spark workloads handling large-volume and complex datasets.Design batch and, where required, real-time/streaming data processing architectures.Work with GCP services including BigQuery, Dataflow, Pub/Sub, Cloud Storage and Dataproc.Develop robust ingestion, transformation and integration processes across structured, semi-structured and unstructured data.Optimise Spark jobs, SQL queries and data pipelines for performance, scalability and cost efficiency.Design appropriate data models and storage patterns for analytical and operational requirements.Implement data quality, validation, monitoring, logging and error-handling mechanisms.Develop reusable engineering components, frameworks and APIs using Java.Support the deployment and operation of data applications across development, testing and production environments.Contribute to CI/CD and DevOps practices, including automated testing, deployment and infrastructure management.Work closely with Data Architects, Data Scientists, Software Engineers and business stakeholders to translate requirements into technical solutions.Participate in code reviews and contribute to engineering standards around clean code, testing, documentation and software design.Troubleshoot complex production issues across distributed data processing environments.Core Technical SkillsEssential:Strong commercial experience as a Data Engineer / Big Data Engineer / GCP Data Engineer.Advanced development skills in Java.Strong hands-on experience with Apache Spark, including Spark SQL and distributed data processing.Strong knowledge of Google Cloud Platform and its data ecosystem.Experience with BigQuery for large-scale analytical workloads.Experience with Dataproc and/or Dataflow.Experience with Google Cloud Storage (GCS).Understanding of Pub/Sub and event-driven or streaming architectures.Strong SQL skills and experience working with large datasets.Knowledge of data modelling, ETL/ELT patterns and modern data architecture.Understanding of distributed computing principles, partitioning, parallel processing and Spark performance optimisation.Experience with Git and CI/CD pipelines.Highly Desirable:Python and/or PySpark experience alongside Java.Experience with Cloud Composer / Apache Airflow.Experience with Kafka or other streaming technologies.Infrastructure-as-Code experience with Terraform.Containerisation using Docker and Kubernetes/GKE.Experience with Cloud Run, Cloud Functions or other serverless GCP services.Knowledge of Data Lake, Lakehouse and Data Mesh architectures.Experience supporting downstream Machine Learning, AI or advanced analytics workloads.Familiarity with monitoring and observability across production data platforms.
Emplois Recommandés
Technicien en maintenance électronique - 102026/RSC/ERZ
Le Groupe SERMA est un leader Européen, représentant 1400 ingénieurs et techniciens, spécialiste de l'ensemble des activités liées à l'électronique, la microélectronique et les nouvelles énergies. SE…
Nacelliste
A propos de CRIT TOULOUSE Gros oeuvre & TP: Envie de nouvelles opportunités ? Faites confiance à Crit ! Plus qu'une agence d'intérim, nous vous accompagnons dans votre projet pro avec des missions …
Médecin Gériatre / Coordonnateur 0.1 ETP (H/F)
A propos de HARRY HOPE: Située dans un cadre accueillant et bienveillant, notre résidence pour personnes âgées propose un environnement de vie respectueux et attentif aux besoins de chacun. Afin de r…
Un policier municipal ou une policière municipale
Détails de l'offre Famille de métiers Prévention et sécurité publique Police municipale …
Responsable Métrologie et Ordonnancement AIT CU F/H
Lieu : Toulouse, France Construisons ensemble un avenir de confiance Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique…
Technicien de Maintenance - Matériels de manutention et d'élévation
Notre client, acteur reconnu dans la location et la maintenance de matériels de manutention, d'élévation et d'engins de chantier, recherche un Technicien de Maintenance itinérant H/F dans le cadre du …
Service Delivery Manager F/H
Service Delivery Manager F/H Description de poste Vous intégrez notre centre d’excellence de prestation de services à Toulouse spécialisé dans l’infrastructure et Cloud. Au sein de nos différ…
Médecin généraliste H/F - Toulouse 31
Présentation de l'entrepriseRetrouvez plus de 4000 offres d'emploi santé sur notre site et application mobile Jober Group. Profitez d'un réseau de 2000 partenaires sur toute la France, d'une équip…
Chargé(e) de Transition sociétale et Mobilisation des parties prenantes (H/F)
À propos de nous TBS Education, Ecole triplement accréditée (AACSB, AMBA et EQUIS), rayonne aujourd'hui à l'international à travers 4 campus situés à Toulouse, Paris, Barcelone et Casablanca. TBS Educ…
Assistant dentaire (H/F)
Assistant dentaire (H/F) 319944056 Votre agence Domino care recherche des Assistants dentaires (H/F) pour intervenir au sein de cabinets dentaires, centres de santé ou cliniques dentaire à Toulouse et…