Data Engineer - Java / Spark SCALA (F/H) (IT)
Rejoignez une équipe passionnée et boostez la transformation Big Data !? Nous accompagnons notre client pour renforcer une équipe spécialisée dans la gestion et l?industrialisation des traitements de données massifs et recherchons un.e Data Engineer. Vous interviendrez sur une plateforme Big Data dédiée à l?exploitation de larges volumes de données, utilisée pour des analyses avancées et des modèles prédictifs. Votre défi à relever ? En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l?optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables. Vos missions au quotidien ?
- Développer et optimiser des pipelines de données massifs avec Spark et Scala.
- Assurer l?ingestion, le nettoyage et l?enrichissement des données en vue de leur exploitation.
- Exposer les données via des API et Web Services pour les rendre accessibles aux applications et modèles ML.
- Contribuer à l?industrialisation et à la mise en production des traitements Big Data.
- Collaborer avec les data scientists pour améliorer la maturité industrielle des modèles de machine learning.
- Maintenir et optimiser les solutions en production pour garantir leur performance et leur robustesse.
- Langages : Java (J2EE / JDK 17), Scala
- Big Data : Spark (SQL/DataFrame), Impala, Kudu, Hive, SQL, Parquet
- Infrastructure & DevOps : Docker, Kubernetes, Helm, Git, Maven
- Messaging & Streaming : Kafka, Redis
- Tests & Qualité : JUnit, Mockito, PowerMock, ScalaMock
- API : Web Services Rest
- Vous avez minimum 6 ans d?expérience en tant que Data Engineer.
- Vous maîtrisez Spark, Scala et l?écosystème Big Data.
- Vous avez des bases solides en développement backend et en conception de pipelines de données.
- Vous appréciez travailler en équipe et collaborer avec des profils variés (développeurs, data scientists, métiers).
- Une appétence pour le Machine Learning est un plus !
- Anglais courant indispensable pour évoluer dans un contexte international.
Emplois Recommandés
VENDEUR
A propos de SUPPLAY TOULOUSE INDUSTRIE: Acteur majeur dans le secteur de l'intérim et du recrutement, Supplay poursuit sa croissance en gardant une culture d'entreprise fondée sur le respect et l'…
Conseiller Clientèle H/F - Toulouse - CDD
Donnez du sens à votre travail et rejoignez la banque des transitions sociale et environnementale, une banque différente , à taille humaine au sein du groupe BPCE. Avec ses 2000 collaborateurs, …
Ingénieur(e) Bureau d'Etudes Appels d'Offres H/F
À propos de nous Apports, cabinet de recrutement spécialisé, accompagne les entreprises depuis 1987 dans leurs projets de recrutement. Forts de plus de 37 ans d'expertise, nous identifions et attirons…
Négociateur en immobilier H/F
Nous sommes un Groupe National Présent à Toulouse, avec prêt de 32 Collaborateurs au cur des Métiers de L' immobilier : 6200 Lots en Syndic, 2000 Lots sous gestion, Plus de 750K€ de CA en Location …
Coiffeur / Coiffeuse itinérant H/F
A propos de UPERCUT: Avec Upercut, trouvez le poste qui vous correspond vraiment ! Vous cherchez une opportunité qui valorise votre talent ? Upercut vous connecte aux meilleures offres et vous acc…
Conseiller d'accueil H/F
Rejoignez une banque mutualiste et innovante où la solidarité, la proximité et la responsabilité sont au cœur de notre activité. Vous intégrez une agence à taille humaine, et évoluez dans un environne…
Gestionnaire de Résidence Étudiante (H/F)
Rejoignez un leader reconnu dans la gestion de logements étudiants, réputé pour son expertise et la qualité de ses services. Nous recherchons un(e) Gestionnaire de Résidence Étudiante pour supervi…
Comptable clients - H/F
Description de l'offre Description Au sein de l'équipe Comptable clients, vous êtes en charge de la facturation des matériels et prestations vendues à nos clients, du suivi des comptes clients …
Assistant.e pédagogique en CDD à Toulouse H/F
Description de l'offre Être Assistant.e Pédagogique au sein de CESI, c’est devenir le pilier dans le déploiement et le suivi des formations jusqu’à la diplomation. Concrètement, quelles s…
RESPONSABLE ADMINISTRATIF ET FINANCIER (F/H)
Poste ouvert aux personnes en situation de handicap.Notre client est une organisation à TOULOUSE, qui se consacre à identifier, adresser et soutenir les besoins et les droits des personnes sans héberg…