Ingénieur de données

Toronto, ON, Canada
il y a 20249 jours

Description

We are seeking a skilled Data Engineer to join our growing data team. The ideal candidate will have hands-on experience in building and optimizing large-scale data pipelines using Databricks and PySpark, and orchestrating workflows with Apache Airflow. You'll play a critical role in transforming raw data into actionable insights by developing scalable and reliable data solutions.

Conditions

Qualifications:
  • Expérience avérée avec Databricks et PySpark dans un environnement de production.
  • Forte expertise en Apache Airflow pour l'orchestration des données.
  • Maîtrise de SQL et Python pour la manipulation et l'automatisation des données.
  • Une expérience de travail avec des plateformes cloud (par exemple, AWS, Azure ou GCP) est un plus.
  • Solide compréhension des systèmes distribués et des technologies Big Data.
  • Une expérience de travail dans un environnement de développement Agile est préférable.
Préféré :
  • Certifications Databricks (par exemple, Databricks Certified Data Engineer Associate ou Professional).
  • Expérience avec Delta Lake, MLflow ou des technologies similaires au sein de l'écosystème Databricks.
  • Connaissance des pratiques et outils CI/CD (par exemple, Git, Jenkins, etc.).

Responsabilités

  • Concevez, développez et optimisez des pipelines de données à grande échelle à l'aide de Databricks et PySpark pour un traitement et une analyse efficaces des données.
  • Orchestrez et surveillez les flux de données à l'aide d'Apache Airflow pour garantir la fiabilité, l'efficacité et l'évolutivité.
  • Collaborez avec les analystes de données, les scientifiques des données et les parties prenantes de l'entreprise pour comprendre les besoins en données et fournir des solutions de données de haute qualité.
  • Mettre en œuvre les meilleures pratiques en matière d’ingénierie des données, notamment le contrôle des versions, les tests, la surveillance et les alertes.
  • Assurez la qualité, la cohérence et la gouvernance des données sur tous les pipelines et ensembles de données.
  • Participer aux revues de code, aux sessions de conception et aux initiatives d'amélioration continue au sein de l'équipe d'ingénierie des données.

Informations Complémentaires

It's a long term contract role with office-remote hybrid work style from Toronto.

À propos d'EffiQ

EffiQ's mission is to empower and elevate businesses with innovative solutions to enhance their digital journeys by modernizing, integrating, and automating. We specialize in delivering cutting-edge solutions that drive efficiency, improve productivity and unlock new levels of operational excellence. EffiQ Technology Solutions is a team of experienced professionals and technology experts who can support and manage enterprise software systems such as Manhattan WMS, SAP and Microsoft D365 ERP.  EffiQ's vision is to revolutionize supply chain.

We also assist organizations to quickly fill skill gaps, manage increased workloads, and maintain productivity without the long-term commitment of permanent hires. 

https://www.effiqt.com/
Postuler maintenant