TECH WEEK // Machine Learning avec Apache Spark // Avril 2019
MACHINE LEARNING AVEC SPARK : LA VOIE DE LA PRODUCTION
Par ANDRÉA BAITA & ANDRÉ BOIS-CRETTEZ
Nous présentons une étude de cas pour l'industrialisation d'un projet de machine learning (apprentissage automatique) avec Apache Spark. À partir d'un prototype développé par un Data Scientist, nous allons parler du problème des tests unitaires, puis comment des tests BDD permettent de construire un scénario de test compréhensible. Nous verrons ensuite comment lancer périodiquement les jobs, en tenant compte de leurs dépendances grâce à Azkaban. Pour conclure, nous parlerons de packaging, de déploiement, et de monitoring, en présentant la solution actuelle utilisée par Kelkoo Group. Nous voulons partager notre expérience sur les meilleures pratiques et astuces pour mettre en production une solution de machine learning, tout en utilisant les bonnes pratiques de codage et de test.
Slides de la présentation
TECH WEEk // machine learning avec apache spark
Retour aux articles