Matin [4h] : Introduction au Deep Learning

M1 – CONTEXTE FAVORABLE AU DEEP LEARNING
Premières notions, introduction historique et compréhension du contexte depuis 2010
1. Clarification sémantique : IA, DS, ML, DL, quelles différences ?
2. La “révolution” du Deep Learning à la frontière du hardware, software et des données

M2 – INTRODUCTION AUX RÉSEAUX DE NEURONES
Comprendre les éléments constitutifs d’un réseau de neurones
1. Structure générale d’un problème d’optimisation : équations et nomenclature
2. Retour sur la régression logistique : équations, paramètres et méthodes d’optimisation
3. Le réseau de neurones : définition biologique et parallèle informatique via la régression logistique
4. Structure d’un réseau : notion de neurone, couche, paramètres et représentation matricielle
5. Spécificités d’un réseau de neurones : fonction d’activation, rétro-propagation et initialisation des paramètres

Après-Midi [3h] : Mise en place et apprentissage d’un réseau de neurone

M1 – RÉSEAUX DE NEURONES PROFONDS ET PRÉSENTATION DE LA LIBRAIRIE KERAS
Généralisation à N couches cachées et paramétrisation de la structure de son réseau avec le librairie Keras
1. Pourquoi profond plutôt que large ?
2. Réseau de neurones profond à L couches : propagation directe et rétro-propagation

M2 – HYPERPARAMÈTRES ET FINE-TUNING D’UN ALGORITHME DE DEEP LEARNING
Comment améliorer la performance et permettre une généralisation à de nouvelles données
1. Présentation des hyperparamètres : learning rate, régularisation, taille de mini-batch
2. Utiliser la régularisation pour rendre le modèle plus “simple” et prévenir l’overfitting. (Ex : régularisation L2 et Dropout)
3. Choisir la taille de son mini-batch pour optimiser la convergence liée à la descente de gradient
4. Quel algorithme d’optimisation pour booster la convergence ? Example d’optimisation classique ou Adam
5. Choix du taux d’apprentissage : équations et variables associées
6. Quelle importance relative entre cette multitude d’hyperparamètres ?

Matin [3h] : Méthodologie et convolutions

M1 – STRATÉGIE POUR DU DEEP LEARNING QUI FONCTIONNE !
Recueil de bonnes pratiques pour le Data Scientist
1. Jeux d’entraînement / développement / test
2. Analyse des erreurs
3. Choisir la stratégie la plus appropriée

M2 – PRÉSENTATION ET STRUCTURE D’UN RÉSEAU DE NEURONES À CONVOLUTION (CNN)
Contexte historique, utilité et structure
1. Notions usuelles d’un CNN : opération de convolution, stride, padding, pooling
2. Les limites de stockage liées aux réseaux fully connected et l’avantage concurrentiel des CNN

Après-Midi [4h] : Typologies et applications des réseaux de neurones à convolution

M1 – ARCHITECTURES CLASSIQUES
Comprendre les principales structures historique et leurs cas d’usage
1. Architectures historiques : LeNet, AlexNet
2. Architectures complexes : ResNet, Inception

M2 – COMMENT PALLIER AUX LIMITES RENCONTRÉES PAR LES CNN CLASSIQUES ?
Éviter le problème de manque de donnée et de temps de calcul – Comment analyser une image complexe ?
1. Principes du transfer Learning – les réseaux pré-entrainés pour contourner le besoin en data / ressources 
2. Détection d’objet(s) dans une image : notion de RoI, IoU, NMS
3. Evolution des algorithmes de détection d’objets : R-CNN, Fast R-CNN, Faster R-CNN, YOLO, Mask RCNN