Accès direct au contenu

ED Mathématiques, Information, Ingénierie des Systèmes NORMANDIE_UNIVERSITE


Soutenancessoutenances

Soutenance Soufiane BELHARBI

Régularisation des réseaux de neurones via l'apprentissage des représentations


6 juillet 2018
Monsieur Soufiane BELHARBI – laboratoire LITIS
Spécialité : informatique
Directeur de thèse : Adam Sébastien
Lieu : Insa de Rouen Avenue de l'Université - Saint Etienne du Rouvray
Titre de la thèse : Régularisation des réseaux de neurones via l'apprentissage des représentations

Résumé : Les modèles de réseaux de neurones et en particulier les modèles profonds sont aujourd’hui l’un des modèles à l’état de l’art en apprentissage automatique et ses applications. Les réseaux de neurones profonds récents possèdent de nombreuses couches cachées ce qui augmente significativement le nombre total de paramètres. L'apprentissage de ce genre de modèles nécessite donc un grand nombre d'exemples étiquetés, qui ne sont pas toujours disponibles en pratique. Le sur-apprentissage est un des problèmes fondamentaux des réseaux de neurones, qui se produit lorsque le modèle apprend par cœur les données d’apprentissage, menant à des difficultés à généraliser sur de nouvelles données. Le problème du sur-apprentissage des réseaux de neurones est le thème principal abordé dans cette thèse. Dans la littérature, plusieurs solutions ont été proposées pour remédier à ce problème, tels que l’augmentation de données, l’arrêt prématuré de l'apprentissage (early stopping), ou encore des techniques plus spécifiques aux réseaux de neurones comme le dropout ou la batch normalization.

Dans cette thèse, nous abordons le sur-apprentissage des réseaux de neurones profonds sous l'angle de l’apprentissage de représentations, en considérant l'apprentissage avec peu de données. Pour aboutir à cet objectif, nous avons proposé trois différentes contributions. La première contribution, présentée dans le chapitre 2, concerne les problèmes à sorties structurées dans lesquels les variables de sortie sont à grande dimension et sont généralement liées par des relations structurelles. Notre proposition vise à exploiter ces relations structurelles en les apprenant de manière non-supervisée avec des autoencodeurs. Nous avons validé notre approche sur un problème de régression multiple appliquée à la détection de points d’intérêt dans des images de visages. Notre approche a montré une accélération de l’apprentissage des réseaux et une amélioration de leur généralisation. La deuxième contribution, présentée dans le chapitre 3, exploite la connaissance a priori sur les représentations à l'intérieur des couches cachées dans le cadre d'une tâche de classification. Cet a priori est basé sur la simple idée que les exemples d'une même classe doivent avoir la même représentation interne. Nous avons formalisé cet a priori sous la forme d’une pénalité que nous avons rajoutée à la fonction de perte.
Des expérimentations empiriques sur la base MNIST et ses variantes ont montré des améliorations dans la généralisation des réseaux de neurones, particulièrement dans le cas où peu de données d’apprentissage sont utilisées. Notre troisième et dernière contribution, présentée dans le chapitre 4, montre l’intérêt du transfert d’apprentissage (transfer learning) dans des applications dans lesquelles peu de données d’apprentissage sont disponibles. L’idée principale consiste à pré-apprendre les filtres d’un réseau à convolution sur une tâche source avec une grande base de données (ImageNet par exemple), pour les insérer par la suite dans un nouveau réseau sur la tâche cible. Dans le cadre d'une  collaboration avec le centre de lutte contre le cancer Henri Becquerel de Rouen, nous avons construit un système automatique basé sur ce type de transfert d’apprentissage pour une application médicale où l'on dispose d'un faible jeu de données étiquetées. Dans cette application, la tâche consiste à localiser la troisième vertèbre lombaire dans un examen de type scanner. L'utilisation du transfert d'apprentissage ainsi que de prétraitements et de post traitements adaptés a permis d'obtenir des bons résultats, autorisant la mise en œuvre du modèle en routine clinique.
 

AGENDA 2018



du 08 octobre 2018 au 30 juin 2019
Spoc "Soyez acteur de la sécurité de l'information"


octobre


Normandie Université : un état des lieux et des perspectives


Mardi 2 octobre

Campus du Madrillet - Université de Rouen Normandie
Mercredi 3 octobre
Campus 1 - Université de Caen Normandie
Mardi 9 octobre 2018
Campus 2 - Université de Caen Normandie
Mercredi 10 octobre
Campus de Mont-St-Aignan - Université de Rouen Normandie
Mardi 16 octobre
Université Le Havre Normandie
Mardi 23 octobre
Campus de Martainville - Rouen


2
Journée du Pôle "Sciences du Numérique"
Caen


du 3 au 5
Stodep2018
Saint-Etienne-du-Rouvray


4
The Student Startup Way
Rouen

5
Réunion d'info PEPITE
Le Havre


9
"La mémoire du futur aux prises avec les mémoires numériques"
Caen


9
Conférence SFR NORVEGE
au CURIB à Rouen


du 2 au 17
Tournée des Fous de la Rampe
Normandie


12
Journée scientifique NormaSTIC et NorMAth
à Rouen


13
Rentrée PEPITE Vallée de Seine
Rouen


du 29 au 31
Summer Camp Fall Session
Caen


novembre


du 5 au 7
Rencontres Normandes sur les aspects théoriques et numériques des EDP
à Rouen


7
RUNN 2018
Rouen


du 7 au 23
Tournée Phénix Normandie
Normandie


Bât sciences 3 / 6 BD Maréchal Juin / 14032 CAEN CEDEX