Notes de Réunion

8 avril 2019

Présentation de l'équipe et du stage. Planning.

Prochaines 2 semaines (à peu près) : bibliographie et état de l'art

Présentation pour ~19/04

• Définition : apprentissage par représentation
• Définition : sémantique textuelle et reconnaissance du locuteur
• Points en commun et différences entre les tâches
• ~10 slides

Répo Git

• Notes (de réunion et de lecture) et code
• Suivi du projet
• Github ?

Setup

• Installation PyCharm/Sublime Text/Atom
• Conda
• GPU à partir du 09/04 ou 10/04

Code

• Python (PyTorch)
• Généricité des modules loss
• Points modifiables pour les spécificités de chaque tâche

Autres

• Réunions toutes les semaines --> les mardis à 9h
• Résumer les articles à lire
• Apporter un cahier aux réunions
• [juin, août] --> Absence Hervé

16 avril 2019

Compte-rendu du travail bibliographique. Losses : contrastive, triplet, center, coco, arcface. Prochaine semaine (jusqu'au 19/04)

• Préparer la présentation (19/04)
• Est-ce que ArcFace et CoCo ont besoin de centres ?
• Évaluer possibles combinaisons entre les loss présentées
• Évaluer d'autres possibles loss
• Regarder l'article d'identification de langues mentionné par Hervé
• Tester sur MNIST partant de l'exemple de center loss
• Faire des stats sur STS2017 pour voir comment on pourrait constituer des triplets (si temps)

Architecture

• Pas encore fixé
• Pas PWIM pour STS, puisque ça apprend la similarité directement (2 phrases en entrée)
• Possibilité : pré-entraînement avec softmax (+performance? -temps)
• Fixer distance cosinus (vitesse de calcul)

Pré-entraînement

• Entraînement d'un réseau pour la classification, puis freezer les poids
• Re-entraîner avec ce réseau pour apprendre l'embedding. 2 méthodes :
  1. Prémier réseau fixe, apprendre les poids des nouvelles couches
  2. Tout apprendre (premier entraînement sert d'initialisation)

Autres

• Rappel : Hervé en vacances à partir de la semaine du 22/04
• Sophie en conf la semaine du 22/04