C6 - final

Chapitre6/chapitre6.tex

@@ -79,7 +79,7 @@ Le second système ($ECS_{texte+carac}$) est aussi appris à l'aide des transcri
 Toutefois, il est enrichi par l'extraction automatique de caractéristiques extraites à l'aide de l'outil MACAON~[\cite{nasr2011macaon}].
 Nous utilisons notamment les lemmes, les étiquettes morphosyntaxiques, les \textit{"governor words"} ainsi que leurs relations avec le mot courant.
 En complément, nous extrayons des caractéristiques morphologiques correspondant aux n-grammes de la première à la troisième lettre du mot, ainsi qu'aux mêmes n-grammes des dernières lettres du mot.
-Nous utilisons les mêmes caractéristiques que celles décrites dans~[\cite{simonnet2017asr}]. 
+Nous utilisons les mêmes caractéristiques que celles décrites dans~[\cite{simonnet2017asr}].
 
 L'évaluation de la tâche est effectuée avec les métriques du taux d'erreurs sur les concepts (CER) et du taux d'erreurs sur les concepts et leurs valeurs (CVER).
 Comme détaillé dans la section~\ref{eval_NER-SLU}, il s'agit des métriques couramment utilisées pour l'évaluation dans le cadre de cette tâche.
@@ -573,8 +573,6 @@ Nous obtenons un gain de plus de 1 point de CER / CVER pour une sortie neuronale
 
 La différence entre 6 et 7 couches cachées n'est pas significative, toutefois nos meilleurs résultats sont obtenus avec le système à 7 couches avec le décodage par \textit{Beam Search}.
 
-% TODO : ajouter calcul des marges de confiances à 95% dans le manuscrit.
-
 Comme nous l'avons vu plus haut, les temps de calcul pour ce type de tâche et d'architecture sont loin d'être négligeable.
 Afin de tester notre hypothèse de spécialisation de la dernière couche cachée, nous avons réalisé plusieurs expériences dans lesquelles une couche est ajoutée au moment d'un transfert.
 Nous fournissons dans la table~\ref{res:prof_mix}, les résultats de plusieurs configurations d'entraînement modifiant la profondeur durant l'apprentissage.

main.blg

-[0] Config.pm:302> INFO - This is Biber 2.9
-[0] Config.pm:305> INFO - Logfile is 'main.blg'
-[31] biber:313> INFO - === ven. oct. 30, 2020, 12:23:15
-[53] Biber.pm:371> INFO - Reading 'main.bcf'
-[132] Biber.pm:857> INFO - Found 185 citekeys in bib section 0
-[151] Biber.pm:3981> INFO - Processing section 0
-[168] Biber.pm:4154> INFO - Looking for bibtex format file './biblio/biblio.bib' for section 0
-[176] bibtex.pm:1468> INFO - LaTeX decoding ...
-[364] bibtex.pm:1294> INFO - Found BibTeX data source './biblio/biblio.bib'
-[1326] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio.bib_8124.utf8, line 377, warning: 49 characters of junk seen at toplevel
-[1327] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio.bib_8124.utf8, line 528, warning: 14 characters of junk seen at toplevel
-[1327] Biber.pm:4154> INFO - Looking for bibtex format file './biblio/biblio_perso.bib' for section 0
-[1328] bibtex.pm:1468> INFO - LaTeX decoding ...
-[1355] bibtex.pm:1294> INFO - Found BibTeX data source './biblio/biblio_perso.bib'
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 7, warning: undefined macro "Dec"
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 21, warning: undefined macro "Jul"
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 36, warning: undefined macro "Sep"
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 53, warning: undefined macro "Sep"
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 69, warning: undefined macro "Oct"
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 82, warning: undefined macro "Nov"
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 126, warning: undefined macro "Apr"
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 140, warning: undefined macro "May"
-[1453] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 152, warning: undefined macro "May"
-[1454] Utils.pm:169> WARN - BibTeX subsystem: /tmp/fHYsfgy2Au/biblio_perso.bib_8124.utf8, line 165, warning: undefined macro "Oct"
-[1454] Utils.pm:169> WARN - I didn't find a database entry for 'fillmore1976frame' (section 0)
-[1454] Utils.pm:169> WARN - I didn't find a database entry for 'xie2015graph' (section 0)
-[1863] UCollate.pm:68> INFO - Overriding locale 'fr-FR' defaults 'normalization = NFD' with 'normalization = prenormalized'
-[1863] UCollate.pm:68> INFO - Overriding locale 'fr-FR' defaults 'variable = shifted' with 'variable = non-ignorable'
-[1863] Biber.pm:3809> INFO - Sorting list 'apa/global//global/global' of type 'entry' with template 'apa' and locale 'fr-FR'
-[1863] Biber.pm:3815> INFO - No sort tailoring available for locale 'fr-FR'
-[2038] bbl.pm:617> INFO - Writing 'main.bbl' with encoding 'UTF-8'
-[2219] bbl.pm:720> INFO - Output to main.bbl
-[2219] Biber.pm:110> INFO - WARNINGS: 14

main.out

-\BOOKMARK [0][-]{chapter*.6}{Introduction}{}% 1
-\BOOKMARK [-1][-]{part.1}{I Contexte et \311tat de l'art}{}% 2
-\BOOKMARK [0][-]{chapter.1}{R\351seau neuronal profond}{part.1}% 3
-\BOOKMARK [1][-]{section.1.1}{Perceptron}{chapter.1}% 4
-\BOOKMARK [1][-]{section.1.2}{Perceptron multicouche}{chapter.1}% 5
-\BOOKMARK [1][-]{section.1.3}{Apprentissage Automatique}{chapter.1}% 6
-\BOOKMARK [2][-]{subsection.1.3.1}{Algorithme de descente du gradient}{section.1.3}% 7
-\BOOKMARK [2][-]{subsection.1.3.2}{Algorithme de R\351tropropagation}{section.1.3}% 8
-\BOOKMARK [1][-]{section.1.4}{Optimisation de l'apprentissage}{chapter.1}% 9
-\BOOKMARK [2][-]{subsection.1.4.1}{Momentum}{section.1.4}% 10
-\BOOKMARK [2][-]{subsection.1.4.2}{Algorithmes d'optimisation adaptatifs}{section.1.4}% 11
-\BOOKMARK [2][-]{subsection.1.4.3}{Initialisation des param\350tres neuronaux}{section.1.4}% 12
-\BOOKMARK [2][-]{subsection.1.4.4}{R\351gularisation des r\351seaux}{section.1.4}% 13
-\BOOKMARK [1][-]{section.1.5}{Sp\351cificit\351s de l'apprentissage neuronal}{chapter.1}% 14
-\BOOKMARK [2][-]{subsection.1.5.1}{Disparition / Explosion du gradient}{section.1.5}% 15
-\BOOKMARK [1][-]{section.1.6}{Mod\351lisation de s\351quences}{chapter.1}% 16
-\BOOKMARK [2][-]{subsection.1.6.1}{R\351seau r\351current}{section.1.6}% 17
-\BOOKMARK [2][-]{subsection.1.6.2}{R\351seau neuronal convolutif}{section.1.6}% 18
-\BOOKMARK [2][-]{subsection.1.6.3}{Architecture Encodeur-D\351codeur}{section.1.6}% 19
-\BOOKMARK [2][-]{subsection.1.6.4}{Transformers}{section.1.6}% 20
-\BOOKMARK [1][-]{section.1.7}{Conclusion}{chapter.1}% 21
-\BOOKMARK [0][-]{chapter.2}{Reconnaissance de la parole}{part.1}% 22
-\BOOKMARK [1][-]{section.2.1}{D\351finition}{chapter.2}% 23
-\BOOKMARK [1][-]{section.2.2}{Mod\351lisation acoustique Markovienne}{chapter.2}% 24
-\BOOKMARK [2][-]{subsection.2.2.1}{Mod\350les de Markov cach\351s}{section.2.2}% 25
-\BOOKMARK [2][-]{subsection.2.2.2}{Mod\350les \340 m\351lange de gaussiennes}{section.2.2}% 26
-\BOOKMARK [2][-]{subsection.2.2.3}{Mod\350les neuronaux profonds}{section.2.2}% 27
-\BOOKMARK [1][-]{section.2.3}{Mod\351lisation de langue}{chapter.2}% 28
-\BOOKMARK [2][-]{subsection.2.3.1}{Mod\350le n-grammes}{section.2.3}% 29
-\BOOKMARK [2][-]{subsection.2.3.2}{Mod\350les neuronaux}{section.2.3}% 30
-\BOOKMARK [1][-]{section.2.4}{Approches neuronales de bout en bout}{chapter.2}% 31
-\BOOKMARK [2][-]{subsection.2.4.1}{Classification Temporelle Connectionniste}{section.2.4}% 32
-\BOOKMARK [2][-]{subsection.2.4.2}{Algorithme de Beam Search}{section.2.4}% 33
-\BOOKMARK [2][-]{subsection.2.4.3}{Architecture encodeur-d\351codeur avec attention}{section.2.4}% 34
-\BOOKMARK [1][-]{section.2.5}{\311valuation de la reconnaissance de la parole}{chapter.2}% 35
-\BOOKMARK [1][-]{section.2.6}{Choix technologiques pour cette th\350se}{chapter.2}% 36
-\BOOKMARK [1][-]{section.2.7}{Conclusion}{chapter.2}% 37
-\BOOKMARK [0][-]{chapter.3}{Compr\351hension de la parole}{part.1}% 38
-\BOOKMARK [1][-]{section.3.1}{Compr\351hension du langage appliqu\351e \340 la parole}{chapter.3}% 39
-\BOOKMARK [2][-]{subsection.3.1.1}{D\351finition}{section.3.1}% 40
-\BOOKMARK [2][-]{subsection.3.1.2}{Cha\356ne de traitements successifs}{section.3.1}% 41
-\BOOKMARK [2][-]{subsection.3.1.3}{Reconnaissance des entit\351s nomm\351es}{section.3.1}% 42
-\BOOKMARK [2][-]{subsection.3.1.4}{Extraction de concepts s\351mantiques}{section.3.1}% 43
-\BOOKMARK [2][-]{subsection.3.1.5}{Autres t\342ches de compr\351hension}{section.3.1}% 44
-\BOOKMARK [1][-]{section.3.2}{Approches historiques d'\351tiquetage}{chapter.3}% 45
-\BOOKMARK [2][-]{subsection.3.2.1}{Automates \340 \351tats finis}{section.3.2}% 46
-\BOOKMARK [2][-]{subsection.3.2.2}{Machines \340 vecteurs de support}{section.3.2}% 47
-\BOOKMARK [2][-]{subsection.3.2.3}{Champs al\351atoires conditionnels}{section.3.2}% 48
-\BOOKMARK [1][-]{section.3.3}{Approches neuronales}{chapter.3}% 49
-\BOOKMARK [2][-]{subsection.3.3.1}{Repr\351sentation vectorielle des mots}{section.3.3}% 50
-\BOOKMARK [2][-]{subsection.3.3.2}{R\351seaux de neurones r\351currents}{section.3.3}% 51
-\BOOKMARK [2][-]{subsection.3.3.3}{Combinaison aux champs al\351atoires conditionnels}{section.3.3}% 52
-\BOOKMARK [2][-]{subsection.3.3.4}{Exploitation des m\351canismes d'attention}{section.3.3}% 53
-\BOOKMARK [1][-]{section.3.4}{\311valuation des performances d'un syst\350me de compr\351hension du langage}{chapter.3}% 54
-\BOOKMARK [2][-]{subsection.3.4.1}{Pr\351cision, Rappel et F-Mesure}{section.3.4}% 55
-\BOOKMARK [2][-]{subsection.3.4.2}{\311valuation des entit\351s nomm\351es}{section.3.4}% 56
-\BOOKMARK [2][-]{subsection.3.4.3}{\311valuation des concepts s\351mantiques}{section.3.4}% 57
-\BOOKMARK [1][-]{section.3.5}{Impact des transcriptions automatiques}{chapter.3}% 58
-\BOOKMARK [1][-]{section.3.6}{Conclusion}{chapter.3}% 59
-\BOOKMARK [0][-]{chapter.4}{Ensembles de donn\351es}{part.1}% 60
-\BOOKMARK [1][-]{section.4.1}{Les corpus ESTER}{chapter.4}% 61
-\BOOKMARK [2][-]{subsection.4.1.1}{ESTER 1}{section.4.1}% 62
-\BOOKMARK [2][-]{subsection.4.1.2}{ESTER 2}{section.4.1}% 63
-\BOOKMARK [2][-]{subsection.4.1.3}{Formalisme d'annotation en entit\351s nomm\351es ESTER}{section.4.1}% 64
-\BOOKMARK [1][-]{section.4.2}{QU\306RO}{chapter.4}% 65
-\BOOKMARK [2][-]{subsection.4.2.1}{Formalisme d'annotation en entit\351s nomm\351es QU\306RO}{section.4.2}% 66
-\BOOKMARK [1][-]{section.4.3}{ETAPE}{chapter.4}% 67
-\BOOKMARK [1][-]{section.4.4}{EPAC}{chapter.4}% 68
-\BOOKMARK [1][-]{section.4.5}{REPERE}{chapter.4}% 69
-\BOOKMARK [1][-]{section.4.6}{Les corpus MEDIA et PORTMEDIA}{chapter.4}% 70
-\BOOKMARK [2][-]{subsection.4.6.1}{MEDIA}{section.4.6}% 71
-\BOOKMARK [2][-]{subsection.4.6.2}{PORTMEDIA}{section.4.6}% 72
-\BOOKMARK [2][-]{subsection.4.6.3}{Formalisme d'annotation en concepts s\351mantiques}{section.4.6}% 73
-\BOOKMARK [1][-]{section.4.7}{DECODA}{chapter.4}% 74
-\BOOKMARK [1][-]{section.4.8}{R\351partition des donn\351es au sein de cette th\350se}{chapter.4}% 75
-\BOOKMARK [-1][-]{part.2}{II Contributions}{}% 76
-\BOOKMARK [0][-]{chapter.5}{Reconnaissance d'entit\351s nomm\351es}{part.2}% 77
-\BOOKMARK [1][-]{section.5.1}{Contexte des travaux : ETAPE}{chapter.5}% 78
-\BOOKMARK [2][-]{subsection.5.1.1}{R\351sultats de la campagne}{section.5.1}% 79
-\BOOKMARK [1][-]{section.5.2}{REN structur\351e par cha\356ne de composants}{chapter.5}% 80
-\BOOKMARK [2][-]{subsection.5.2.1}{Reconnaissance Automatique de la Parole mise \340 jour}{section.5.2}% 81
-\BOOKMARK [2][-]{subsection.5.2.2}{Reconnaissance des Entit\351s Nomm\351es mise \340 jour}{section.5.2}% 82
-\BOOKMARK [2][-]{subsection.5.2.3}{Limite du formalisme BIO}{section.5.2}% 83
-\BOOKMARK [2][-]{subsection.5.2.4}{Impl\351mentation en trois niveaux}{section.5.2}% 84
-\BOOKMARK [2][-]{subsection.5.2.5}{Exp\351rimentations et r\351sultats}{section.5.2}% 85
-\BOOKMARK [1][-]{section.5.3}{REN simplifi\351e de bout en bout}{chapter.5}% 86
-\BOOKMARK [2][-]{subsection.5.3.1}{D\351finition de la t\342che simplifi\351e}{section.5.3}% 87
-\BOOKMARK [2][-]{subsection.5.3.2}{Syst\350me DeepSpeech 2}{section.5.3}% 88
-\BOOKMARK [2][-]{subsection.5.3.3}{Alignement de parole et de transcriptions enrichies}{section.5.3}% 89
-\BOOKMARK [2][-]{subsection.5.3.4}{Exp\351rimentations et r\351sultats}{section.5.3}% 90
-\BOOKMARK [1][-]{section.5.4}{REN structur\351e de bout en bout}{chapter.5}% 91
-\BOOKMARK [2][-]{subsection.5.4.1}{Mise en \234uvre de DeepSpeech 2}{section.5.4}% 92
-\BOOKMARK [2][-]{subsection.5.4.2}{Extension du transfert d'apprentissage}{section.5.4}% 93
-\BOOKMARK [2][-]{subsection.5.4.3}{Exp\351rimentations et r\351sultats}{section.5.4}% 94
-\BOOKMARK [2][-]{subsection.5.4.4}{Comparaison avec l'approche en cha\356nes de composants}{section.5.4}% 95
-\BOOKMARK [1][-]{section.5.5}{Conclusion}{chapter.5}% 96
-\BOOKMARK [0][-]{chapter.6}{Extraction de concepts s\351mantiques}{part.2}% 97
-\BOOKMARK [1][-]{section.6.1}{Application de l'approche de bout en bout \340 l'extraction concepts s\351mantiques}{chapter.6}% 98
-\BOOKMARK [2][-]{subsection.6.1.1}{Approche par cha\356ne de composants}{section.6.1}% 99
-\BOOKMARK [2][-]{subsection.6.1.2}{Premiers r\351sultats avec une approche de bout en bout}{section.6.1}% 100
-\BOOKMARK [1][-]{section.6.2}{Transfert d'apprentissage pilot\351 par une strat\351gie de curriculum}{chapter.6}% 101
-\BOOKMARK [2][-]{subsection.6.2.1}{Apprentissage par curriculum}{section.6.2}% 102
-\BOOKMARK [2][-]{subsection.6.2.2}{Association du transfert et du curriculum d'apprentissage}{section.6.2}% 103
-\BOOKMARK [2][-]{subsection.6.2.3}{Exp\351rimentations et r\351sultats}{section.6.2}% 104
-\BOOKMARK [2][-]{subsection.6.2.4}{Analyse de l'apport des Entit\351s Nomm\351es}{section.6.2}% 105
-\BOOKMARK [1][-]{section.6.3}{Impact de la profondeur du mod\350le}{chapter.6}% 106
-\BOOKMARK [2][-]{subsection.6.3.1}{Comparaison de l'approche propos\351e avec une approche par chaine de composants}{section.6.3}% 107
-\BOOKMARK [1][-]{section.6.4}{Conclusion}{chapter.6}% 108
-\BOOKMARK [0][-]{chapter.7}{Analyse d'erreurs et exploitation de repr\351sentations internes}{part.2}% 109
-\BOOKMARK [1][-]{section.7.1}{Contexte de l'analyse}{chapter.7}% 110
-\BOOKMARK [1][-]{section.7.2}{Analyse d'erreur}{chapter.7}% 111
-\BOOKMARK [2][-]{subsection.7.2.1}{Distribution des types d'erreurs}{section.7.2}% 112
-\BOOKMARK [2][-]{subsection.7.2.2}{Probl\350me de reconnaissance des mots}{section.7.2}% 113
-\BOOKMARK [2][-]{subsection.7.2.3}{Probl\350me de segmentation en concept}{section.7.2}% 114
-\BOOKMARK [1][-]{section.7.3}{Analyse de repr\351sentations internes}{chapter.7}% 115
-\BOOKMARK [2][-]{subsection.7.3.1}{Extraction des repr\351sentations}{section.7.3}% 116
-\BOOKMARK [2][-]{subsection.7.3.2}{Visualisation des repr\351sentations}{section.7.3}% 117
-\BOOKMARK [2][-]{subsection.7.3.3}{Entra\356nement de classifieurs externes}{section.7.3}% 118
-\BOOKMARK [1][-]{section.7.4}{Mesure de confiance}{chapter.7}% 119
-\BOOKMARK [2][-]{subsection.7.4.1}{Extraction de la mesure de confiance}{section.7.4}% 120
-\BOOKMARK [2][-]{subsection.7.4.2}{Exp\351rimentations et r\351sultats}{section.7.4}% 121
-\BOOKMARK [1][-]{section.7.5}{Conclusion}{chapter.7}% 122
-\BOOKMARK [0][-]{chapter.8}{Conclusion et perspectives}{part.2}% 123
-\BOOKMARK [1][-]{section.8.1}{Conclusion}{chapter.8}% 124
-\BOOKMARK [1][-]{section.8.2}{Perspectives}{chapter.8}% 125
-\BOOKMARK [0][-]{chapter*.55}{Annexes}{part.2}% 126
-\BOOKMARK [0][-]{chapter*.58}{R\351f\351rences personnelles}{part.2}% 127
-\BOOKMARK [0][-]{chapter*.61}{R\351f\351rences}{part.2}% 128