m2_DL_sequence_modeling.tex 6.98 KB
Newer Older
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

\documentclass[aspectratio=169,t,xcolor=table]{beamer}
%\documentclass[t]{beamer}
%\documentclass[handout,t]{beamer}

\mode<presentation>
{
  %\usetheme{PaloAlto}
%  \usetheme{Hannover}
  \usetheme{informatics}
  \useoutertheme{infolines}
 % \setbeamercovered{transparent} % or whatever (possibly just delete it)
}

\def\swidth{.7cm}
\setbeamersize{sidebar width left=\swidth}
\setbeamertemplate{sidebar left}
{
  {\usebeamerfont{title in sidebar}%
    \vskip1.5em%
    \usebeamercolor[fg]{title in sidebar}%
    \insertshorttitle[width=\swidth,center,respectlinebreaks]\par%
    \vskip1.25em%
  }%
  {%
    \usebeamercolor[fg]{author in sidebar}%
    \usebeamerfont{author in sidebar}%
    \insertshortauthor[width=\swidth,center,respectlinebreaks]\par%
    \vskip1.25em%
  }%
  \hbox to2cm{\hss\insertlogo\hss}
  \vskip1.25em%
  \insertverticalnavigation{\swidth}%
  \vfill
  \hbox to2cm{\hskip0.6cm\usebeamerfont{subsection in
      sidebar}\strut\usebeamercolor[fg]{subsection in
      sidebar} }
  \vskip3pt%
}%
%\insertframenumber/\inserttotalframenumber\hfill}%

\setbeamertemplate{navigation symbols}{}

\setlength{\extrarowheight}{3pt}

\input ../macros.tex
Loïc Barrault's avatar
Loïc Barrault committed
47
48
\input ../macros_fr.tex
\input ../mycolors.tex
Loïc Barrault's avatar
Loïc Barrault committed
49
\input ../macros_beamer.tex
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66


\usepackage[absolute,showboxes,overlay]{textpos}
%\TPshowboxestrue % commenter une fois fini
\TPshowboxesfalse % décommenter pour faire disparaitre les boites
\textblockorigin{10mm}{10mm} % origine des positions


% This is only inserted into the PDF information catalog. Can be left out. 
\subject{Apprentissage Automatique}
\title[]{[Apprentissage Automatique]\\ Modélisation de séquences}

\author[]{Loïc Barrault}

\institute[LIUM, Le Mans Université]
{
  loic.barrault@univ-lemans.fr \\
67
  Laboratoire d'Informatique de l'Université du Mans \\
68
69
70
71
72
73
74
75
}

%\date{09 janvier 2017}

% If you have a file called "university-logo-filename.xxx", where xxx
% is a graphic format that can be processed by latex or pdflatex,
% resp., then you can add a logo as follows:

76
77
78
79
%\pgfdeclareimage[height=0.5cm]{logo_UNIV_LEMANS}{logo_UNIV_LEMANS}
%\logo{\pgfuseimage{logo\_UNIV\_LEMANS}}
%\logo{\includegraphics[height=2cm]{logo_UNIV_LEMANS}}
%\logo{\epsfbox{liumlogo.eps}}
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269

% Delete this, if you do not want the table of contents to pop up at
% the beginning of each subsection:
%\AtBeginSubsection[]
%{
%  \begin{frame}<beamer>
%    \frametitle{Outline}
%    \tableofcontents[currentsection,currentsubsection]
%  \end{frame}
%}


% If you wish to uncover everything in a step-wise fashion, uncomment
% the following command: 

%\beamerdefaultoverlayspecification{<+->}

\newtheorem{conclusion}[theorem]{Conclusions}

\begin{document}

\begin{frame}
  \titlepage
\end{frame}


%\input{mt_neural.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%\begin{frame}
%  \frametitle{}
%\begin{block}{}
%    \begin{itemize}
%    \item TEMPLATE
%    \end{itemize}
%\end{block}
%\end{frame}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{frame}
  \frametitle{Plan}
\begin{block}{}
    \begin{itemize}
    \item Motivations  / Problématiques
    \item Représentations de taille fixe
    \item Réseaux de neurones récurrents (RNN)
    \item GRU / LSTM
    \item Représentation matricielle
    \item Mécanisme d'attention
    \end{itemize}
\end{block}
\end{frame}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
  \frametitle{Motivations}
\begin{block}{}
    \begin{itemize}
    \item Beaucoup de problèmes se ramènent à un problème de transformation d'une séquence vers une autre:
    \begin{itemize}
	\item Traduction : texte en langue source \ra\ texte en langue cible
	\item Résumé : texte long \ra\ texte court
	\item Analyse grammaticale : phrase \ra\ arbre syntaxique (linéarisé)
	\item Génération de code : description d'un algorithme \ra\ code d'un programme
	\item Reconnaissance de la parole : signal audio \ra\ texte contenant ce qui a été dit
	\item Synthèse de la parole : texte \ra\ signal audio
	\item Description d'image : image \ra\ texte descriptif
	\item etc.
	\end{itemize}
    \end{itemize}
    \begin{itemize}
    \item Séquences ?
	    \begin{itemize}
		\item texte = séquence de mots
		\item audio = séquence de vecteurs caractéristiques %(obtenus par analyse du signal)
		\item image = séquence de pixels
	  \end{itemize}
   \end{itemize}
\end{block}
\end{frame}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\input{unconditional_lm.tex}

%---------------------------------------------------------
\begin{frame}
  \frametitle{Quelques détails d'implémentation}
  \begin{block}{Framework de Deep Learning}
\begin{itemize}
	\item TensorFlow (Google)
	\item Theano (Université de Montréal)
	\item pyTorch (Facebook)
	\item Dynet 
	\item et bien d'autres...
\end{itemize}
   \end{block}
  \begin{block}{Propriétés}
\begin{itemize}
	\item Graphe de calcul (variables symboliques)
	\item bas niveau (variables python) vs. haut niveau (gru, lstm, ...)
	\item Dérivation automatique !
	\begin{itemize}
		\item Ex. Theano: $ \mathrm{dU = T.grad(o_{error}, U)} $
	\end{itemize}

\end{itemize}
   \end{block}
\end{frame}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\input{conditional_lm.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \begin{frame}
  \frametitle{Bilan}
\begin{block}{Représentations de phrases}
\begin{itemize}
\item  Vecteur de taille fixe obtenu avec un RNN
\item  Matrice + mécanisme d'attention
	\begin{itemize}
	\item Sac de mots, fusion des embeddings des mots
	\item Réseaux convolutionnels [à approfondir]
	\item Réseaux récurrents [à portes]
	\item[\ra] bidirectionnels
	\item[]
	\end{itemize}
\end{itemize}
\end{block}
\end{frame}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \begin{frame}
  \frametitle{Mécanisme d'attention}
  \begin{block}{Description d'image \cite{xu2015showattendtell}}
  \centering{
  \includegraphics[height=0.75\textheight]{figures/img_caption_1}
}  
\end{block}
\end{frame}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%\begin{frame}
%  \frametitle{}
%\begin{block}{}
%    \begin{itemize}
%    \item Les modèles discriminants modélisent directement la distributions de probabilité \emph{a posteriori} des sorties étant donné les entrées.
%\begin{equation}
%\mathcal{L}(\vx,\vy, \mW) = \log p(\vy | \vx; \mW)
%\end{equation}
%
%    \end{itemize}
%\end{block}
%\end{frame}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%\begin{frame}
%  \frametitle{}
%\begin{block}{}
%    \begin{itemize}
%    \item Les modèles génératifs sont un genre d'estimateur de densité de probabilité
%\begin{equation}
%\mathcal{L}(\vx,\vy, \mW) = \log p(\vx, \vy | \mW)
%\end{equation}
%
%    \end{itemize}
%\end{block}
%\end{frame}



% and kill the abominable icon
\setbeamertemplate{bibliography item}{}

\begin{frame}[allowframebreaks]
        \frametitle{References}
%        \bibliographystyle{amsalpha}
        \bibliographystyle{apalike}
        \bibliography{refs}
\end{frame}


\end{document}