### various modifs

parent 645f1e98
 ... ... @@ -291,7 +291,7 @@ \includegraphics[valign=t, width=0.19\textwidth]{figures/padding_strides_02} \includegraphics[valign=t, width=0.19\textwidth]{figures/padding_strides_03} } \item Ex: noyau $k=$ 3 x 3, entrée $i=$ 6 x 6, padding $p=$ 1 x 1, pas $s=$ 2 x 2 \item Ex: noyau $k=$ 3 x 3, entrée $i=$ 5 x 5, padding $p=$ 1 x 1, pas $s=$ 2 x 2 \end{itemize} \end{block} \end{frame} ... ... @@ -314,7 +314,7 @@ \includegraphics[valign=t, width=0.15\textwidth]{figures/padding_strides_odd_03} } \item \alert{Note} : la dernière ligne et la colonne de droite de l'entrée ne sont pas traitées ! \item Malgré si les tailles d'entrée différentes, les sorties sont de même tailles (noyau fixé) \item Malgré les tailles d'entrée différentes, les sorties sont de même tailles (noyau fixé) \end{itemize} \end{block} \end{frame} ... ... @@ -328,6 +328,9 @@ \item[] \item Que se passe-t-il si on veut aller dans l'autre sens ? \item[\ra] Notions de convolution transposée \item[\ra] Déconvolution \item[] \item Visualisation \url{http://scs.ryerson.ca/~aharley/vis/conv/} \end{itemize} \end{block} \end{frame} ... ... @@ -421,7 +424,7 @@ \item Même opération que pour le RNN, mais pour chaque paire de mots \item[]\centerline{$p = tanh \left( \mW \colvec{c_1\\c_2 } + \vb \right)$} \item convolution sur le vecteurs de mots \item[\ra] Les poids $mW$ et $b$ sont partagés (nombre de paramètres réduits) \item[\ra] Les poids $\mW$ et $\vb$ sont partagés (nombre de paramètres réduits) \end{itemize} \end{block} \end{frame} ... ... @@ -493,7 +496,7 @@ \item Fenêtres de taille $h$ possibles : $\{ \vx_{1:h}, \vx_{2:h+1}, \dots, \vx_{n-h+1:n}\}$ \item[] Le résultat : carte de caractéristiques (\bf{feature map}) \begin{itemize} \item $\vm{c} = [c_1, c_2, \dots, c_n-h+1] \in \mathbb{R}^{n-h+1}$ \item $\vm{c} = [c_1, c_2, \dots, c_{n-h+1}] \in \mathbb{R}^{n-h+1}$ \end{itemize} \only<1>{ \centerline{\includegraphics[valign=t, width=0.5\textwidth]{figures/cnn_feat_map}} } \only<2>{ \centerline{\includegraphics[valign=t, width=0.51\textwidth]{figures/cnn_feat_map_2}} } ... ... @@ -511,7 +514,7 @@ \item Nouvelle brique pour les réseaux de neurones: \textbf{pooling} \item En particulier: couche de max pooling \textbf{temporel} \item Idée : capture l'activation la plus importante à travers le temps \item À partir d'une carte de caractéristiques $\vm{c} = [c_1, c_2, \dots, c_n-h+1] \in \mathbb{R}^{n-h+1}$ \item À partir d'une carte de caractéristiques $\vm{c} = [c_1, c_2, \dots, c_{n-h+1}] \in \mathbb{R}^{n-h+1}$ \begin{itemize} \item[\ra] Conserver une seule valeur : $\hat{c} = max(\vm{c})$ \end{itemize} ... ... @@ -520,7 +523,7 @@ \item<+->[\ra] Solution 1: utiliser plusieurs filtres $\vw$ \only<1-5>{\begin{itemize} \item<+-> Par exemple des filtres $\vw$ de tailles différentes ($h$) \item<+-> À cause du \textbf{max pooling}, la taille de $\vm{c}$ ne change rien. \item<+-> Grâce au \textbf{max pooling}, la taille de $\vm{c}$ ne change rien. \item<+-> On peut utiliser des filtres qui regardent les unigrams, les bigrams, les trigrams, etc. \end{itemize} } \only<6-10>{\item<+->[\ra] Solution 2: (idée) utiliser plusieurs canaux ... ... @@ -579,11 +582,11 @@ \item[\ra] probabilité $p$ : hyperparamètre (à déterminer empiriquement) \item Rappel : variable de Bernouilli : \begin{itemize} \item[] \centerline{ $p(X = x) = \begin{cases} p \mathrm{~si~} x=1 \\ 1-p \mathrm{~si~} x=0 \\ 0 \mathrm{~sinon~} \end{cases}$ } \item[] \centerline{ $P(X = x) = \begin{cases} p \mathrm{~si~} x=1 \\ 1-p \mathrm{~si~} x=0 \\ 0 \mathrm{~sinon~} \end{cases}$ } \end{itemize} \item On ignore certaines caractéristiques pendant l'entraînement: \centerline{ $y = softmax \left( \mW^{(s)}(\vm{r} \circ \vm{z}) + \vb \right)$ } \item[\ra] empêche le sur-apprentissage vers certaines configurations de caractéristiques \item[\ra] empêche le sur-apprentissage \end{itemize} \end{block} \end{frame} ... ...
This diff is collapsed.
No preview for this file type
No preview for this file type
 ... ... @@ -17,22 +17,8 @@ \setbeamertemplate{navigation symbols}{} \usepackage[french]{babel} \usepackage[utf8]{inputenc} \usepackage{times} \usepackage{epsfig} \usepackage{comment} \usepackage{url} \usepackage{multirow} \usepackage[T1]{fontenc} %\usepackage{natbib} %\usepackage{multimedia} \usepackage{array} \setlength{\extrarowheight}{3pt} %\usepackage{xspace} %\usepackage{amsmath} %\usepackage{array} %\setlength{\extrarowheight}{3pt} \usepackage{graphicx} \usepackage[export]{adjustbox} ... ... @@ -53,7 +39,7 @@ \institute[LIUM, Le Mans Université] { loic.barrault@univ-lemans.fr \\ Laboratoire d'Informatique de l'Université du Maine \\ Le Mans Université \\ } %\date{09 janvier 2017} ... ...
 ... ... @@ -41,7 +41,6 @@ %\lfoot{17 Novembre 2017} \rfoot{\thepage\ / \pageref{LastPage}} \cfoot{} \newcommand{\ds}{\displaystyle} \vspace{\stretch{1}} ... ...
No preview for this file type
No preview for this file type
 ... ... @@ -48,22 +48,8 @@ %\insertframenumber/\inserttotalframenumber\hfill}% \usepackage[french]{babel} \usepackage[utf8]{inputenc} \usepackage{times} \usepackage{epsfig} \usepackage{comment} \usepackage{url} \usepackage{multirow} \usepackage[T1]{fontenc} %\usepackage{natbib} %\usepackage{multimedia} \usepackage{array} \setlength{\extrarowheight}{3pt} %\usepackage{xspace} %\usepackage{amsmath} \input ../macros.tex \input ../macros_beamer.tex ... ...
 \documentclass[t]{beamer} %\documentclass[handout,t]{beamer} % pdf2ps cm_parole.pdf; % intro, codage + DTW: psselect -p 1-35,51-61-63 cm_parole.ps > cm_parol_poly.ps % DTW alone: psselect -p 1-19,35-47 cm_parole.ps > cm_parole_poly.ps % decode psselect -p1-47,51-74 cm_parole.ps > cm_parole_poly.ps % psnup -4 -H96mm -W128mm -m15mm -b6mm cm_parole_poly.ps cm_parole_poly.ps4 % %\usepackage{pgfpages} %\pgfpagelayout{4 on 1}{a4paper,landscape} \mode { %\usetheme{PaloAlto} % \usetheme{Hannover} \usetheme{informatics} \useoutertheme{infolines} % \setbeamercovered{transparent} % or whatever (possibly just delete it) } \def\swidth{.7cm} \setbeamersize{sidebar width left=\swidth} \setbeamertemplate{sidebar left} { {\usebeamerfont{title in sidebar}% \vskip1.5em% \usebeamercolor[fg]{title in sidebar}% \insertshorttitle[width=\swidth,center,respectlinebreaks]\par% \vskip1.25em% }% {% \usebeamercolor[fg]{author in sidebar}% \usebeamerfont{author in sidebar}% \insertshortauthor[width=\swidth,center,respectlinebreaks]\par% \vskip1.25em% }% \hbox to2cm{\hss\insertlogo\hss} \vskip1.25em% \insertverticalnavigation{\swidth}% \vfill \hbox to2cm{\hskip0.6cm\usebeamerfont{subsection in sidebar}\strut\usebeamercolor[fg]{subsection in sidebar} } \vskip3pt% }% %\insertframenumber/\inserttotalframenumber\hfill}% \usepackage{array} \setlength{\extrarowheight}{3pt} \input ../macros_en.tex \input ../macros_beamer.tex \usepackage[absolute,showboxes,overlay]{textpos} %\TPshowboxestrue % commenter une fois fini \TPshowboxesfalse % décommenter pour faire disparaitre les boites \textblockorigin{10mm}{10mm} % origine des positions % This is only inserted into the PDF information catalog. Can be left out. \subject{Neural Machine Translation} \title[]{Neural Machine Translation} \author[]{Lo\"ic Barrault} \institute[LIUM, Le Mans Universit\'e] { loic.barrault@univ-lemans.fr \\ Laboratoire d'Informatique de l'Universit\'e du Maine \\ } \date{} % If you have a file called "university-logo-filename.xxx", where xxx % is a graphic format that can be processed by latex or pdflatex, % resp., then you can add a logo as follows: %\pgfdeclareimage[height=0.5cm]{limsi-logo}{limsilogo} %\logo{\pgfuseimage{limsi-logo}} %\logo{\includegraphics[height=0.5cm]{limsilogo}} %\logo{\epsfbox{limsilogo.eps}} % Delete this, if you do not want the table of contents to pop up at % the beginning of each subsection: %\AtBeginSubsection[] %{ % \begin{frame} % \frametitle{Outline} % \tableofcontents[currentsection,currentsubsection] % \end{frame} %} % If you wish to uncover everything in a step-wise fashion, uncomment % the following command: %\beamerdefaultoverlayspecification{<+->} \newtheorem{conclusion}[theorem]{Conclusions} \begin{document} \begin{frame} \titlepage \end{frame} % tutorial TALN % CM : SMT %\input{mt_tutl.tex} %Loic %\input{mt_intro2.tex} %\input{mt_ressources.tex} %\input{mt_eval.tex} %\input{mt_lm.tex} %\input{mt_pivot.tex} %\input{mt_datasel.tex} \input{mt_neural_en.tex} %Holger %\input{cslm.tex} %\input{mt_align.tex} %\input{mt_decode.tex} %\input{mt_tools.tex} %\input{mt_nlp2.tex} %\input{mt_asr2.tex} %\input{mt_concl2.tex} % old stuff %\input{mt_plan.tex} %\input{mt_intro.tex} %\input{mt_bleu.tex} %\input{mt_tasks_light.tex} %\input{mt_smt_light.tex} %\input{mt_sys_light.tex} %\input{mt_results.tex} % obsolete, results of 2007 %\input{mt_nlp.tex} % old %\input{mt_asr.tex} % old % and kill the abominable icon \setbeamertemplate{bibliography item}{} \begin{frame}[allowframebreaks] \frametitle{References} % \bibliographystyle{amsalpha} \bibliographystyle{apalike} \bibliography{refs} \end{frame} \end{document}
This diff is collapsed.