Commit 7ca10ba3 authored by Loïc Barrault's avatar Loïc Barrault

various modifs

parent 645f1e98
......@@ -291,7 +291,7 @@
\includegraphics[valign=t, width=0.19\textwidth]{figures/padding_strides_02}
\includegraphics[valign=t, width=0.19\textwidth]{figures/padding_strides_03}
}
\item Ex: noyau $k=$ 3 x 3, entrée $i=$ 6 x 6, padding $p=$ 1 x 1, pas $s=$ 2 x 2
\item Ex: noyau $k=$ 3 x 3, entrée $i=$ 5 x 5, padding $p=$ 1 x 1, pas $s=$ 2 x 2
\end{itemize}
\end{block}
\end{frame}
......@@ -314,7 +314,7 @@
\includegraphics[valign=t, width=0.15\textwidth]{figures/padding_strides_odd_03}
}
\item \alert{Note} : la dernière ligne et la colonne de droite de l'entrée ne sont pas traitées !
\item Malgré si les tailles d'entrée différentes, les sorties sont de même tailles (noyau fixé)
\item Malgré les tailles d'entrée différentes, les sorties sont de même tailles (noyau fixé)
\end{itemize}
\end{block}
\end{frame}
......@@ -328,6 +328,9 @@
\item[]
\item Que se passe-t-il si on veut aller dans l'autre sens ?
\item[\ra] Notions de convolution transposée
\item[\ra] Déconvolution
\item[]
\item Visualisation \url{http://scs.ryerson.ca/~aharley/vis/conv/}
\end{itemize}
\end{block}
\end{frame}
......@@ -421,7 +424,7 @@
\item Même opération que pour le RNN, mais pour chaque paire de mots
\item[]\centerline{$p = tanh \left( \mW \colvec{c_1\\c_2 } + \vb \right) $}
\item convolution sur le vecteurs de mots
\item[\ra] Les poids $mW$ et $b$ sont partagés (nombre de paramètres réduits)
\item[\ra] Les poids $\mW$ et $\vb$ sont partagés (nombre de paramètres réduits)
\end{itemize}
\end{block}
\end{frame}
......@@ -493,7 +496,7 @@
\item Fenêtres de taille $h$ possibles : $\{ \vx_{1:h}, \vx_{2:h+1}, \dots, \vx_{n-h+1:n}\}$
\item[] Le résultat : carte de caractéristiques (\bf{feature map})
\begin{itemize}
\item $\vm{c} = [c_1, c_2, \dots, c_n-h+1] \in \mathbb{R}^{n-h+1}$
\item $\vm{c} = [c_1, c_2, \dots, c_{n-h+1}] \in \mathbb{R}^{n-h+1}$
\end{itemize}
\only<1>{ \centerline{\includegraphics[valign=t, width=0.5\textwidth]{figures/cnn_feat_map}} }
\only<2>{ \centerline{\includegraphics[valign=t, width=0.51\textwidth]{figures/cnn_feat_map_2}} }
......@@ -511,7 +514,7 @@
\item Nouvelle brique pour les réseaux de neurones: \textbf{pooling}
\item En particulier: couche de max pooling \textbf{temporel}
\item Idée : capture l'activation la plus importante à travers le temps
\item À partir d'une carte de caractéristiques $\vm{c} = [c_1, c_2, \dots, c_n-h+1] \in \mathbb{R}^{n-h+1}$
\item À partir d'une carte de caractéristiques $\vm{c} = [c_1, c_2, \dots, c_{n-h+1}] \in \mathbb{R}^{n-h+1}$
\begin{itemize}
\item[\ra] Conserver une seule valeur : $\hat{c} = max(\vm{c})$
\end{itemize}
......@@ -520,7 +523,7 @@
\item<+->[\ra] Solution 1: utiliser plusieurs filtres $\vw$
\only<1-5>{\begin{itemize}
\item<+-> Par exemple des filtres $\vw$ de tailles différentes ($h$)
\item<+-> À cause du \textbf{max pooling}, la taille de $\vm{c}$ ne change rien.
\item<+-> Grâce au \textbf{max pooling}, la taille de $\vm{c}$ ne change rien.
\item<+-> On peut utiliser des filtres qui regardent les unigrams, les bigrams, les trigrams, etc.
\end{itemize} }
\only<6-10>{\item<+->[\ra] Solution 2: (idée) utiliser plusieurs canaux
......@@ -579,11 +582,11 @@
\item[\ra] probabilité $p$ : hyperparamètre (à déterminer empiriquement)
\item Rappel : variable de Bernouilli :
\begin{itemize}
\item[] \centerline{ $ p(X = x) = \begin{cases} p \mathrm{~si~} x=1 \\ 1-p \mathrm{~si~} x=0 \\ 0 \mathrm{~sinon~} \end{cases}$ }
\item[] \centerline{ $ P(X = x) = \begin{cases} p \mathrm{~si~} x=1 \\ 1-p \mathrm{~si~} x=0 \\ 0 \mathrm{~sinon~} \end{cases}$ }
\end{itemize}
\item On ignore certaines caractéristiques pendant l'entraînement:
\centerline{ $ y = softmax \left( \mW^{(s)}(\vm{r} \circ \vm{z}) + \vb \right)$ }
\item[\ra] empêche le sur-apprentissage vers certaines configurations de caractéristiques
\item[\ra] empêche le sur-apprentissage
\end{itemize}
\end{block}
\end{frame}
......
......@@ -17,22 +17,8 @@
\setbeamertemplate{navigation symbols}{}
\usepackage[french]{babel}
\usepackage[utf8]{inputenc}
\usepackage{times}
\usepackage{epsfig}
\usepackage{comment}
\usepackage{url}
\usepackage{multirow}
\usepackage[T1]{fontenc}
%\usepackage{natbib}
%\usepackage{multimedia}
\usepackage{array}
\setlength{\extrarowheight}{3pt}
%\usepackage{xspace}
%\usepackage{amsmath}
%\usepackage{array}
%\setlength{\extrarowheight}{3pt}
\usepackage{graphicx}
\usepackage[export]{adjustbox}
......@@ -53,7 +39,7 @@
\institute[LIUM, Le Mans Université]
{
loic.barrault@univ-lemans.fr \\
Laboratoire d'Informatique de l'Université du Maine \\
Le Mans Université \\
}
%\date{09 janvier 2017}
......
......@@ -41,7 +41,6 @@
%\lfoot{17 Novembre 2017}
\rfoot{\thepage\ / \pageref{LastPage}}
\cfoot{}
\newcommand{\ds}{\displaystyle}
\vspace{\stretch{1}}
......
......@@ -48,22 +48,8 @@
%\insertframenumber/\inserttotalframenumber\hfill}%
\usepackage[french]{babel}
\usepackage[utf8]{inputenc}
\usepackage{times}
\usepackage{epsfig}
\usepackage{comment}
\usepackage{url}
\usepackage{multirow}
\usepackage[T1]{fontenc}
%\usepackage{natbib}
%\usepackage{multimedia}
\usepackage{array}
\setlength{\extrarowheight}{3pt}
%\usepackage{xspace}
%\usepackage{amsmath}
\input ../macros.tex
\input ../macros_beamer.tex
......
\documentclass[t]{beamer}
%\documentclass[handout,t]{beamer}
% pdf2ps cm_parole.pdf;
% intro, codage + DTW: psselect -p 1-35,51-61-63 cm_parole.ps > cm_parol_poly.ps
% DTW alone: psselect -p 1-19,35-47 cm_parole.ps > cm_parole_poly.ps
% decode psselect -p1-47,51-74 cm_parole.ps > cm_parole_poly.ps
% psnup -4 -H96mm -W128mm -m15mm -b6mm cm_parole_poly.ps cm_parole_poly.ps4
%
%\usepackage{pgfpages}
%\pgfpagelayout{4 on 1}{a4paper,landscape}
\mode<presentation>
{
%\usetheme{PaloAlto}
% \usetheme{Hannover}
\usetheme{informatics}
\useoutertheme{infolines}
% \setbeamercovered{transparent} % or whatever (possibly just delete it)
}
\def\swidth{.7cm}
\setbeamersize{sidebar width left=\swidth}
\setbeamertemplate{sidebar left}
{
{\usebeamerfont{title in sidebar}%
\vskip1.5em%
\usebeamercolor[fg]{title in sidebar}%
\insertshorttitle[width=\swidth,center,respectlinebreaks]\par%
\vskip1.25em%
}%
{%
\usebeamercolor[fg]{author in sidebar}%
\usebeamerfont{author in sidebar}%
\insertshortauthor[width=\swidth,center,respectlinebreaks]\par%
\vskip1.25em%
}%
\hbox to2cm{\hss\insertlogo\hss}
\vskip1.25em%
\insertverticalnavigation{\swidth}%
\vfill
\hbox to2cm{\hskip0.6cm\usebeamerfont{subsection in
sidebar}\strut\usebeamercolor[fg]{subsection in
sidebar} }
\vskip3pt%
}%
%\insertframenumber/\inserttotalframenumber\hfill}%
\usepackage{array}
\setlength{\extrarowheight}{3pt}
\input ../macros_en.tex
\input ../macros_beamer.tex
\usepackage[absolute,showboxes,overlay]{textpos}
%\TPshowboxestrue % commenter une fois fini
\TPshowboxesfalse % décommenter pour faire disparaitre les boites
\textblockorigin{10mm}{10mm} % origine des positions
% This is only inserted into the PDF information catalog. Can be left out.
\subject{Neural Machine Translation}
\title[]{Neural Machine Translation}
\author[]{Lo\"ic Barrault}
\institute[LIUM, Le Mans Universit\'e]
{
loic.barrault@univ-lemans.fr \\
Laboratoire d'Informatique de l'Universit\'e du Maine \\
}
\date{}
% If you have a file called "university-logo-filename.xxx", where xxx
% is a graphic format that can be processed by latex or pdflatex,
% resp., then you can add a logo as follows:
%\pgfdeclareimage[height=0.5cm]{limsi-logo}{limsilogo}
%\logo{\pgfuseimage{limsi-logo}}
%\logo{\includegraphics[height=0.5cm]{limsilogo}}
%\logo{\epsfbox{limsilogo.eps}}
% Delete this, if you do not want the table of contents to pop up at
% the beginning of each subsection:
%\AtBeginSubsection[]
%{
% \begin{frame}<beamer>
% \frametitle{Outline}
% \tableofcontents[currentsection,currentsubsection]
% \end{frame}
%}
% If you wish to uncover everything in a step-wise fashion, uncomment
% the following command:
%\beamerdefaultoverlayspecification{<+->}
\newtheorem{conclusion}[theorem]{Conclusions}
\begin{document}
\begin{frame}
\titlepage
\end{frame}
% tutorial TALN
% CM : SMT
%\input{mt_tutl.tex}
%Loic
%\input{mt_intro2.tex}
%\input{mt_ressources.tex}
%\input{mt_eval.tex}
%\input{mt_lm.tex}
%\input{mt_pivot.tex}
%\input{mt_datasel.tex}
\input{mt_neural_en.tex}
%Holger
%\input{cslm.tex}
%\input{mt_align.tex}
%\input{mt_decode.tex}
%\input{mt_tools.tex}
%\input{mt_nlp2.tex}
%\input{mt_asr2.tex}
%\input{mt_concl2.tex}
% old stuff
%\input{mt_plan.tex}
%\input{mt_intro.tex}
%\input{mt_bleu.tex}
%\input{mt_tasks_light.tex}
%\input{mt_smt_light.tex}
%\input{mt_sys_light.tex}
%\input{mt_results.tex} % obsolete, results of 2007
%\input{mt_nlp.tex} % old
%\input{mt_asr.tex} % old
% and kill the abominable icon
\setbeamertemplate{bibliography item}{}
\begin{frame}[allowframebreaks]
\frametitle{References}
% \bibliographystyle{amsalpha}
\bibliographystyle{apalike}
\bibliography{refs}
\end{frame}
\end{document}
This diff is collapsed.
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment