Commit 33603462 authored by Loïc Barrault's avatar Loïc Barrault
Browse files

gan update

parent ac66b5dd
Pipeline #510 canceled with stages
......@@ -288,6 +288,59 @@ with tf.Session() as session:
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle{}
\vspace{\stretch{1}}
\begin{block}{}
\begin{itemize}
\item[]
\item[]
\item[] \centerline{ \huge {GAN pour le texte} }
\item[]
\end{itemize}
\end{block}
\vspace{\stretch{1}}
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle{GAN pour la génération de texte}
\begin{itemize}
\item Les GANs fonctionnent en rétro-propageant les gradients à travers le Générateur et le Discriminateur.
\item Le texte est généré grâce à une fonction softmax finale
\begin{itemize}
\item sur l'espace du vocabulaire
\item la sortie du réseau est une distribution de probabilités (unité discrète stochastique).
\item[\ra] cela ne fonctionne pas bien ensemble
\end{itemize}
\item Autre vision des choses : le générateur produit une phrase à partir d'un bruit
\item Les paramètres du générateur sont mis à jour petit à petit
\item[\ra] Lorsque l'on modifie un peu les valeurs d'une image \ra\ on obtient une image.
\item Qu'en est-il pour une représentation vectorielle d'une phrase ?
\item[\ra] Est-ce qu'un vecteur d'une phrase + delta est toujours une phrase ? Laquelle ?
\end{itemize}
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle{GAN pour la génération de texte - Quelques solutions}
\begin{itemize}
\item En utilisant toujours le softmax :
\begin{itemize}
\item Utilisation de l'algorithme REINFORCE
\item Utilisation du Gumbel-softmax
\item[\ra] cf. \cite{JangGP16Gumbel}
\end{itemize}
\item Supprimer la fonction discrète stochastique en sortie (softmax)
\item[\ra] par ex.: générer un embedding directement
\end{itemize}
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle{}
......@@ -303,6 +356,18 @@ with tf.Session() as session:
\vspace{\stretch{1}}
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%\begin{frame}
%\frametitle{Binary Cross Entropy (BCE) loss}
%
%$L = \{ l_1, \dots, l_N\}^T, l_i = -w_i[y_i \cdot \log(v_i) + (1-y_i) \cdot log(1-v_i)]$
%
%\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle{GAN pour la génération d'images}
......@@ -466,7 +531,6 @@ with tf.Session() as session:
\begin{frame}
\frametitle{CycleGAN : traduction image vers image}
\centerline{ \includegraphics[valign=t, width=0.80\textwidth]{figures/cycle_gan_ex1} }
\end{frame}
......
......@@ -54,15 +54,6 @@
\usepackage[french]{babel}
\usepackage[utf8]{inputenc}
\usepackage{times}
\usepackage{epsfig}
\usepackage{comment}
\usepackage{url}
\usepackage{multirow}
\usepackage[T1]{fontenc}
%\usepackage{natbib}
\usepackage{multimedia}
\usepackage{media9}
......
@article{JangGP16Gumbel,
added-at = {2018-08-13T00:00:00.000+0200},
author = {Jang, Eric and Gu, Shixiang and Poole, Ben},
biburl = {https://www.bibsonomy.org/bibtex/2af59bb3d69f11385bd14932dc93c5abd/dblp},
ee = {http://arxiv.org/abs/1611.01144},
interhash = {157733069613834cff7c133ed27aae43},
intrahash = {af59bb3d69f11385bd14932dc93c5abd},
journal = {CoRR},
keywords = {dblp},
timestamp = {2018-08-14T14:41:37.000+0200},
title = {Categorical Reparameterization with Gumbel-Softmax.},
url = {http://dblp.uni-trier.de/db/journals/corr/corr1611.html#JangGP16},
volume = {abs/1611.01144},
year = 2016
}
@article{SalimansGZCRC16,
author = {Tim Salimans and
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment