gan update

GenerativeAdversarialNetworks/gan.tex

@@ -288,6 +288,59 @@ with tf.Session() as session:
 
 \end{frame}
 
+
+%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
+\begin{frame}
+  \frametitle{}
+  \vspace{\stretch{1}}
+\begin{block}{}
+    \begin{itemize}
+    \item[]
+    \item[]
+    \item[] \centerline{ \huge {GAN pour le texte} }
+    \item[]
+    \end{itemize}
+\end{block}
+\vspace{\stretch{1}}
+\end{frame}
+
+
+%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
+\begin{frame}
+  \frametitle{GAN pour la génération de texte}
+\begin{itemize}
+\item Les GANs fonctionnent en rétro-propageant les gradients à travers le Générateur et le Discriminateur.
+\item Le texte est généré grâce à une fonction softmax finale 
+	\begin{itemize}
+	\item sur l'espace du vocabulaire
+	\item la sortie du réseau est une distribution de probabilités (unité discrète stochastique).
+	\item[\ra] cela ne fonctionne pas bien ensemble
+	\end{itemize}
+\item Autre vision des choses : le générateur produit une phrase à partir d'un bruit
+\item Les paramètres du générateur sont mis à jour petit à petit
+\item[\ra] Lorsque l'on modifie un peu les valeurs d'une image \ra\ on obtient une image.
+\item Qu'en est-il pour une représentation vectorielle d'une phrase ? 
+\item[\ra] Est-ce qu'un vecteur d'une phrase + delta est toujours une phrase ? Laquelle ?
+\end{itemize}
+\end{frame}
+
+%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
+\begin{frame}
+  \frametitle{GAN pour la génération de texte - Quelques solutions}
+\begin{itemize}
+\item En utilisant toujours le softmax :
+	\begin{itemize}
+	\item Utilisation de l'algorithme REINFORCE
+	\item Utilisation du Gumbel-softmax
+	\item[\ra] cf. \cite{JangGP16Gumbel}
+\end{itemize}
+\item Supprimer la fonction discrète stochastique en sortie (softmax)
+\item[\ra] par ex.: générer un embedding directement
+ \end{itemize}
+\end{frame}
+
+
+
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \begin{frame}
   \frametitle{}
@@ -303,6 +356,18 @@ with tf.Session() as session:
 \vspace{\stretch{1}}
 \end{frame}
 
+
+
+%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
+%\begin{frame}
+%\frametitle{Binary Cross Entropy (BCE) loss}
+%
+%$L = \{ l_1, \dots, l_N\}^T, l_i = -w_i[y_i \cdot \log(v_i) + (1-y_i) \cdot log(1-v_i)]$
+%
+%\end{frame}
+
+
+
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \begin{frame}
   \frametitle{GAN pour la génération d'images}
@@ -466,7 +531,6 @@ with tf.Session() as session:
 \begin{frame}
   \frametitle{CycleGAN : traduction image vers image}
 
-
 \centerline{ \includegraphics[valign=t, width=0.80\textwidth]{figures/cycle_gan_ex1} }
 
 \end{frame}

GenerativeAdversarialNetworks/m2_DL_GANS.tex

@@ -54,15 +54,6 @@
 
 
 
-\usepackage[french]{babel}
-\usepackage[utf8]{inputenc}
-\usepackage{times}
-\usepackage{epsfig}
-\usepackage{comment}
-\usepackage{url}
-\usepackage{multirow}
-\usepackage[T1]{fontenc}
-%\usepackage{natbib}
 \usepackage{multimedia}
 \usepackage{media9}
 

GenerativeAdversarialNetworks/refs.bib

+@article{JangGP16Gumbel,
+  added-at = {2018-08-13T00:00:00.000+0200},
+  author = {Jang, Eric and Gu, Shixiang and Poole, Ben},
+  biburl = {https://www.bibsonomy.org/bibtex/2af59bb3d69f11385bd14932dc93c5abd/dblp},
+  ee = {http://arxiv.org/abs/1611.01144},
+  interhash = {157733069613834cff7c133ed27aae43},
+  intrahash = {af59bb3d69f11385bd14932dc93c5abd},
+  journal = {CoRR},
+  keywords = {dblp},
+  timestamp = {2018-08-14T14:41:37.000+0200},
+  title = {Categorical Reparameterization with Gumbel-Softmax.},
+  url = {http://dblp.uni-trier.de/db/journals/corr/corr1611.html#JangGP16},
+  volume = {abs/1611.01144},
+  year = 2016
+}
+
+
 
 @article{SalimansGZCRC16,
   author    = {Tim Salimans and