Skip to content
GitLab
Projects
Groups
Snippets
/
Help
Help
Support
Community forum
Keyboard shortcuts
?
Submit feedback
Contribute to GitLab
Sign in
Toggle navigation
Menu
Open sidebar
Loïc Barrault
supports_cours
Commits
33603462
Commit
33603462
authored
Dec 04, 2018
by
Loïc Barrault
Browse files
gan update
parent
ac66b5dd
Pipeline
#510
canceled with stages
Changes
3
Pipelines
1
Hide whitespace changes
Inline
Side-by-side
GenerativeAdversarialNetworks/gan.tex
View file @
33603462
...
...
@@ -288,6 +288,59 @@ with tf.Session() as session:
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle
{}
\vspace
{
\stretch
{
1
}}
\begin{block}
{}
\begin{itemize}
\item
[]
\item
[]
\item
[]
\centerline
{
\huge
{
GAN pour le texte
}
}
\item
[]
\end{itemize}
\end{block}
\vspace
{
\stretch
{
1
}}
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle
{
GAN pour la génération de texte
}
\begin{itemize}
\item
Les GANs fonctionnent en rétro-propageant les gradients à travers le Générateur et le Discriminateur.
\item
Le texte est généré grâce à une fonction softmax finale
\begin{itemize}
\item
sur l'espace du vocabulaire
\item
la sortie du réseau est une distribution de probabilités (unité discrète stochastique).
\item
[\ra]
cela ne fonctionne pas bien ensemble
\end{itemize}
\item
Autre vision des choses : le générateur produit une phrase à partir d'un bruit
\item
Les paramètres du générateur sont mis à jour petit à petit
\item
[\ra]
Lorsque l'on modifie un peu les valeurs d'une image
\ra\
on obtient une image.
\item
Qu'en est-il pour une représentation vectorielle d'une phrase ?
\item
[\ra]
Est-ce qu'un vecteur d'une phrase + delta est toujours une phrase ? Laquelle ?
\end{itemize}
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle
{
GAN pour la génération de texte - Quelques solutions
}
\begin{itemize}
\item
En utilisant toujours le softmax :
\begin{itemize}
\item
Utilisation de l'algorithme REINFORCE
\item
Utilisation du Gumbel-softmax
\item
[\ra]
cf.
\cite
{
JangGP16Gumbel
}
\end{itemize}
\item
Supprimer la fonction discrète stochastique en sortie (softmax)
\item
[\ra]
par ex.: générer un embedding directement
\end{itemize}
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle
{}
...
...
@@ -303,6 +356,18 @@ with tf.Session() as session:
\vspace
{
\stretch
{
1
}}
\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%\begin{frame}
%\frametitle{Binary Cross Entropy (BCE) loss}
%
%$L = \{ l_1, \dots, l_N\}^T, l_i = -w_i[y_i \cdot \log(v_i) + (1-y_i) \cdot log(1-v_i)]$
%
%\end{frame}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{frame}
\frametitle
{
GAN pour la génération d'images
}
...
...
@@ -466,7 +531,6 @@ with tf.Session() as session:
\begin{frame}
\frametitle
{
CycleGAN : traduction image vers image
}
\centerline
{
\includegraphics
[valign=t, width=0.80\textwidth]
{
figures/cycle
_
gan
_
ex1
}
}
\end{frame}
...
...
GenerativeAdversarialNetworks/m2_DL_GANS.tex
View file @
33603462
...
...
@@ -54,15 +54,6 @@
\usepackage
[french]
{
babel
}
\usepackage
[utf8]
{
inputenc
}
\usepackage
{
times
}
\usepackage
{
epsfig
}
\usepackage
{
comment
}
\usepackage
{
url
}
\usepackage
{
multirow
}
\usepackage
[T1]
{
fontenc
}
%\usepackage{natbib}
\usepackage
{
multimedia
}
\usepackage
{
media9
}
...
...
GenerativeAdversarialNetworks/refs.bib
View file @
33603462
@article
{
JangGP16Gumbel
,
added-at
=
{2018-08-13T00:00:00.000+0200}
,
author
=
{Jang, Eric and Gu, Shixiang and Poole, Ben}
,
biburl
=
{https://www.bibsonomy.org/bibtex/2af59bb3d69f11385bd14932dc93c5abd/dblp}
,
ee
=
{http://arxiv.org/abs/1611.01144}
,
interhash
=
{157733069613834cff7c133ed27aae43}
,
intrahash
=
{af59bb3d69f11385bd14932dc93c5abd}
,
journal
=
{CoRR}
,
keywords
=
{dblp}
,
timestamp
=
{2018-08-14T14:41:37.000+0200}
,
title
=
{Categorical Reparameterization with Gumbel-Softmax.}
,
url
=
{http://dblp.uni-trier.de/db/journals/corr/corr1611.html#JangGP16}
,
volume
=
{abs/1611.01144}
,
year
=
2016
}
@article
{
SalimansGZCRC16
,
author
=
{Tim Salimans and
...
...
Write
Preview
Supports
Markdown
0%
Try again
or
attach a new file
.
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment