m1_aan_td2_mlp.tex 3.3 KB
Newer Older
Loïc Barrault's avatar
Loïc Barrault committed
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
\documentclass[10pt]{article}
\usepackage{graphicx}
\usepackage{comment}
\usepackage[utf8]{inputenc}


%% A4
\textwidth 15.92cm  % 21cm - 2 * 1in
\textheight 24.62cm  % 29.7cm - 2 * 1in

\oddsidemargin 0in
\evensidemargin 0in
\topmargin 0in
\headsep 0in
\headheight 0in
\parsep \baselineskip
\parindent 10pt

\thispagestyle{empty}

\graphicspath{{./figures.td/}}


\newcommand{\header}[1]{\vspace*{0pt}\section*{\underline{#1}}}
\newcommand{\lb}{\linebreak[4]}

\begin{document}

\begin{center}
        \LARGE
        {\bf Apprentissage Automatique Numérique} \\[5mm]
        \Large
        M1 ISI \\
        {\bf TD Perceptron, Perceptron multi-couches} \\[2mm]
\end{center}

%=====================


\newcommand{\tb}[1]{
	\left(
	\begin{array}[c]{c}
		#1 
	\end{array}
	\right)
}

%---------------------------------------------
\section*{Exercice 1 : perceptron}

% exam dec 2012
Soit un problème à 2 classes $\omega_1$ et $\omega_2$.
On dispose des points d'apprentissage suivants pour les classes~:

\[
 \omega_1 = \left\{\tb{2\\1}, \tb{1\\3}, \tb{2\\3} \right\},
 \hspace{0.5cm}
 \omega_2 = \left\{\tb{1\\0}, \tb{0\\1}, \tb{-1\\1} \right\}
\]

% solution après 13 itérations
%   1.0,  0.0,  0.0,:    1.00  1.00  1.00 -1.00
%  0.0, -1.0,  0.0,:   -2.00
%  1.0,  1.0,  1.0,:    4.00  5.00  6.00 -2.00
%  0.0,  0.0,  1.0,:    1.00  3.00  3.00  0.00
% -1.0, -1.0,  1.0,:   -2.00
%  0.0,  1.0,  2.0,:    4.00  7.00  8.00 -1.00
% -1.0,  0.0,  2.0,:    1.00  5.00  5.00  1.00 -1.00
% -2.0,  0.0,  1.0,:   -1.00
% -1.0,  2.0,  2.0,:    5.00  7.00  9.00 -1.00
% -2.0,  1.0,  2.0,:    2.00  5.00  6.00  1.00  0.00
% -3.0,  1.0,  1.0,:    0.00
% -2.0,  3.0,  2.0,:    6.00  7.00 10.00 -1.00
% -3.0,  2.0,  2.0,:    3.00  5.00  7.00  1.00  1.00  3.00
%
% droite : y = -x + 3/2
%

\vspace{\baselineskip}
On considère un classifieur à correction d'erreur qui parcourt les points
dans l'ordre de façon séquentielle et qui modifie le vecteur normal dès qu'on
rencontre un point mal classé. Après une correction, on recommence avec le
Loïc Barrault's avatar
Loïc Barrault committed
83
84
85
premier point d'apprentissage.  

Le vecteur initial vaut $(1, 0, 0)^t$.
Loïc Barrault's avatar
Loïc Barrault committed
86
87
88
89
90
91

\begin{enumerate}
\item Dérouler l'algorithme. 
En combien d'itérations l'algorithme converge-t-il ? (inférieur à 15)% 1pt \end{itemize}
\item Calculer l'équation des frontières de décision et en déduire
           la règle de décision pour chacune des classes.
Loïc Barrault's avatar
Loïc Barrault committed
92
\item Refaire la même chose avec un vecteur initial valant $(1, 2, 3)^t$. 
Loïc Barrault's avatar
Loïc Barrault committed
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
\item Que se passe-t-il si on mélange les exemples en alternant les exemples de chaque classe ?
\item Tracer sur une même figure les points d'apprentissage et la
           surface de décision.
\end{enumerate}

%---------------------------------------------

\section*{Exercice 2 : perceptron multi-couche}

On considère les problèmes de classification suivants. 
Donner l'architecture d'un réseau de neurones pour cette tâche : 
\begin{itemize}
\item faut-il une couche cachée ?
\item avec combien de neurones ?
\end{itemize}
Calculez des valeurs pour tous les poids, ainsi que les seuils.  
On est bien sûr intéressé par les architectures les plus simples possibles.

\vspace{3\baselineskip}
\centerline{
  \includegraphics{FigProblemMLP5}
Loïc Barrault's avatar
Loïc Barrault committed
114
115
116
117
118
%}
%
%\vspace{\baselineskip}
%\centerline{
  \includegraphics{FigProblemMLP}
Loïc Barrault's avatar
Loïc Barrault committed
119
}
Loïc Barrault's avatar
Loïc Barrault committed
120
121
122
\vspace{3\baselineskip}
\centerline{  \includegraphics{FigSpiral} }

Loïc Barrault's avatar
Loïc Barrault committed
123
124
125

\end{document}