root/applications/dual/SIDP/bakalarka/SIDP/text/prace/ch1.tex @ 1351

Revision 1351, 15.1 kB (checked in by zimamiro, 13 years ago)
Line 
1\section{Z�adn�loha stochastick� ��
2Tento odd�se zab�ecnou formulac�lohy stochastick� �� pojmy s t�spojen�
3\subsection{Syst�a jeho popis}
4�t�m pojmem v teorii ��e syst� Syst�je �t sv�, kterou chceme poznat ��. Ovliv�n�yst�, a� u� za �m jeho lep�� pozn�, �za �m ��prov�me pomoc�stup�d�ch z�h�
5Ve v�in�����lohy stochastick� ��rov�no numericky, je proto ��racovat s diskr���em.  Budeme-li proto uva�ovat diskr��ovahu �u, stav syst� v �ov�okam�iku $t$ pod�kone�ho �� horizontu d�y $N$ popisuje soustava rovnic
6\begin{equation}
7\label{sys}
8x_{t+1}=f_t(x_t,u_t,w_t), \qquad t=0,1,\ldots,N-1.
9\end{equation}
10Zde $x_t$ p�avuje stav syst� v �e $t$, $u_t$ ���h v �e $t$ a $w_t$ n�dnou veli�u reprezentuj� p�nost �umu. P�kl�me, �e tvar rovnic $f_t$ je n�zn� nap�d z fyzik�� rozboru �, �ze znalosti konstrukce stroje, kter�sujeme. D� p�kl�me, �e  stav syst� m� p�pozorovat. P� ne�ho pozorov� bude probr�pozd�.
11
12\subsection{Ztr�v�unkce a optim���n�
13C�m ��e pro syst�popsan�tavou \eqref{sys} navrhnout regul�r (posloupnost �� z�h�ter� stav syst� udr�ovat co nejbl�  po�adovan�odnot�Pro tyto � m� v � �� dispozici p�sanou ztr�vou (resp. �vou) funkci
14\begin{equation}
15g(x_{1:N},u_{0:N-1}),
16\end{equation}
17kter�r�e, nakolik jsme vyty��l��i.
18
19Ozna� $U(x_t)$ nepr�nou mno�inu p�tn�d�ch z�h� syst�nach�j� se ve stavu $x_t$. P�tnou ��trategi�\pi=\mu_{0:N-1}$ budeme rozum�posloupnost zobrazen�\begin{equation}
20\label{con}
21\mu_t(x_t)=u_t, \qquad t=0,1,\ldots,N-1,
22\end{equation}
23kde $\mu_t(x_t)=u_t  \in U(x_t)$ je p�tn�c��h. Nepr�n�no�ina $\Pi$ pak bude zna� mno�inu v�ech p�tn�d�ch strategi�
24
25Pro danou ��trategii ozna� o��nou ztr� jako
26\begin{equation}
27\label{los}
28J_\pi(x_0)=\E_{w_{0:N-1}}\left\{g(x_{1:N},\mu_{0:N-1}(x_{0:N-1}))\right\}.
29\end{equation}
30
31�ohou ��e potom naj�takovou $\pi^*$, pro kterou plat�\begin{equation}
32J_{\pi^*}(x_0)=\min_{\pi \in \Pi}J_\pi(x_0).
33\end{equation}
34
35Celkov�e tedy jedn� optimaliza� � nal� takovou posloupnost funkc�eqref{con}, kter�inimalizuje o��nou ztr�vou \eqref{los} za podm�k \eqref{sys}.
36
37\section{�oha stochastick� �� aditivn�tr�u}
38�ohu stochastick� ��ak, jak byla definov� v p�oz��i, nelze obecn�e�it. Je tedy pot�� n�k bl� specifikovat.
39\subsection{Aditivn�tr�v�unkce}
40Jako vhodn�e ukazuje omezit se na n�k�i��var ztr�v�unkce \eqref{los}. Budeme proto d� uva�ovat tzv. aditivn�var ztr�v�unkce, tedy �e existuj�unkce $g_t$ takov��e m� ps�
41\begin{equation}
42\label{adi}
43g(x_{1:N},u_{0:N-1})=\sum_{t=0}^{N-1}g_t(x_{t+1},u_t).
44\end{equation}
45
46O��nou ztr� \eqref{los} potom m� p�t do tvaru
47\begin{equation}
48\label{ex}
49J_\pi(x_0)=\E_{w_{0:N-1}}\left\{\sum_{t=0}^{N-1}g_t(x_{t+1},\mu_t(x_t))\right\}.
50\end{equation}
51
52\subsection{Dynamick�rogramov�}
53Takto specifikovan�loha stochastick� ��e d�e�it pou�it�dynamick� programov� \cite{bellman1957dynamic}. Dynamick�rogramov� je p�p k ��ptimaliza�ch � na kter�e m� d�t jako na posloupnost rozhodnut�pro kter�lat�zv. princip optimality.  Ten � �e optim��osloupnost rozhodnut��u vlastnost, �e pro libovoln�te� stav a rozhodnut�us��chna n�eduj� rozhodnut�ptim��zhledem k v��zhodnut�rvn�.
54
55Platnost principu optimality pro o��nou ztr� tvaru \eqref{ex} je intuitivn�nadno pochopiteln�Pokud by toti� n�k� ��trategie nebyl optim��pak o��nou ztr� sn�me p�dem ke strategii, ve kter�nu neoptim��� nahrad� optim����podprobl� na tomt��. P� d�platnosti principu optimality pro o��nou ztr� tvaru \eqref{ex} lze nal� nap�d v \cite{bertsekas1995dynamic}.
56
57\subsection{Pou�it�ynamick� programov� p��en�lohy stochastick� �� aditivn�tr�u}
58P��en�lohy stochastick� �� aditivn�tr�u je mo�n�ostupovat, jak je u ���moc�ynamick� programov� zvykem. Za t�o �m ozna� $J_t(x_t)$ minim��odnotu st� ztr� od okam�iku $t$ do $N$ v z�slosti na $x_t$. Dle \eqref{ex} pro ni m� ps�
59\begin{gather}
60J_N(x_N)=0,\\
61J_t(x_t)=\min_{u_t \in U(x_t)}\E_{w_t}\left\{g_k(x_{t+1},u_t)+J_{t+1}(x_{t+1})\right\}, \qquad t=0,\ldots,N-1.
62\end{gather}
63
64P�nstrukci optim���c�trategie budeme postupovat od konce �� horizontu a postupn�ledat $J_t(x_t)$. Pro v� $x_{t+1}$ se pou�ije rovnice \eqref{sys}.
65Libovoln��c�trategie $\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�pl� syst�rovnic
66\begin{equation}
67\label{impl}
68J_t(x_t)=\E_{w_t}\left\{g_k(x_t,\mu_t(x_t),w_t)+J_{t+1}(f_t(x_t,\mu_t(x_t),w_t))\right\}, \qquad t=0,\ldots,N-1,
69\end{equation}
70pak bude optim��osloupnost�ozhodnut�
71
72\section{�oha stochastick� �� nep�mi daty}
73P�likaci matematick� modelov� na ���k�onkr��lohy se obvykle pot�s probl�m jak ur� konstanty, kter�an�l ur��Zkoum�-li nap�d n�k�k��yst� z rozboru fyzik�� z�nitost�bvykle zn� tvar rovnic, kter�r��eho v� �e. Nicm� po�e� podm�y �parametry, kter� rovnic� vystupuj� jsou pro dan��charakteristick�m� z�at pouze nep� obvykle m�n�vhodn�li�.
74
75Tento odd�se zab�difikac�lohy stochastick� ��ro p� p�nosti nezn�ch parametr�
76\subsection{V�syst� a informa� vektor}
77Informace o stavu syst� $x_t$ v �e $t$ z��me pomoc�� $y_t$, kter��jako
78\begin{equation}
79\label{poz}
80y_0=h_0(x_0,v_0),\qquad y_{t+1}=h_{t+1}(x_{t+1},u_t,v_{t+1}), \qquad t=1,\ldots,N-1,
81\end{equation}
82kde $v_t$ je n�dn�eli�a charakterizuj� chybu m�n�P�kl�me znalost funkc�h_t$. Po�e� stav $x_0$ je d�rozd�n�pravd�dobnosti $P^{x_0}$ a dal���yst� ur�e soustava \eqref{sys}.
83
84Informace, kter�sou v pr� �� dispozici je zvykem ps�ve form�zv. informa�ho vektoru, kter�var
85\begin{equation}
86I_0=y_0,\qquad I_{t+1}=(y_{0:t+1},u_{0:t}), \qquad  t=1,\ldots,N-1.
87\end{equation}
88
89\subsection{Optim���n�ro � s nep�mi daty}
90�d� z�h nyn�em�xplicitn��set na stavu syst�, proto�e m� k dispozici pouze informa� vektor. Podobn�ako v p�l�apitole proto zav�me nepr�nou mno�inu $U(I_t)$ v�ech p�tn�d�ch z�h�informace $I_t$. P�tnou ��trategi�\pi=\mu_{0:N-1}$ bude posloupnost
91\begin{equation}
92\label{icon}
93\mu_t(I_t)=u_t, \qquad t=0,1,\ldots,N-1,
94\end{equation}
95kde $\mu_t(I_t)=u_t \in U(I_t)$ je p�tn�c��h.
96
97�olem je naj�p�tnou strategii, kter�y minimalizovala o��nou ztr�
98\begin{equation}
99\label{ilos}
100J_\pi=\E_{\substack{x_0,\ w_{0:N-1},\\ v_{0:N}}}\left\{\sum_{t=0}^{N-1}g_t(x_{t+1},\mu_t(x_t))\right\},
101\end{equation}
102za podm�k \eqref{sys} a \eqref{poz}.
103
104\subsection{P� na � s �mi daty}
105Proto�e v �e $t$ nem� k dispozici p�stav syst� $x_t$, ale pouze informa� vektor $I_t$, nem� pou��postup z p�oz�apitoly. P��je pot�� vhodn�ransformovat. Za t�o �m zap�me informa� vektor ve tvaru
106\begin{equation}
107\label{nep}
108I_0=y_0,\qquad I_{t+1}=(I_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1.
109\end{equation}
110Na tuto rovnost m� pohl�t jako na rovnice syst� \eqref{sys}. Stav v �e $t$ je nyn�I_t$, vstup $u_t$ a $y_{t+1}$ n�dn�eli�a podm�n�I_t$ a $u_t$ p�eqref{poz}.
111
112D� p�me k nov�tr�v�unkci, kterou definujeme jako
113\begin{equation}
114\tilde{g}_t(I_{t+1},u_t)=\E_{x_{t+1}}\left\{g_t(x_{t+1},u_t)|I_t,u_t\right\}, \qquad  t=1,\ldots,N-1,
115\end{equation}
116kde $x_{t+1}$ se po��le \eqref{sys} a $x_t$ se pova�uje za n�dnou veli�u podm�nou informa�m vektorem $I_t$.
117
118O��nou ztr� podprobl� od �u $t$ do $N$ nyn�� ps�ve tvaru
119\begin{gather}
120J_N(I_N)=0,\\
121J_t(I_t)=\min_{u_t \in U_t}\E_{w_t,y_{t+1}}\left\{\tilde{g}_t(I_{t+1},u_t)+J_{t+1}(I_{t+1})|I_t,u_t\right\}, \qquad t=0,\ldots,N-1.
122\end{gather}
123
124Tato � ji� m��ena pomoc�ynamick� programov�. P��en�udeme postupovat od konce �� horizontu a postupn�ledat $J_t(I_t)$. Potom libovoln�\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�ab�nim����n�tr� $J_0(y_0)$ je optim���c�trategie.
125
126\section{�oha ��yst� s nezn�mi parametry}
127Pokud chceme � syst� jeho� v�z�s�a n�k�nezn�m konstantn�parametru $\theta$, m� vyu��znalosti ��robl� s ne�m pozorov�m. Parametr $\theta$ bude reprezentovat stav syst� $x_t$, kter�yn� �e nem�.
128
129\subsection{Syst�s nezn�mi parametry, hyperstav}
130V t� � m� v� syst� $y_t$ pops� jako
131\begin{equation}
132\label{poz2}
133y_0=h_0(\theta,v_0),\qquad y_{t+1}=h_t(I_t^{(d)},\theta,u_t,v_{t+1}), \qquad t=0,\ldots,N-1,
134\end{equation}
135kde $I_t^{(d)}=(y_{t:t-d},u_{t-1:t-d})$ a �lo $d$ se naz�d modelu.
136
137Ozna� $T_t$ dostate�u statistiku pro parametr $\theta$ zalo�enou na informac� dostupn� �e $t$. Pokud dostate� statistika neexistuje, pak bude $T_t$ ozna�at n�kou jej�hodnou aproximaci. Ozna� d� $H_t=(I_t^{(d)},T_t)$ tzv. hyperstav syst�.
138
139P�kl�jme d�, �e o parametru $\theta$ m� n�kou apriorn�nformaci v podob�ustoty pravd�dobnosti $f(\theta|T_0)$. Aposteriorn�ustotu $f(\theta|T_{t+1})$ z�� pomoc�ayesova vzorce
140\begin{equation}
141\label{bay}
142f(\theta|T_{t+1}) = \frac{f(y_{t+1} | \theta, I_t^{(d)},u_t) f(\theta| T_t)}
143{\int f(y_{t+1} | \theta, I_t^{(d)},u_t) f(\theta| T_t)\mathrm{d}\theta}.
144\end{equation}
145Rekurzivn�ou�it�zorce \eqref{bay} pro odhad parametru $\theta$ se naz�stup Bayesovsk� u��cite{peterka1981bayesian}.
146
147Pro v�yperstavu $H_t$ v �e m� na z�ad�eqref{bay} ps�
148\begin{equation}
149\label{the}
150H_{t+1}=f_t(H_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1.
151\end{equation} 
152Rovnici \eqref{the} m� podobn�ako \eqref{nep} pova�ovat za rovnici syst� \eqref{sys} pro stav $H_t$ a vstup $u_t$ s �umem $y_{t+1}$.
153
154\subsection{P� na � s nep�mi daty}
155Ztr�v�unkce je nyn�\begin{equation}
156\label{los2}
157g(y_{1:N},u_{0:N-1})=\sum_{t=0}^{N-1}g_t(y_{t+1},u_t).
158\end{equation}
159
160�ohou je nalezen��c�trategie $\pi=\mu_{0:N-1}$, kter�y minimalizovala o��nou ztr�
161\begin{equation}
162\label{ilos2}
163J_\pi=\E_{\theta_0,v_{0:N-1}}\left\{\sum_{t=0}^{N-1}g_t(y_{t+1},\mu_t(H_t))\right\},
164\end{equation}
165za apriorn�nformace $f(\theta|T_0)$, zn�ho rozd�n�umu $v_t$ a podm�k \eqref{the} a \eqref{poz2}.
166
167Rovnice \eqref{the}, \eqref{poz2} a \eqref{los2} potom p�avuj�lohu stochastick� �� nep�mi daty.
168
169�ohu op��e pomoc�ynamick� programov�, tedy postupnou minimalizac���n�tr� od konce �� horizontu
170\begin{gather}
171J_N(H_N)=0,\\
172J_t(H_t)=\min_{u_t \in U_t}\E_{y_{t+1}}\left\{g_t(y_{t+1},u_t)+J_{t+1}(H_{t+1})|H_t,u_t\right\}, \qquad t=0,\ldots,N-1,
173\end{gather}
174kde $H_{t+1}$ se po��le \eqref{the}. St� hodnota vzhledem k $y_{t+1}$ se po��omoc�eqref{poz2} a $f(\theta|T_t)$ jako�to aktu�� odhadu na parametr $\theta$.
175
176\subsection{Kalman�ltr}
177Pokud v rovnic� \eqref{poz2} popisuj�ch v�syst� vystupuje aditivn�aussovk�a nezn� parametr je separov�jako line��len, m� vypo�at konkr��var rovnice \eqref{the}, tzv. Kalman�ltr \cite{kalman1960new}.
178
179Dle p�kladu m��v �e $t$ tvar
180\begin{equation}
181\label{sys2}
182y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t)\theta+v_{t+1},  \qquad t=0,\ldots,N-1.
183\end{equation}
184
185kde $\tilde{h}_t(I_t,u_t)$, resp. $A_t(I_t,u_t)$ je zn� funkce, resp. matice z�s� na informa�m vektoru a aktu��stupu. D� p�kl�me gaussovsk�ozlo�en�umu $v_{t+1}$ se zn�m rozptylem
186\begin{equation}
187v_{t+1}\sim N(0,Q_{t+1}),
188\end{equation}
189gaussovsk�ozlo�en�dhadu nezn�ho parametru $\theta_t$ a jejich nekorelovanost, tedy
190\begin{gather}
191\theta_t\sim N(\hat{\theta}_t,P_t),\\
192\cov(v_{t+1},\theta_t)=0.
193\end{gather}
194
195Dosazen�do \eqref{bay} se odvod��e aposteriorn�ustota pravd�dobnosti $f(\theta|T_{t+1})$ je rovn�gaussovsk�a jej�arametry $(\hat{\theta}_{t+1}, P_{t+1})$ spl� rovnice
196\begin{gather}
197K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1},\\
198\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t),\\
199P_{t+1}=(I-K_tA_t)P_t.
200\end{gather}
201Odvozen�ze nal� v \cite{peterka1981bayesian}.
202
203Alternativn�dvozen�ez po�adavku gaussovsk� �umu je mo�n�rov� za p�kladu, �e odhadovac�roceduru st� hodnoty $\hat{\theta}_{t+1}$  nezn�ho parametru $\theta$ budeme hledat ve tvaru line��pravy st� hodnoty $\hat{\theta}_t$ ��eur�osti v syst�. Tedy �e
204\begin{equation}
205\label{opr}
206\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\E_{\theta,v_t}y_{t+1}),
207\end{equation}
208kde $K_t$ je nezn� matice, kterou ur�e z po�adavku minimalizace v��atice rozptylu $P_{t+1}$. Pro �um $v_t$  budeme po�adovat nulovou st� hodnotu a existenci druh� momentu. Matici rozptylu ozna�e op�$Q_t$.
209
210Pro matici $P_{t+1}$ jako funkci $K_t$ m� ps�
211\begin{equation}
212P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T].
213\end{equation}
214
215Dosazen�za $\hat{\theta}_{t+1}$ z \eqref{opr} a za $y_t$ ze \eqref{sys2} a �ou dostaneme (pro libovolnou matici $B$ budeme pro lep��itelnost nam�o $BB^T$ ps�zkr�n�B^2$)
216\begin{align*}
217P_{t+1}(K_t)&=\E_{\theta,v_t}\left\{(\theta-\hat{\theta}_t-K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t))^2\right\} \\
218&=\E_{\theta,v_t}\left\{((I-K_tA_t)(\theta-\hat{\theta}_t)-K_tv_t)^2\right\} \\
219&=(I-K_tA_t)\E\left\{(\theta-\hat{\theta_t})^2\right\}(I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,v_t)K_t^T-\\
220&-K_t\cov(\theta,v_t)(I-K_tA_t)^T+K_t\E\left\{v_t^2\right\}K_t^T.
221\end{align*}
222
223Pou�it�definice $P_t$, $Q_t$ a p�kladu $\cov(\theta,v_t)=0$ m�
224\begin{equation}
225\label{Pt+1}
226P_{t+1}(K_t)=(I-K_tA_t)P_t(I-K_tA_t)^T+K_tQ_tK_t^T.
227\end{equation}
228Proto�e po�adujeme minim��ozptyl odhadu $\hat{\theta}_{t+1}$, ur�e $K_t$ z rovnice
229\begin{equation}
230\frac{\partial \tr( P_t)}{\partial K_t}=0.
231\end{equation}
232
233K proveden�erivace pou�ijeme vzorce
234\begin{gather}
235\frac{\partial\tr(MXN)}{\partial X}=M^TN^T,\\
236\frac{\partial\tr(MXNX^TO)}{\partial X}=M^TO^TXN+OMXN,
237\end{gather}
238kde $M,N$ a $O$ jsou konstantn�atice.
239
240T�z�� line��ovnici pro $K_t$ tvaru
241\begin{equation}
242-P_t^TA_t-P_tA_t+K_tA_tP_tK_t+K_tA_t^TP_tK_t+2Q_tK_t=0,
243\end{equation}
244kter��e�en�\begin{equation}
245\label{Kt}
246K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}.
247\end{equation}
248Dosazen�\eqref{Kt} do \eqref{Pt+1} po ��ostaneme
249\begin{equation}
250\label{Pt+12}
251P_{t+1}=(I-K_tA_t)P_t
252\end{equation}
253Rovnice \eqref{opr}, \eqref{Kt} a \eqref{Pt+12} p�avuj�ovnice Kalmanova filtru.
Note: See TracBrowser for help on using the browser.