Changeset 1090

Show
Ignore:
Timestamp:
06/13/10 17:27:15 (15 years ago)
Author:
zimamiro
Message:
 
Location:
applications/dual/SIDP/text
Files:
5 modified

Legend:

Unmodified
Added
Removed

  • applications/dual/SIDP/text/ch1.tex

    r919 r1090  
    11DEFINICNI OBORY 
    22\section{Formulace � stochastick� �� 
    3 �t�m pojmem v teorii ��e \emph{syst�. Syst�je �t sv�, kterou chceme poznat ��. Budeme-li p�kl�t diskr��ovahu �u, stav syst� v �ov� okam�iku $t$ pod��� horizontu d�y $N$ popisuje syst�rovnic 
     3�t�m pojmem v teorii ��e \emph{syst�. Syst�je �t sv�, kterou chceme poznat ��. Budeme-li p�kl�t diskr��ovahu �u, stav syst� v �ov�okam�iku $t$ pod��� horizontu d�y $N$ popisuje syst�rovnic 
    44\begin{equation} 
    55\label{sys} 
    … …  
    1010V � ��� v�dy p�sanou ztr�vou (resp. �vou) funkci 
    1111\begin{equation} 
    12 g(x_{0:N},u_{0:N-1},w_{0:N-1}). 
     12g(x_{1:N},u_{0:N-1}). 
    1313\end{equation} 
    1414 
    15 Ozna� $U(x_t)$ mno�inu p�tn�d�ch z�h� syst�ve stavu $x_t$. Posloupnost��c� strategi�\pi=\mu_{0:N-1}$ budeme rozum�posloupnost zobrazen�\begin{equation} 
     15Ozna� $U(x_t)$ mno�inu p�tn�d�ch z�h� syst�ve stavu $x_t$. P�tnou ��trategi�\pi=\mu_{0:N-1}$ budeme rozum�posloupnost zobrazen�\begin{equation} 
    1616\label{con} 
    1717\mu_t(x_t)=u_t \, \qquad t=0,1,\ldots,N-1, 
    … …  
    2222\begin{equation} 
    2323\label{los} 
    24 J_\pi(x_0)=\E_{w_{0:N-1}}\left\{g(x_{0:N},\mu_{0:N-1}(x_{0:N-1}),w_{0:N-1})\right\}. 
     24J_\pi(x_0)=\E_{w_{0:N-1}}\left\{g(x_{1:N},\mu_{0:N-1}(x_{0:N-1}))\right\}. 
    2525\end{equation} 
    2626 
    2727�ohou je potom naj�takovou $\pi^*$, pro kterou plat�\begin{equation} 
    28 J_{\pi^*}(x_0)=\min_{\pi \in \Pi}J_\pi(x_0). 
     28J_{\pi^*}(x_0)=\min_{\pi \in \Pi}J_\pi(x_0), 
    2929\end{equation} 
     30kde $\Pi$ zna�mno�inu v�ech p�tn�d�ch strategi� 
    3031 
    3132Celkov�e tedy jedn� optimaliza� � nal� takovou posloupnost funkc�eqref{con}, kter�inimalizuje o��nou ztr�vu \eqref{los} za podm�k \eqref{sys}. 
    3233 
    3334\section{Pou�it�ynamick� programov� p��en�lohy stochastick� �� aditivn�tr�u} 
    34 �ohu stochastick� ��ak, jak byla definov� v p�oz��i, nelze obecn�e�it. Je tedy pot�� n�k bl� specifikovat. V tomto sm� je mo�n�mezit se na n�k�i��var ztr�v�unkce \eqref{los}. Jako vhodn�e�en�e ukazuje uva�ovat tzv. aditivn�var ztr�v�unkce, tedy �e existuj�unkce $g_t$ takov��e m� ps� 
     35�ohu stochastick� ��ak, jak byla definov� v p�oz��i, nelze obecn�e�it. Je tedy pot�� n�k bl� specifikovat. V tomto sm� je mo�n�mezit se na n�k�i��var ztr�v�unkce \eqref{los}. Jako vhodn�e ukazuje uva�ovat tzv. aditivn�var ztr�v�unkce, tedy �e existuj�unkce $g_t$ takov��e m� ps� 
    3536\begin{equation} 
    3637\label{adi} 
    37 g(x_{0:N},u_{0:N-1},w_{0:N-1})=g_N(x_N)+\sum_{t=0}^{N-1}g_t(x_t,u_t,w_t) 
     38g(x_{1:N},u_{0:N-1})=\sum_{t=1}^{N-1}g_t(x_{t+1},u_t). 
    3839\end{equation} 
    3940 
    4041O��nou ztr� \eqref{los} potom m� p�t do tvaru 
    4142\begin{equation} 
    42 J_\pi(x_0)=\E_{w_{0:N-1}}\left\{g_N(x_N)+\sum_{t=0}^{N-1}g_t(x_t,\mu_t(x_t),w_t)\right\} 
     43J_\pi(x_0)=\E_{w_{0:N-1}}\left\{\sum_{t=0}^{N-1}g_t(x_{t+1},\mu_t(x_t))\right\}. 
    4344\end{equation} 
    4445 
    45 Takto specifikovan�loha se d�e�it pou�it�dynamick� programov� []. Dynamick�rogramov� je p�p k ��ptimaliza�ch � na kter�e m� d�t jako na posloupnost rozhodnut�pro kter�lat�zv. princip optimality.  Ten � �e optim��osloupnost rozhodnut��u vlastnost, �e pro libovoln�te� stav a rozhudnut�us��chna n�eduj� rozhodnut�ptim��zhledem k v��zhodnut�rvn�. D� �e pro ztr� tvaru \eqref{adi} plat�rincip optimality je snadn�e ho nal� nap�d v [ref]. 
     46Takto specifikovan�loha se d�e�it pou�it�dynamick� programov� \cite{bellman1957dynamic}. Dynamick�rogramov� je p�p k ��ptimaliza�ch � na kter�e m� d�t jako na posloupnost rozhodnut�pro kter�lat�zv. princip optimality.  Ten � �e optim��osloupnost rozhodnut��u vlastnost, �e pro libovoln�te� stav a rozhudnut�us��chna n�eduj� rozhodnut�ptim��zhledem k v��zhodnut�rvn�. D� �e pro ztr� tvaru \eqref{adi} plat�rincip optimality je snadn�e ho nal� nap�d v \cite{bertsekas1995dynamic}. 
    4647 
    4748P��en�lohy stochastick� �� aditivn�tr�u je tedy mo�n�ostupovat, jak je u ���moc�ynamick� programov� zvykem. Minim��odnotu st� ztr� od okam�iku $t$ do $N$ v z�slosti na $x_t$ ozna�e $J_t(x_t)$. M� pro ni ps� 
    4849\begin{gather} 
    49 J_N(x_N)=g_N(x_N)\\ 
    50 J_t(x_t)=\min_{u_t \in U(x_t)}\E_{w_t}\left\{g_k(x_t,u_t,w_t)+J_{t+1}(f_t(x_t,u_t,w_t))\right\} \qquad t=0,\ldots,N-1 
     50J_N(x_N)=0\\ 
     51J_t(x_t)=\min_{u_t \in U(x_t)}\E_{w_t}\left\{g_k(x_{t+1},u_t)+J_{t+1}(x_{t+1})\right\} \qquad t=0,\ldots,N-1. 
    5152\end{gather} 
    5253 
    53 P��en�udeme postupovat od konce �� horizontu a postupn�ledat $J_t(x_t)$. Potom libovoln�\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�pl� syst�rovnic 
     54P��en�udeme postupovat od konce �� horizontu a postupn�ledat $J_t(x_t)$. Pro v� $x_{t+1}$ se pou�ije rovnice \eqref{sys}.  
     55Libovolnou ��trategii $\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�pl� syst�rovnic 
    5456\begin{equation} 
    5557\label{impl} 
    5658J_t(x_t)=\E_{w_t}\left\{g_k(x_t,\mu_t(x_t),w_t)+J_{t+1}(f_t(x_t,\mu_t(x_t),w_t))\right\} \qquad t=0,\ldots,N-1 
    5759\end{equation} 
    58 je optim��osloupnost rozhodnut� 
     60pak nazveme optim��osloupnost�ozhodnut� 

  • applications/dual/SIDP/text/ch2.tex

    r930 r1090  
    1 P�likaci matematick� modelov� na ���k�onkr��lohy se obvykle pot�s probl�m, jak ur� konstanty, kter�an�l ur��Zkoum�-li nap�d n�k�k��yst� z rozboru fyzik�� z�nitost�bvykle zn� tvar rovnic, kter�r��eho v� �e, nicm� po�e� podm�y �parametry, kter� rovnic� vystupuj� jsou pro dan��charakteristick�m� z�at pouze nep� obvykle m�n�vhodn�li�. Modifikac�lohy stochastick� ��ro p� p�nosti nezn�ch parametr�zab�to kapitola. 
    2  
     1P�likaci matematick� modelov� na ���k�onkr��lohy se obvykle pot�s probl�m, jak ur� konstanty, kter�an�l ur��Zkoum�-li nap�d n�k�k��yst� z rozboru fyzik�� z�nitost�bvykle zn� tvar rovnic, kter�r��eho v� �e, nicm� po�e� podm�y �parametry, kter� rovnic� vystupuj� jsou pro dan��charakteristick�m� z�at pouze nep� obvykle m�n�vhodn�li�. Tato kapitola se zab�difikac�lohy stochastick� ��ro p� p�nosti nezn�ch parametr� 
    32\section{Formulace � stochastick� �� nep�mi daty} 
    43Informace o stavu syst� $x_t$ v �e $t$ z��me pomoc�� $y_t$, kter��jako 
    54\begin{equation} 
    65\label{poz} 
    7 y_0=h_0(x_0,v_0),\qquad y_t=h_t(x_t,u_{t-1},v_t), \qquad t=1,\ldots,N-1, 
     6y_0=h_0(x_0,v_0),\qquad y_{t+1}=h_{t+1}(x_{t+1},u_t,v_{t+1}), \qquad t=1,\ldots,N-1, 
    87\end{equation} 
    98kde $v_t$ je n�dn�eli�a charakterizuj� chybu m�n�Po�e� stav $x_0$ je d�rozd�n�pravd�dobnosti $P^{x_0}$ a dal���yst� ur�e soustava \eqref{sys}. 
    … …  
    1110Informace, kter�sou v pr� �� dispozici je zvykem ps�ve form�zv. \emph{informa�ho vektoru}, kter�var 
    1211\begin{equation} 
    13 I_0=y_0,\qquad I_t=(y_{0:t},u_{0:t-1}), \qquad  t=1,\ldots,N-1. 
     12I_0=y_0,\qquad I_{t+1}=(y_{0:t+1},u_{0:t}), \qquad  t=1,\ldots,N-1. 
    1413\end{equation} 
    1514 
    16 �d� strategie $\pi=\mu_{0:N-1}$ nyn�em�xplicitn��set na stavu syst�, proto�e m� k dispozici pouze informa� vektor. Hled� tedy 
     15�d� z�h nyn�em�xplicitn��set na stavu syst�, proto�e m� k dispozici pouze informa� vektor. Podobn�ako v p�l�apitole proto zav�me mno�inu  $U(I_t)$ v�ech p�tn�d�ch z�h�informace $I_t$ a p�tnou ��trategi�ude $\pi=\mu_{0:N-1}$  
    1716\begin{equation} 
    1817\label{icon} 
    1918\mu_t(I_t)=u_t \, \qquad t=0,1,\ldots,N-1, 
    2019\end{equation} 
     20kde $u_t \in U(I_t)$ je p�tn�c��h. 
    2121 
    22 PRIPUSTNE STRATEGIE 
    23  
    24 �olem je naj�p�tnou strategii \eqref{icon}, kter�y minimalizovala o��nou ztr� 
     22�olem je naj�p�tnou strategii, kter�y minimalizovala o��nou ztr� 
    2523\begin{equation} 
    2624\label{ilos} 
    27 J_\pi=\E_{\substack{x_0,\ w_{0:N-1},\\ v_{0:N-1}}}\left\{g_N(x_N)+\sum_{t=0}^{N-1}g_t(x_t,\mu_t(I_t),w_t)\right\}, 
     25J_\pi=\E_{\substack{x_0,\ w_{0:N-1},\\ v_{0:N-1}}}\left\{\sum_{t=0}^{N-1}g_t(x_{t+1},\mu_t(x_t))\right\}, 
    2826\end{equation} 
    2927za podm�k \eqref{sys} a \eqref{poz}. 
    … …  
    3937 
    4038D� p�me k nov�tr�v�unkci, kterou definujeme jako 
    41 \begin{gather} 
    42 \tilde{g}_N(I_N)=\E_{x_N}\left\{g_N(x_N)|I_N\right\}, \\ \tilde{g}_t(I_t,u_t,w_t)=\E_{x_t}\left\{g_t(x_t,u_t,w_t)|I_t,u_t\right\}, \qquad  t=1,\ldots,N-1. 
    43 \end{gather} 
     39\begin{equation} 
     40 \tilde{g}_t(I_{t+1},u_t)=\E_{x_{t+1}}\left\{g_t(x_{t+1},u_t)|I_t,u_t\right\}, \qquad  t=1,\ldots,N-1, 
     41\end{equation} 
     42kde $x_{t+1}$ se po��le \eqref{sys} a $x_t$ se pova�uje za n�dnou veli�u podm�nou informa�m vektorem $I_t$. 
    4443 
    4544O��nou ztr� nyn�� ps�ve tvaru 
    4645\begin{gather} 
    47 J_N(I_N)=\tilde{g}_N(I_N)\\ 
    48 J_t(I_t)=\min_{u_t \in U_t}\E_{w_t,y_{t+1}}\left\{\tilde{g}_t(I_t,u_t,w_t)+J_{t+1}((I_t,u_t,y_{t+1}))|I_t,u_t\right\} \qquad t=0,\ldots,N-1 
     46J_N(I_N)=0\\ 
     47J_t(I_t)=\min_{u_t \in U_t}\E_{w_t,y_{t+1}}\left\{\tilde{g}_t(I_{t+1},u_t)+J_{t+1}(I_{t+1})|I_t,u_t\right\} \qquad t=0,\ldots,N-1 
    4948\end{gather} 
    5049 
    51 Tato � ji� m��ena pomoc�ynamick� programov�. P��en�udeme postupovat od konce �� horizontu a postupn�ledat $J_t(I_t)$. Potom libovoln�\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�ab�nim����n�tr� $J_0(y_0)$ je optim��osloupnost rozhodnut� 
     50Tato � ji� m��ena pomoc�ynamick� programov�. P��en�udeme postupovat od konce �� horizontu a postupn�ledat $J_t(I_t)$. Potom libovoln�\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�ab�nim����n�tr� $J_0(y_0)$ je optim���c�trategie.  
    5251 
    5352\section{�zen�yst� s nezn�mi parametry} 
    … …  
    5756\begin{equation} 
    5857\label{poz2} 
    59 y_0=h_0(\theta,v_0),\qquad y_t=h_t(I_{t-1},\theta,u_{t-1},v_t), \qquad t=1,\ldots,N-1, 
     58y_0=h_0(\theta,v_0),\qquad y_{t+1}=h_t(I_t^{(d)},\theta,u_t,v_{t+1}), \qquad t=0,\ldots,N-1, 
    6059\end{equation} 
     60kde $I_t^{(d)}=(y_{t:t-d},u_{t-1:t-d})$ a �lo $d$ se naz�d modelu. 
    6161 
    62 Ztr�v�unkce je nyn�\begin{equation} 
    63 \label{los2} 
    64 g(y_{0:N},u_{0:N-1},v_{0:N-1})=g_N(y_N)+\sum_{t=0}^{N-1}g_t(y_t,u_t,v_t). 
    65 \end{equation} 
    66  
    67 Ozna� $T_t$ testovac�tatistiku pro parametr $\theta$ zalo�enou na informac� dostupn� �e $t$. Do $T_t$ zahrneme rovnez ty cleny $I_t$, kter�ystupuj� \eqref{poz2}, abychom mohli ps� 
    68 \begin{equation} 
    69 \label{poz3} 
    70 y_{t+1}=h_t(T_t,\theta,u_t,v_{t+1}). 
    71 \end{equation} 
     62Ozna� $T_t$ dostate�u statistiku pro parametr $\theta$ zalo�enou na informac� dostupn� �e $t$. Pokud dostate� statistika neexistuje, pak bude $T_t$ ozna�at n�kou jej�hodnou aproximaci. Ozna� d� $H_t=(I_t^{(d)},T_t)$ tzv. hyperstav syst�. 
    7263 
    7364P�kl�jme d�, �e o parametru $\theta$ m� n�kou apriorn�nformaci v podob�ustoty pravd�dobnosti $f(\theta|T_0)$. Aposteriorn�ustotu $f(\theta|T_{t+1})$ z�� pomoc�ayesova vzorce 
    7465\begin{equation} 
    7566\label{bay} 
    76 f(\theta|T_{t+1})=\frac{f(T_{t+1}|\theta,T_t)f(\theta|T_t)}{\int f(T_{t+1}|\theta,T_t)f(\theta|T_t)\mathrm{d}\theta} 
     67f(\theta|T_{t+1}) = \frac{f(y_{t+1} | \theta, I_t^{(d)},u_t) f(\theta| T_t)} 
     68{\int f(y_{t+1} | \theta, I_t^{(d)},u_t) f(\theta| T_t)\mathrm{d}\theta} 
    7769\end{equation} 
    78 Rekurzivn�ou�it�zorce \eqref{bay} pro odhad parametru $\theta$ je postup Bayesovsk� u��cite{peterka1981bayesian}. 
     70Rekurzivn�ou�it�zorce \eqref{bay} pro odhad parametru $\theta$ se naz�stup Bayesovsk� u��cite{peterka1981bayesian}. 
    7971 
    80 Pro v�estovac�tatistiky v �e m� podle \eqref{bay} ps� 
     72Pro v�yperstavu $H_t$ v �e m� na z�ad�eqref{bay} ps� 
    8173\begin{equation} 
    8274\label{the} 
    83 T_{t+1}=f_t(T_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1. 
     75H_{t+1}=f_t(H_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1. 
    8476\end{equation}  
    85 Rovnici \eqref{the} m� podobn�ako \eqref{nep} pova�ovat za rovnici syst� \eqref{sys} pro stav $T_t$ a vstup $u_t$ s �umem $y_{t+1}$.  
     77Rovnici \eqref{the} m� podobn�ako \eqref{nep} pova�ovat za rovnici syst� \eqref{sys} pro stav $H_t$ a vstup $u_t$ s �umem $y_{t+1}$.  
    8678 
    87 Hustota pravd�dobnosti pro odhad parametru $\theta$ v rovnici pro v�\eqref{poz3} je v �e $t$ ur�a testovac�tatistikou $T_t$. Rovnice \eqref{the}, \eqref{poz3} a \eqref{los2} potom p�avuj�lohu stochastick� �� nep�mi daty. 
     79Ztr�v�unkce je nyn�\begin{equation} 
     80\label{los2} 
     81g(y_{1:N},u_{0:N-1})=\sum_{t=0}^{N-1}g_t(y_{t+1},u_t). 
     82\end{equation} 
     83 
     84�ohou je nalezen��c�trategie $\pi=\mu_{0:N-1}$, kter�y minimalizovala o��nou ztr� 
     85\begin{equation} 
     86\label{ilos2} 
     87J_\pi=\E_{\theta_0,v_{0:N-1}}\left\{\sum_{t=0}^{N-1}g_t(y_{t+1},\mu_t(H_t))\right\}, 
     88\end{equation} 
     89za apriorn�nformace $f(\theta|T_0)$, zn�ho rozd�n�umu $v_t$ a podm�k \eqref{the} a \eqref{poz2}. 
     90 
     91Rovnice \eqref{the}, \eqref{poz2} a \eqref{los2} potom p�avuj�lohu stochastick� �� nep�mi daty. 
     92 
     93�ohu �e pomoc�ynamick� programov�, tedy postupnou minimalizac���n�tr� od konce �� horizontu 
     94\begin{gather} 
     95J_N(H_N)=0\\ 
     96\label{los3} 
     97J_t(H_t)=\min_{u_t \in U_t}\E_{y_{t+1}}\left\{g_t(y_{t+1},u_t)+J_{t+1}(H_{t+1})|H_t,u_t\right\}, \qquad t=0,\ldots,N-1, 
     98\end{gather} 
     99kde $H_{t+1}$ se po��le \eqref{the}. St� hodnota vzhledem k $y_{t+1}$ se po��omoc�eqref{poz2} a $f(\theta|T_t)$ jako�to aktu�� odhadu na parametr $\theta$. 
    88100 
    89101\subsection{Kalman�ltr} 
    … …  
    93105\begin{equation} 
    94106\label{sys2} 
    95 y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t))\theta+v_{t+1}, , \qquad t=0,\ldots,N-1. 
     107y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t)\theta+v_{t+1}, , \qquad t=0,\ldots,N-1. 
    96108\end{equation} 
    97109 
    … …  
    106118\end{gather} 
    107119 
    108 Dosazen�do \eqref{bay} se odvod��e aposteriorn�ustota pravd�dobnosti $f(\theta_{t+1}|I_t)$ je rovn�gaussovsk�a jej�arametry $(\hat{\theta}_{t+1}, P_{t+1})$ spl� 
     120Dosazen�do \eqref{bay} se odvod��e aposteriorn�ustota pravd�dobnosti $f(\theta|T_{t+1})$ je rovn�gaussovsk�a jej�arametry $(\hat{\theta}_{t+1}, P_{t+1})$ spl� rovnice 
    109121\begin{gather} 
    110122K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}\\ 
    … …  
    114126Odvozen�ze nal� v \cite{peterka1981bayesian}. 
    115127 
    116 Alternativn�dvozen�ez po�adavku gaussovsk� �umu je mo�n�rov� za p�kladu, �e odhadovac�roceduru st� hodnoty parametru $\theta_{t+1}$ budeme hledat ve tvaru line��pravy st� hodnoty $\theta_t$ ��eur�osti v syst�. Tedy �e 
     128Alternativn�dvozen�ez po�adavku gaussovsk� �umu je mo�n�rov� za p�kladu, �e odhadovac�roceduru st� hodnoty $\hat{\theta}_{t+1}$  nezn�ho parametru $\theta$ budeme hledat ve tvaru line��pravy st� hodnoty $\hat{\theta}_t$ ��eur�osti v syst�. Tedy �e 
    117129\begin{equation} 
    118130\label{opr} 

  • applications/dual/SIDP/text/ch3.tex

    r930 r1090  
    33V t� kapitole se p�� popis n�lika mo�n��up�proximativn� ��lohy du�� ��P�e� �e �u du�� ��je nalezen��c�trategie $\pi=\mu_{0:N-1}$, kter�y minimalizovala o��nou ztr� 
    44\begin{equation} 
    5 \label{ilos2} 
    6 J_\pi=\E_{\theta_0,v_{0:N-1}}\left\{g_N(y_N)+\sum_{t=0}^{N-1}g_t(y_t,\mu_t(I_t,T_t),v_t)\right\}, 
     5\label{ilos3} 
     6J_\pi=\E_{\theta_0,v_{0:N-1}}\left\{\sum_{t=0}^{N-1}g_t(y_{t+1},\mu_t(H_t))\right\}, 
    77\end{equation} 
    88za apriorn�nformace $\theta_0$ a podm�k 
    99\begin{gather} 
    1010\label{the2} 
    11 T_{t+1}=f_t(I_t,T_t,u_t,y_{t+1}),\\ 
     11H_{t+1}=f_t(H_t,u_t,y_{t+1}),\\ 
    1212\label{poz4} 
    13 y_0=h_0(\theta_0,v_0),\qquad y_{t+1}=h_t(I_t,\theta,u_t,v_{t+1}), \qquad t=0,\ldots,N-1.\\ 
    14 v_{t+1}\sim N(0,Q_{t+1})\\ 
    15 \theta_t\sim N(\hat{\theta}_t,P_t),\\ 
    16 \cov(v_{t+1},\theta_t)=0, 
     13y_0=h_0(\theta,v_0),\qquad y_{t+1}=h_t(I_t^{(d)},\theta,u_t,v_{t+1}), \qquad t=0,\ldots,N-1, 
    1714\end{gather} 
    18 kde $T_t$ je dostate� statistika pro parametr $\theta$ v �e $t$. 
     15kde $H_t=(I_t^{(d)},T_t)$ je hyperstav syst� a $T_t$ dostate� statistika pro nezn� parametr $\theta$ v �e $t$. 
    1916 
    2017�ohu �e pomoc�ynamick� programov�, tedy postupnou minimalizac���n�tr� od konce �� horizontu 
    21 \begin{gather} 
    22 J_N(I_N,T_N)=\E_{\theta_N,v_N}\left\{g_N(y_N)\right\},\\ 
     18\begin{equation} 
    2319\label{los3} 
    24 J_t(I_t,T_t)=\min_{u_t \in U_t}\E_{y_{t+1},v_t}\left\{g_t(y_t,u_t,v_t)+J_{t+1}((I_t, ,u_t,y_{t+1},T_{t+1}))|I_t,T_t,u_t\right\}, \\ \qquad t=0,\ldots,N-1, 
    25 \end{gather} 
     20J_t(H_t)=\min_{u_t \in U_t}\E_{y_{t+1}}\left\{g_t(y_{t+1},u_t)+J_{t+1}(H_{t+1})|H_t,u_t\right\}, \qquad t=0,\ldots,N-1, 
     21\end{equation} 
    2622kde $T_{t+1}$ a $y_{t+1}$ se po��le \eqref{the2} a \eqref{poz4}. 
    2723 
    2824\section{Certainty equivalent control} 
    29 P�u�it�etody Certainty equivalent control (CEC) se v rovnici pro o��nou ztr� nahrad��dn�eli�y sv��mi hodnotami. O��n�tr� tak p� v 
     25P�u�it�etody Certainty equivalent control (CEC) se v rovnici pro o��nou ztr� nahrad��dn�eli�a $y_{t+1}$ st� hodnotou $\hat{y}_{t+1}$. Ta se vypo�� \eqref{poz4} pomoc�n�ch rozd�n�a $v_t$ a posta�� statistiky $T_t$. O��n�tr� \eqref{los} tak p� v 
    3026\begin{gather} 
    3127\label{CE} 
    32 J_N(I_N, T_N)=g_N(y_N),\\ 
    33 J_t(I_t, T_t)=\min_{u_t \in U_t}\left\{g_t(y_t,u_t,\hat{v}_t) +J_{t+1}(I_t,T_{t+1},u_t,\hat{y}_{t+1}))|I_t,T_t,u_t\right\}, \\ \qquad t=0,\ldots,N-1, 
     28J_t(H_t)=\min_{u_t \in U_t}\left\{g_t(\hat{y}_t,u_t)+J_{t+1}(\hat{H}_{t+1})|H_t,u_t\right\}, \qquad t=0,\ldots,N-1, 
    3429\end{gather} 
    3530 
    … …  
    4136Prvn�� slou�� nez�sl� sb� dat, kter�sou n�edn�ou�ita k odhadu nezn�ho parametru. K odhadu m� pou��nap�d rovnici \eqref{the2}. V druh�� pak po zbytek �� horizontu pou�ijeme  pro n�h ��trategie odhad $\hat{\theta}$ z prvn��. 
    4237 
    43 %\section{Du���n� 
    44 %Hledan��n�y m� nejen minimalizovat aktu��tr�, ale rovn�z�at o syst� co nejv� informac�ro minimalizaci budouc� ztr� Tento postup se naz����n�ref]. 
     38\section{Du���n� 
     39Hledan��n�y m� nejen minimalizovat aktu��tr�, ale rovn�z�at o syst� co nejv� informac�ro minimalizaci budouc� ztr� Tento postup se naz����n�ref]. ODKAZ NA FILDEBAUMA, POPIS PRINCIPU... (napr JEDNOKROKOVA OPTIMALIZACE S BUZENIM - FILATOV) 
    4540 
    4641\section{Metoda Monte Carlo} 
    47 Metoda Monte Carlo [ref] je statistick�imula� metoda. Jej�rincip spo��e vzorkov� n�k��dn�eli�y za �m odhadu jej�ledan�harakteristiky, nap�� hodnoty. V t� pr� je metoda Monte Carlo pou�ita k v� o��n�tr� \eqref{ilos2}.  
     42Metoda Monte Carlo \cite{hammersley1964monte} je statistick�imula� metoda. Jej�rincip spo��e vzorkov� n�k��dn�eli�y za �m odhadu jej�ledan�harakteristiky, nap�� hodnoty. V t� pr� je metoda Monte Carlo pou�ita k v� o��n�tr� \eqref{los3}.  
    4843 
    49 P��n�pou�it�ynamick� programov� m� p�po� $J_t(I_t,T_t)$ k dispozici p�s pro n�eduj� o��nou ztr� $J_{t+1}(I_{t+1},T_{t+1})$. Metoda monte Carlo n�v�ak d� dispozici pouze odhad o��n�tr� a pou�it��to aproximac� dal��v� by chybu v�  navy�ovalo. Nam�o toho se pro dal��� uchov�j�\mu_t(I_t,T_t)$ a o��n�tr� v �e $t$ se pak po��ako pr�p�n$ realizac��dn�eli�y $(\theta_{t:N-1},v_{t:N})$, tedy 
     44P��n�pou�it�ynamick� programov� m� p�po� $J_t(H_t)$ k dispozici p�s pro n�eduj� o��nou ztr� $J_{t+1}(H_{t+1})$. Metoda monte Carlo n�v�ak d� dispozici pouze odhad o��n�tr� a pou�it��to aproximac� dal��v� by chybu v�  navy�ovalo. Nam�o toho se pro dal��� uchov�j�\mu_t(H_t)$ a o��n�tr� v �e $t$ se pak po��ako pr�p�n$ realizac��dn�li�y p�ter�e prov�na st� hodnota $(\theta_{t:N-1},v_{t:N})$, tedy 
    5045\begin{equation} 
    5146\label{mon} 
    52 \frac{1}{n}\sum_{i=1}^n\left(g_N(y_N^i)+\sum_{j=t}^{N-1}g_j(y_j^i,\mu_j(I_j^i,T_j),v_j^i)\right), 
     47\frac{1}{n}\sum_{i=1}^n\left(\sum_{j=t}^{N-1}g_j(y_{j+1}^i,\mu_j(H_j^i)\right), 
    5348\end{equation} 
    5449kde $y_{j+1}^i$ se po��odle \eqref{poz4} jako 
    5550\begin{equation} 
    56 y_{j+1}^i=h_j( I_j^i,\theta_j^i,\mu(I_j^i, T_j),v_{j+1}^i), \qquad j=t,\ldots,N-1, \qquad i=1\ldots,n, 
     51y_{j+1}^i=h_j( I_j^i,\theta_j^i,\mu(H_j^i),v_{j+1}^i), \qquad j=t,\ldots,N-1, \qquad i=1\ldots,n, 
    5752\end{equation} 
    5853a index $i$ ozna�e $i$-tou realizaci dan�eli�y. Realizace $\theta_{t:N-1}$ se generuj�od�trajektorie \eqref{poz4}. To znamen��e dan�$\theta_{k+1}$ se generuje a� ve chv�, kdy je zn� $I_k$, $u_k$, posta�� statistika $T_k$ a $y_{k+1}$ a tedy p�eqref{the2} i hustota pravd�dobnosti $f(\theta_{k+1})$. 
    5954 
    60 Tento jednoduch�up lze vylep�it v��ov�ovn�m kandid� na ��Jedn�z mo�n�lep�en� je dvou�ov�ritmus poposan�ite{nelson2001simple}. V prvn�� tohoto algoritmu se nejprve pro ka�d� kandid� vygeneruje $n_0$ realizac�Na jejich z�ad�e vyberou ti, na kter�abyto minima s pravd�dobnost���e� je dan�ez $\alpha_0$. Pro tyto se v druh�� vygeneruje dostate� po� realizac�ak, aby bylo mo�n�ejlep��ozhodnut�volit s pravd�dobnost�lespo�vn�adan�ezi $\alpha_1$. Takto upraven�ritmus metody Monte Carlo je robustn�� umo�� porovn� v�� mno�stv�andid�, nebo� po� realizac� prvn�� m������u��ouze k odfiltrov� zjevn�or�� kandid� na �� 
     55Tento jednoduch�up lze vylep�it v��ov�ovn�m kandid� na optim���n�Jedn�z mo�n�lep�en� je dvou�ov�ritmus poposan�ite{nelson2001simple}. V prvn�� tohoto algoritmu se nejprve pro ka�d� kandid� vygeneruje $n_0$ realizac�Na jejich z�ad�e vyberou ti, na kter�abyto minima s pravd�dobnost���e� je dan�ez $\alpha_0$. Pro tyto se v druh�� vygeneruje dostate� po� realizac�ak, aby bylo mo�n�ejlep��ozhodnut�volit s pravd�dobnost�lespo�vn�adan�ezi $\alpha_1$. Takto upraven�ritmus metody Monte Carlo je robustn�� umo�� porovn� v�� mno�stv�andid�, nebo� po� realizac� prvn�� m������u��ouze k odfiltrov� zjevn�or�� kandid� na �� 
    6156 
    6257\section{Iterativn�ynamick�rogramov�} 
    … …  
    6459 
    6560\subsection{Diskretizace prostoru} 
    66 P�ed� optim��trategie $\mu_t(I_t,T_t)$ bychom pro p� vy�len���n�tr� \eqref{mon} na � �� horizontu $t:N$ pot�ali jej�nalytick�yj�en�To ale nen�bvykle mo�n�Je proto nutn�� k n�k�proximaci, nap�d 1) p�kl�t n�k� optim��trategie a p�po� ur� pouze konstanty, kter��ou strategii ur�jednozna�, nebo 2) diskretizovat prostor $(I_t,T_t)$ a po�at $\mu_t(I_t,T_t)$ jen v bodech diskretizace a jinde se uch� interpolaci (pop��xtrapolaci).  
     61P�ed� optim��trategie $\mu_t(H_t)$ bychom pro p� vy�len���n�tr� \eqref{mon} na � �� horizontu $t\!:\!N$ pot�ali jej�nalytick�yj�en�To ale nen�bvykle mo�n�Je proto nutn�� k n�k�proximaci, nap�d 1) p�kl�t n�k� optim��trategie a p�po� ur� pouze konstanty, kter��ou strategii ur�jednozna�, nebo 2) diskretizovat prostor $(H_t)$ a po�at $\mu_t(H_t)$ jen v bodech diskretizace a jinde se uch� interpolaci (pop��xtrapolaci).  
    6762 
    68 Jak�sobem efektivn�iskretizovat prostor nez�sl�om��o aproximativn�� o��n�tr� \eqref{mon} je p�u�it�ynamick� programov� obt��t�a. Bude-li bod�iskretizaci p� m�, bude v� nespolehliv�pak pro p� jemnou diskretizaci bude �ov���st v� rychle stoupat (o �ov���sti SIDP viz d�). Zde se ukazuje v�st pou�it�terativn� dynamick� programov�, nebo� sta�diskretizovat jen tu �t prostoru kter�ude pot� v n�eduj� iteraci. Pomoc�trategie spo�n� p�oz�kroku a n�dn�alizac�umu $v_{0:N}$ a nezn�ho parametru $\theta_{0:N}$ vygenerujeme trajektorie v $(I,T)_{0:N}$. V ka�d�asov�rovni pak diskretizujeme jen tu �t prostoru, kter�yla zasa�ena.  
     63Jak�sobem efektivn�iskretizovat prostor nez�sl�om��o aproximativn�� o��n�tr� \eqref{mon} je p�u�it�ynamick� programov� obt��t�a. Bude-li bod�iskretizaci p� m�, bude v� nespolehliv�pak pro p� jemnou diskretizaci bude �ov���st v� rychle stoupat (o �ov���sti SIDP viz d�). Zde se ukazuje v�st pou�it�terativn� dynamick� programov�, nebo� sta�diskretizovat jen tu �t prostoru kter�ude pot� v n�eduj� iteraci. Pomoc�trategie spo�n� p�oz�kroku a n�dn�alizac�umu $v_{0:N}$ a nezn�ho parametru $\theta_{0:N}$ vygenerujeme trajektorie v $(H)_{0:N}$. V ka�d�asov�rovni pak diskretizujeme jen tu �t prostoru, kter�yla zasa�ena.  
    6964 
    7065V t� pr� je volena jednoduch�etoda v kter�e spo� nejmen��yperkv� kolem zasa�en�ak, �e se vezme nejmen��yperkv� orientovan�m� sou�ch os, do kter� se vygenerovan�ody vejdou. Prostor se pot�iskretizuje pouze v t� oblasti. Metodu k ur��yperkv�u s obecnou orientac�ze naj�v \cite{bh-eamvb-01}.  
    … …  
    7469 
    7570\subsection{Algoritmus SIDP} 
    76 V tomto od� je pops�algoritmus SIDP. Jeho parametry jsou 
     71V tomto od� je sch�ticky pops�algoritmus SIDP. Jeho parametry jsou 
    7772 
    7873\begin{itemize} 
    … …  
    8782\end{itemize} 
    8883 
    89 Jak plyne z n�eduj�ho popisu, �ov�lo�itost SIDP vzhledem k jeho parametr� $O(n_{pass}n_{iter}N^2mn_g^{\dim H_N})$ (�ov���st metody Monte Carlo je ��zd�nosti od konce horizontu). 
     84Jak plyne z n�eduj�ho popisu, �ov�lo�itost SIDP vzhledem k jeho parametr� $O(n_{pass}n_{iter}N^2mnn_g^{\dim H_N})$ (�ov���st metody Monte Carlo je ��zd�nosti od konce horizontu, proto je �ov�lo�itost ��ruh�ocnin�N$). 
    9085 
    9186\begin{algorithm} 

  • applications/dual/SIDP/text/ch4.tex

    r930 r1090  
    1 V t� kapitole je pops�jednoduch�� na kter�jsou porovn� ��lgoritmy uveden� p�l�apitole. Syst�byl podrobn�koum�v \cite{astrom1986dual}. Pro srovn� uv�me tam���y. 
     1V t� kapitole je pops�jednoduch��zkouman�ite{astrom1986dual}. Na n�jsou porovn� ��lgoritmy uveden� p�l�apitole. 
    22 
    33\section{Popis syst�} 
    … …  
    55\begin{gather} 
    66\label{simple} 
    7 y_{t+1}=y_t+\theta_tu_t+v_{t+1} \qquad t=0,\ldots,N-1,\\ 
    8 v_t\sim N(0,\sigma^2).\\ 
    9 \theta_t\sim N(\hat{\theta},P_t),\\ 
     7y_{t+1}=y_t+\theta u_t+v_{t+1}  \qquad t=0,\ldots,N-1,\\ 
     8v_{t+1}\sim N(0,\sigma^2), 
     9\end{gather} 
     10kde rozptyl �umu $\sigma$ je zn� 
     11 
     12O nezn�m parametru $\theta$ m� v �e $t$ informaci v podob�ostate� statistiky $T_t=(\hat{\theta},P_t)$, tvo�st� hodnotou a rozptylem. P�kl�me nekorelovanost $\theta$ s �umem, tedy �e 
     13\begin{equation} 
    1014\cov(v_{t+1},\theta)=0. 
    11 \end{gather} 
     15\end{equation} 
    1216 
    1317Ztr�vou funkci vol� kvadratickou, tedy 
    1418\begin{equation} 
    15 g(y_{0:N},u_{0:N-1},v_{0:N-1})=\sum_{t=0}^{N-1}y_{t+1}^2. 
     19g(y_{0:N},u_{0:N-1})=\sum_{t=0}^{N-1}y_{t+1}^2. 
    1620\end{equation} 
    1721 
    … …  
    2428\end{gather} 
    2529 
    26 O��n�tr� je 
     30Hyperstav syst� $H_t$ tvo�ktor $(y_t,\hat{\theta}_t,P_t)$. O��n�tr� je 
    2731\begin{equation} 
    28 J_t(y_t,\theta_t)=\min_{u_t \in U_t}\E_{y_{t+1},v_t}\left\{y_{t+1}^2+J_{t+1}(y_{t+1},\theta_{t+1})|y_t,\theta_t,u_t\right\}, \qquad t=0,\ldots,N-1. 
     32J_t(H_t)=\min_{u_t \in U_t}\E_{y_{t+1},v_t}\left\{y_{t+1}^2+J_{t+1}(H_{t+1})|H_t,u_t\right\}, \qquad t=0,\ldots,N-1. 
    2933\end{equation} 
    3034 
    … …  
    3539\end{gather} 
    3640 
    37 ZDE BY MEL BYT ANGSTROM+... 
    38  
    3941\section{Specifika jednotliv��up� tomto odd� jsou pops� n�er�spekty algoritm�er�udeme srovn�t, p�likaci na syst�\eqref{simple}. 
    4042 
    … …  
    4244O��n�tr� \eqref{CE} prejde v 
    4345\begin{gather} 
    44 J_t(y_t, \theta_t)=\min_{u_t \in U_t}\left\{\hat{y}_{t+1}^2 +J_{t+1}(y_{t+1},\theta_{t+1})|I_t,\theta_t,u_t\right\}. 
     46J_t(H_t)=\min_{u_t \in U_t}\left\{\hat{y}_t^2 +J_{t+1}(\hat{H}_{t+1})|I_t,\theta_t,u_t\right\}. 
    4547\end{gather} 
    4648St� hodnota v� je