Changeset 919

Show
Ignore:
Timestamp:
05/02/10 23:05:37 (14 years ago)
Author:
zimamiro
Message:
 
Location:
applications/dual/SIDP/text
Files:
7 modified

Legend:

Unmodified
Added
Removed

  • applications/dual/SIDP/text/baksimple.tex

    r917 r919  
    4747\chapter{�oha stochastick� �� 
    4848\input{ch1.tex} 
    49 \chapter{�oha stochastick� �� nep�mi daty} 
     49\chapter{�oha stochastick� �� ne�m pozorov�m} 
    5050\input{ch2.tex} 
    5151\chapter{Suboptim���py k � du�� �� 
    … …  
    6363 
    6464% !!! Literatura se �abecedn� 
    65 \input{literatura.tex}  % text, kter�kl�n z jin� souboru, MَETE ZM�IT N�EV souboru nebo smazat tento � a seznam literatury napsat p�sem 
     65\bibliographystyle{plain} 
     66\bibliography{literatura} 
     67%\input{literatura.bib}  % text, kter�kl�n z jin� souboru, MَETE ZM�IT N�EV souboru nebo smazat tento � a seznam literatury napsat p�sem 
    6668 
    6769\newpage % SEM NESAHEJTE! 

  • applications/dual/SIDP/text/ch1.tex

    r918 r919  
    11DEFINICNI OBORY 
    22\section{Formulace � stochastick� �� 
    3 �t�m pojmem v teorii ��e \emph{syst�. Syst�je �t sv�, kterou chceme poznat ��. Informace o stavu syt� z��me prost�ctv�\emph{v�}. V t� kapitole budeme p�kl�t, �e m� stav syst� m�t p� P�em nep�o m�n� nezn�mi parametry se zab�sleduj� kapitola. �zen�tj. ovliv�n�tavu syst�, m� prov�t pomoc�emph{vstup� 
    4 Budeme-li p�kl�t diskr��ovahu �u, m� stav syst�v �ov� okam�iku $t$ pod��� horizontu d�y $N$ popsat syst�m rovnic 
     3�t�m pojmem v teorii ��e \emph{syst�. Syst�je �t sv�, kterou chceme poznat ��. Budeme-li p�kl�t diskr��ovahu �u, stav syst� v �ov� okam�iku $t$ pod��� horizontu d�y $N$ popisuje syst�rovnic 
    54\begin{equation} 
    65\label{sys} 
    76x_{t+1}=f_k(x_t,u_t,w_t), \qquad t=0,1,\ldots,N-1, 
    87\end{equation} 
    9 kde $x_t$ je stav syst� v �e $t$, $u_t$ je vstup v �e $t$ a $w_t$ n�dn�eli�a reprezentuj� p�nost �umu. 
     8kde $x_t$ je stav syst� v �e $t$, $u_t$ je vstup v �e $t$ a $w_t$ n�dn�eli�a reprezentuj� p�nost �umu. V t� kapitole budeme p�kl�t, �e m� stav syst� pozorovat. P�em ne�ho pozorov� se zab�sleduj� kapitola.  
    109 
    11 D� m� p�sanou ztr�vou funkci 
     10V � ��� v�dy p�sanou ztr�vou (resp. �vou) funkci 
    1211\begin{equation} 
    1312g(x_{0:N},u_{0:N-1},w_{0:N-1}). 
    1413\end{equation} 
    1514 
    16 Posloupnost��c� strategi�\pi=\mu_{0:N-1}$ budeme rozum�posloupnost zobrazen�\begin{equation} 
     15Ozna� $U(x_t)$ mno�inu p�tn�d�ch z�h� syst�ve stavu $x_t$. Posloupnost��c� strategi�\pi=\mu_{0:N-1}$ budeme rozum�posloupnost zobrazen�\begin{equation} 
    1716\label{con} 
    1817\mu_t(x_t)=u_t \, \qquad t=0,1,\ldots,N-1, 
    1918\end{equation} 
    20  
    21 PRIPUSTNE STRATEGIE 
     19kde $u_t \in U(x_t)$ je p�tn�c��h. 
    2220 
    2321Pro danou ��trategii ozna� o��nou ztr� jako 
    2422\begin{equation} 
    2523\label{los} 
    26 J_\pi(x_0)=\E_{w_{0:N-1}}\left\{g(x_{0:N},\mu_{0:N-1}(x_{0:N-1}),w_{0:N-1})\right\} 
     24J_\pi(x_0)=\E_{w_{0:N-1}}\left\{g(x_{0:N},\mu_{0:N-1}(x_{0:N-1}),w_{0:N-1})\right\}. 
    2725\end{equation} 
    2826 
    2927�ohou je potom naj�takovou $\pi^*$, pro kterou plat�\begin{equation} 
    30 J_{\pi^*}(x_0)=\min_{\pi \in \Pi}J_\pi(x_0) 
     28J_{\pi^*}(x_0)=\min_{\pi \in \Pi}J_\pi(x_0). 
    3129\end{equation} 
    3230 
    3331Celkov�e tedy jedn� optimaliza� � nal� takovou posloupnost funkc�eqref{con}, kter�inimalizuje o��nou ztr�vu \eqref{los} za podm�k \eqref{sys}. 
    34  
    3532 
    3633\section{Pou�it�ynamick� programov� p��en�lohy stochastick� �� aditivn�tr�u} 
    … …  
    5956J_t(x_t)=\E_{w_t}\left\{g_k(x_t,\mu_t(x_t),w_t)+J_{t+1}(f_t(x_t,\mu_t(x_t),w_t))\right\} \qquad t=0,\ldots,N-1 
    6057\end{equation} 
    61 je optim��osloupnost rozhodnut�Na syst�rovnic \eqref{impl} se tedy m� d�t jako na implicitn��s pro $\pi$.  
     58je optim��osloupnost rozhodnut� 

  • applications/dual/SIDP/text/ch2.tex

    r918 r919  
    5252 
    5353\section{�zen�yst� s nezn�mi parametry} 
    54 Pokud rovnice syst� obsahuje n�k�� parametr $\theta$, m� vyu��znalosti ��robl� s ne�mi informacemi.  
     54Pokud chceme � syst� jeho� v�z�s�a n�k�nezn�m konstant�parametru $\theta$, m� vyu��znalosti ��robl� s ne�m pozorov�m.  
    5555 
    56 Hledan��n�y m� nejen minimalizovat aktu��tr�, ale rovn�z�at o syst� co nejv� informac�ro minimalizaci budouc� ztr� Tento postup se naz����n�ref]. 
    57  
    58 V � du�� ��� v� syst� $y_t$ pops� jako  
     56V t� � m� v� syst� $y_t$ pops� jako  
    5957\begin{equation} 
    6058\label{poz2} 
    … …  
    6765\end{equation} 
    6866 
    69 P�kl�jme d�, �e o parametru $\theta$ m� n�kou apriorn�nformaci $\theta_0$ a  odhadovac�roceduru tvaru 
    70 \begin{equation} 
    71 \label{the} 
    72 \theta_{t+1}=f_t(I_t,\theta_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1. 
    73 \end{equation}  
    74 Rovnici \eqref{the} m� podobn�ako \eqref{nep} pova�ovat za rovnici syst� \eqref{sys} pro stav $(I_t, \theta_t)$, vstup $u_t$ s �umem $y_{t+1}$. Do rovnice \eqref{poz2} dosad� za $\theta$ jeho aktu��dhad, tedy 
    75 \begin{equation} 
    76 \label{poz3} 
    77 y_0=h_0(\theta_0,v_0),\qquad y_t=h_t(\theta_{t-1}, I_{t-1},u_{t-1},v_t), \qquad t=1,\ldots,N-1, 
    78 \end{equation}  
    79  
    80 Rovnice \eqref{the}, \eqref{poz3} a \eqref{los2} p�avuj�lohu stochastick� �� nep�mi daty. 
    81  
    82 \subsection{Bayesovsk��� 
    83 P�ar�up, jak pro nezn� parametr $\theta$ z�at aposteriorn�ustotu pravd�dobnosti $f(\theta_{t+1}|I_t)$, je-li k dispozici apriorn�ustota pravd�dobnosti $f(\theta_t)$ a informa� vektor $I_t$, je aplikace Bayesova vzorce 
     67Ozna� $\theta_t$ rozlo�en�dhadu pro parametr $\theta$ v �e $t$. P�kl�jme d�, �e o parametru $\theta$ m� n�kou apriorn�nformaci v podob�ustoty pravd�dobnosti $f(\theta_0)$. Aposteriorn�ustotu  $f(\theta_{t+1}|I_t)$ z�� pomoc�ayesova vzorce 
    8468\begin{equation} 
    8569\label{bay} 
    … …  
    8872Rekurzivn�ou�it�zorce \eqref{bay} pro odhad parametru $\theta$ je postup Bayesovsk� u��ref]. 
    8973 
    90 P�nkr��vypo� m��ak tento p�p dv�ev� 1) nikdy nem� k dispozici $f(I_t|\theta_{t+1})$, ale pouze aproximaci z m�n�I_t$ a 2) aposteriorn�ustota pravd�dobnosti nemus��analytick�yj�en�co� jej�ou�it� dal��v� komplikuje. 
     74Ozna� $T_t$ doste�u statistiku pro $\theta_t$. Potom dle \eqref{bay} m� ps� 
     75\begin{equation} 
     76\label{the} 
     77T_{t+1}=f_t(I_t,T_t,u_t,y_{t+1}), \qquad  t=1,\ldots,N-1. 
     78\end{equation}  
     79Rovnici \eqref{the} m� podobn�ako \eqref{nep} pova�ovat za rovnici syst� \eqref{sys} pro stav $(I_t, T_t)$, vstup $u_t$ s �umem $y_{t+1}$.  
     80 
     81Hustota pravd�dobnosti parametru $\theta$ v rovnici pro v�\eqref{poz2} je v �e $t$ ur�a dostate�u statistikou $T_t$. Rovnice \eqref{the}, \eqref{poz2} a \eqref{los2} potom p�avuj�lohu stochastick� �� nep�mi daty. 
    9182 
    9283\subsection{Kalman�ltr} 
    93 Pokud v rovnic� \eqref{poz2} popisuj�ch v�syst� vystupuje gausovk�a nezn� parametr je separov�jako line� �n, situace se zna� zjednodu�� 
     84Pokud v rovnic� \eqref{poz2} popisuj�ch v�syst� vystupuje aditivn�aussovk�a nezn� parametr je separov�jako line� �n, m� vypo�at konkr��var rovnice \eqref{the}, tzv. Kalman�ltr \cite{kalman1960new}. 
    9485 
    9586Dle p�kladu m��v �e $t$ tvar 
    9687\begin{equation} 
    9788\label{sys2} 
    98 y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t))\theta_t+v_{t+1}, , \qquad t=0,\ldots,N-1. 
     89y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t))\theta+v_{t+1}, , \qquad t=0,\ldots,N-1. 
    9990\end{equation} 
    10091 
    101 kde $\tilde{h}_t(I_t,u_t)$, resp. $A_t(I_t,u_t)$ je zn� funkce, resp. matice z�s� na informa�m vektoru a aktu��stupu. D� p�kl�me gausovsk�ozlo�en�umu $v_{t+1}$ se zn�m rozptylem 
     92kde $\tilde{h}_t(I_t,u_t)$, resp. $A_t(I_t,u_t)$ je zn� funkce, resp. matice z�s� na informa�m vektoru a aktu��stupu. D� p�kl�me gaussovsk�ozlo�en�umu $v_{t+1}$ se zn�m rozptylem 
    10293\begin{equation} 
    10394v_{t+1}\sim N(0,Q_{t+1}), 
    10495\end{equation} 
    105 gausovsk�ozlo�en�dhadu nezn�ho parametru $\theta_t$ a jejich nekorelovanost, tedy 
     96gaussovsk�ozlo�en�dhadu nezn�ho parametru $\theta_t$ a jejich nekorelovanost, tedy 
    10697\begin{gather} 
    107 \theta_t\sim N(\hat{\theta},P_t),\\ 
    108 \cov(v_{t+1},\theta)=0. 
     98\theta_t\sim N(\hat{\theta}_t,P_t),\\ 
     99\cov(v_{t+1},\theta_t)=0. 
    109100\end{gather} 
    110101 
    111 Budeme po�adovat, aby odhadovac�rocedura \eqref{the} st� hodnoty parametru $\theta_{t+1}$ byla tvaru line��pravy st� hodnoty $\theta_t$ ��eur�osti v syst�. Tedy �e 
     102Dosazen�do \eqref{bay} se odvod��e aposteriorn�ustota pravd�dobnosti $f(\theta_{t+1}|I_t)$ je rovn�gaussovsk�a jej�arametry $(\hat{\theta}_{t+1}, P_{t+1})$ spl� 
     103\begin{gather} 
     104K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}\\ 
     105\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t),\\ 
     106P_{t+1}=(I-K_tA_t)P_t. 
     107\end{gather} 
     108Odvozen�ze nal� v \cite{peterka1981bayesian}. 
     109 
     110Alternativn�dvozen�ez po�adavku gaussovsk� �umu je mo�n�rov� za p�kladu, �e odhadovac�roceduru st� hodnoty parametru $\theta_{t+1}$ budeme hledat ve tvaru line��pravy st� hodnoty $\theta_t$ ��eur�osti v syst�. Tedy �e 
    112111\begin{equation} 
    113112\label{opr} 
    114 \hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t), 
     113\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\E_{\theta,v_t}y_{t+1}), 
    115114\end{equation} 
    116 kde $K_t$ je nezn� matice, kterou ur�e z po�adavku minimalizace v��atice rozptylu $P_{t+1}$. Pro ni jako funkci $K_t$ m� ps� 
     115kde $K_t$ je nezn� matice, kterou ur�e z po�adavku minimalizace v��atice rozptylu $P_{t+1}$. Pro �um $v_t$  budeme po�adovat nulovou st� hodnotu a existenci druh� momentu. Matici rozptylu ozna�e op�$Q_t$. 
     116 
     117Pro matici $P_{t+1}$ jako funkci $K_t$ m� ps� 
    117118\begin{equation} 
    118119P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T]. 
    … …  
    120121 
    121122Dosazen�za $\hat{\theta}_{t+1}$ z \eqref{opr} a za $y_t$ ze \eqref{sys2} a �ou dostaneme (pro libovolnou matici $B$ budeme pro lep��itelnost nam�o $BB^T$ ps�zkr�n�B^2$) 
    122 \begin{align} 
    123 P_{t+1}(K_t)&=\E_{\theta,v_t}\left\{(\theta-\hat{\theta}_t-K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t))^2\right\} \nonumber \\ 
    124 &=\E_{\theta,v_t}\left\{((I-K_tA_t)(\theta-\hat{\theta}_t)-K_tv_t)^2\right\} \nonumber \\ 
    125 &=(I-K_tA_t)\E\left\{(\theta-\hat{\theta_t})^2\right\}(I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,v_t)K_t^T-\nonumber \\ 
     123\begin{align*} 
     124P_{t+1}(K_t)&=\E_{\theta,v_t}\left\{(\theta-\hat{\theta}_t-K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t))^2\right\} \\ 
     125&=\E_{\theta,v_t}\left\{((I-K_tA_t)(\theta-\hat{\theta}_t)-K_tv_t)^2\right\} \\ 
     126&=(I-K_tA_t)\E\left\{(\theta-\hat{\theta_t})^2\right\}(I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,v_t)K_t^T-\\ 
    126127&-K_t\cov(\theta,v_t)(I-K_tA_t)^T+K_t\E\left\{v_t^2\right\}K_t^T. 
    127 \end{align} 
     128\end{align*} 
    128129 
    129130Pou�it�definice $P_t$, $Q_t$ a p�kladu $\cov(\theta,v_t)=0$ m� 
    … …  
    157158P_{t+1}=(I-K_tA_t)P_t 
    158159\end{equation} 
    159 Celkov�edy od p�� odhadu parametru $N(\hat{\theta}_t,P_t)$ k nov� $N(\hat{\theta}_{t+1},P_{t+1})$ p�me pomoc�\begin{gather} 
    160 K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}\\ 
    161 \hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t),\\ 
    162 P_{t+1}=(I-K_tA_t)P_t. 
    163 \end{gather} 
    164  
    165 Tato odhadovac�rocedura se naz�lman�ltr [ref]. 
     160Rovnice \eqref{opr}, \eqref{Kt} a \eqref{Pt+12} p�avuj�ovnice Kalmanova filtru. 

  • applications/dual/SIDP/text/ch3.tex

    r918 r919  
    1 A�liv pou�it�ynamick� programov� p����ok v ��lohy du�� ��analytick�e�en�bvykle nen�o�n��at. V ka�d��ov�kroku se toti� pot�se dv� obecn�bt��obl�my: 1) v� st� hodnoty a 2) minimalizace vzhledem k $u_t$. Oba probl� obecn�emaj�nalytick�e�en� bez dal��pecifikace � je proto t�p� k aproxima�m metod� 
     1A�liv pou�it�ynamick� programov� p����ok v ��lohy stochastick� ��analytick�e�en�bvykle nen�o�n��at. V ka�d��ov�kroku se toti� pot�se dv� obecn�bt��obl�my: 1) v� st� hodnoty a 2) minimalizace vzhledem k $u_t$. Oba probl� obecn�emaj�nalytick�e�en� bez dal��pecifikace � je proto t�p� k aproxima�m metod� 
    22 
    33V t� kapitole se p�� popis n�lika mo�n��up�proximativn� ��lohy du�� ��P�e� �e �u du�� ��je nalezen��c�trategie $\pi=\mu_{0:N-1}$, kter�y minimalizovala o��nou ztr� 
    44\begin{equation} 
    55\label{ilos2} 
    6 J_\pi=\E_{\theta_0,v_{0:N-1}}\left\{g_N(y_N)+\sum_{t=0}^{N-1}g_t(y_t,\mu_t(I_t,\theta_t),v_t)\right\}, 
     6J_\pi=\E_{\theta_0,v_{0:N-1}}\left\{g_N(y_N)+\sum_{t=0}^{N-1}g_t(y_t,\mu_t(I_t,T_t),v_t)\right\}, 
    77\end{equation} 
    88za apriorn�nformace $\theta_0$ a podm�k 
    99\begin{gather} 
    1010\label{the2} 
    11 \theta_{t+1}=f_t(I_t,\theta_t,u_t,y_{t+1}),\\ 
    12 \label{poz4} 
    13 y_0=h_0(\theta_0,v_0),\qquad y_{t+1}=h_t(I_t,\theta_t,u_t,v_{t+1}), \qquad t=0,\ldots,N-1.\\ 
     11T_{t+1}=f_t(I_t,T_t,u_t,y_{t+1}),\\ 
     12\label{poz3} 
     13y_0=h_0(\theta_0,v_0),\qquad y_{t+1}=h_t(I_t,\theta,u_t,v_{t+1}), \qquad t=0,\ldots,N-1.\\ 
    1414v_{t+1}\sim N(0,Q_{t+1})\\ 
    15 \theta_t\sim N(\hat{\theta},P_t),\\ 
    16 \cov(v_{t+1},\theta)=0. 
     15\theta_t\sim N(\hat{\theta}_t,P_t),\\ 
     16\cov(v_{t+1},\theta_t)=0, 
    1717\end{gather} 
     18kde $T_t$ je dostate� statistika pro parametr $\theta$ v �e $t$. 
    1819 
    1920�ohu �e pomoc�ynamick� programov�, tedy postupnou minimalizac���n�tr� od konce �� horizontu 
    2021\begin{gather} 
    21 J_N(I_N,\theta_N)=\E_{\theta_N,v_N}\left\{g_N(y_N)\right\},\\ 
     22J_N(I_N,T_N)=\E_{\theta_N,v_N}\left\{g_N(y_N)\right\},\\ 
    2223\label{los3} 
    23 J_t(I_t,\theta_t)=\min_{u_t \in U_t}\E_{y_{t+1},v_t}\left\{g_t(y_t,u_t,v_t)+J_{t+1}((I_t, ,u_t,y_{t+1},\theta_{t+1}))|I_t,\theta_t,u_t\right\}, \\ \qquad t=0,\ldots,N-1, 
     24J_t(I_t,T_t)=\min_{u_t \in U_t}\E_{y_{t+1},v_t}\left\{g_t(y_t,u_t,v_t)+J_{t+1}((I_t, ,u_t,y_{t+1},T_{t+1}))|I_t,T_t,u_t\right\}, \\ \qquad t=0,\ldots,N-1, 
    2425\end{gather} 
    25 kde $\theta_{t+1}$ a $y_{t+1}$ se po��le \eqref{the2} a \eqref{poz4}. 
     26kde $T_{t+1}$ a $y_{t+1}$ se po��le \eqref{the2} a \eqref{poz3}. 
    2627 
    2728\section{Certainty equivalent control} 
    28 P�u�it�etody Certainty equivalent control (CEC) [ref] se v rovnici pro o��nou ztr� nahrad��dn�eli�y sv��mi hodnotami. O��n�tr� tak p� v 
     29P�u�it�etody Certainty equivalent control (CEC) se v rovnici pro o��nou ztr� nahrad��dn�eli�y sv��mi hodnotami. O��n�tr� tak p� v 
    2930\begin{gather} 
    3031\label{CE} 
    31 J_N(I_N, \theta_N)=g_N(y_N),\\ 
    32 J_t(I_t, \theta_t)=\min_{u_t \in U_t}\left\{g_t(y_t,u_t,\hat{v}_t) +J_{t+1}(I_t,\theta_{t+1},u_t,\hat{y}_{t+1}))|I_t,\theta_t,u_t\right\}, \\ \qquad t=0,\ldots,N-1, 
     32J_N(I_N, T_N)=g_N(y_N),\\ 
     33J_t(I_t, T_t)=\min_{u_t \in U_t}\left\{g_t(y_t,u_t,\hat{v}_t) +J_{t+1}(I_t,T_{t+1},u_t,\hat{y}_{t+1}))|I_t,T_t,u_t\right\}, \\ \qquad t=0,\ldots,N-1, 
    3334\end{gather} 
    3435 
     36Podrobn��ojedn� s diskuz�spekt��it�EC lze nal� v \cite{bertsekas1995dynamic}. 
     37 
    3538\section{Metoda separace} 
    36 P�u�it�etody separace [ref] je proces ��ozd�n do dvou f�: 1) indentifikace nezn�ho parametru a 2) ��a pou�it�dhadu $\hat{\theta}$ z prvn��. 
     39P�u�it�etody separace je proces ��ozd�n do dvou f�: 1) indentifikace nezn�ho parametru a 2) ��a pou�it�dhadu $\hat{\theta}$ z prvn��. 
    3740 
    3841Prvn�� slou�� nez�sl� sb� dat, kter�sou n�edn�ou�ita k odhadu nezn�ho parametru. K odhadu m� pou��nap�d rovnici \eqref{the2}. V druh�� pak po zbytek �� horizontu pou�ijeme  pro n�h ��trategie odhad $\hat{\theta}$ z prvn��. 
    3942 
    40 \section{SIDP} 
    41 Metoda stochastick� iterativn� dynamick� programov� (SIDP) [ref] spo�� sou�n�pou�it�metody Monte Carlo k z�� aproximace pro o��nou ztr� a iterativn� dynamick� programov� k nalezen�ptim��trategie. 
     43%\section{Du���n� 
     44%Hledan��n�y m� nejen minimalizovat aktu��tr�, ale rovn�z�at o syst� co nejv� informac�ro minimalizaci budouc� ztr� Tento postup se naz����n�ref]. 
    4245 
    43 \subsection{Metoda Monte Carlo} 
    44 Metoda Monte Carlo je statistick�imula� metoda, kterou navrhl ... [ref]. Jej�rincip spo��e vzorkov� n�k��dn�eli�y za �m odhadu jej�ledan�harakteristiky, nap�� hodnoty. 
     46\section{Metoda Monte Carlo} 
     47Metoda Monte Carlo [ref] je statistick�imula� metoda. Jej�rincip spo��e vzorkov� n�k��dn�eli�y za �m odhadu jej�ledan�harakteristiky, nap�� hodnoty. V t� pr� je metoda Monte Carlo pou�ita k v� o��n�tr� \eqref{ilos2}.  
    4548 
    46 V t� pr� je metoda Monte Carlo pou�ita k v� o��n�tr� \eqref{ilos2}. P��n�pou�it�ynamick� programov� m� p�po� $J_t(I_t,\theta_t)$ k dispozici p�s pro n�eduj� o��nou ztr� $J_{t+1}(I_{t+1},\theta_{t+1})$. Metoda monte Carlo n�v�ak d� dispozici pouze odhad o��n�tr� a pou�it��to aproximac� dal��v� by chybu v�  navy�ovalo. Nam�o toho se pro dal��� uchov�j�\mu_t(I_t,\theta_t)$ a o��n�tr� v �e $t$ se pak po��ako pr�p�n$ realizac��dn�eli�y $(\theta_{t:N-1},v_{t:N})$, tedy 
     49P��n�pou�it�ynamick� programov� m� p�po� $J_t(I_t,T_t)$ k dispozici p�s pro n�eduj� o��nou ztr� $J_{t+1}(I_{t+1},T_{t+1})$. Metoda monte Carlo n�v�ak d� dispozici pouze odhad o��n�tr� a pou�it��to aproximac� dal��v� by chybu v�  navy�ovalo. Nam�o toho se pro dal��� uchov�j�\mu_t(I_t,T_t)$ a o��n�tr� v �e $t$ se pak po��ako pr�p�n$ realizac��dn�eli�y $(\theta_{t:N-1},v_{t:N})$, tedy 
    4750\begin{equation} 
    4851\label{mon} 
    49 \frac{1}{n}\sum_{i=1}^n\left(g_N(y_N^i)+\sum_{j=t}^{N-1}g_j(y_j^i,\mu_j(I_j^i,\theta_j),v_j^i)\right), 
     52\frac{1}{n}\sum_{i=1}^n\left(g_N(y_N^i)+\sum_{j=t}^{N-1}g_j(y_j^i,\mu_j(I_j^i,T_j),v_j^i)\right), 
    5053\end{equation} 
    5154kde $y_{j+1}^i$ se po��odle \eqref{poz3} jako 
    5255\begin{equation} 
    53 y_{j+1}^i=h_j( I_j^i,\theta_j^i,\mu(I_j^i, \theta_j),v_{j+1}^i), \qquad j=t,\ldots,N-1, \qquad i=1\ldots,n, 
     56y_{j+1}^i=h_j( I_j^i,\theta_j^i,\mu(I_j^i, T_j),v_{j+1}^i), \qquad j=t,\ldots,N-1, \qquad i=1\ldots,n, 
    5457\end{equation} 
    55 a index $i$ ozna�e $i$-tou realizaci dan�eli�y. Realizace $\theta_{t:N-1}$ se generuj�od�trajektorie \eqref{poz4}. To znamen��e dan�$\theta_{k+1}$ se generuje a� ve chv�, kdy je zn� $I_k$, $u_k$, rozd�n�\theta_k$ a $y_{k+1}$ a tedy p�eqref{the2} i rozd�n�\theta_{k+1}$. 
     58a index $i$ ozna�e $i$-tou realizaci dan�eli�y. Realizace $\theta_{t:N-1}$ se generuj�od�trajektorie \eqref{poz3}. To znamen��e dan�$\theta_{k+1}$ se generuje a� ve chv�, kdy je zn� $I_k$, $u_k$, posta�� statistika $T_k$ a $y_{k+1}$ a tedy p�eqref{the2} i hustota pravd�dobnosti $f(\theta_{k+1})$. 
    5659 
    57 Tento jednoduch�up lze vylep�it v��ov�ovn�m. Jedn�z mo�n�lep�en� je dvou�ov�ritmus poposan�f]. V tomto algoritmu se nejprve pro ka�d� kandid� vygeneruje $n_0$ realizac�Na z�ad�ealizac�e vyberou ti kandid�, na kter�abyto minima s pravd�dobnost���e� je dan�ez $\alpha_0$. Pro tyto se v druh�� vygeneruje dostate� po� realizac�ak, aby bylo mo�n�ejlep��ozhodnut�volit s pravd�dobnost�lespo�vn�adan�ezi $\alpha_1$. Takto upraveny algoritmus metody Monte Carlo je robustn�� umo�� porovn� v�� mno�stv�andid�, nebo� po� realizac� prvn�� m������u��ouze k odfiltrov� zjevn�or�� kandid� na ��Pro � t� pr� nicm� posta�e z�adn�erze metody Monte Carlo a je proto v n�eduj� implementaci SIDP pou�ita.  
     60Tento jednoduch�up lze vylep�it v��ov�ovn�m kandid� na ��Jedn�z mo�n�lep�en� je dvou�ov�ritmus poposan�ite{nelson2001simple}. V prvn�� tohoto algoritmu se nejprve pro ka�d� kandid� vygeneruje $n_0$ realizac�Na jejich z�ad�e vyberou ti, na kter�abyto minima s pravd�dobnost���e� je dan�ez $\alpha_0$. Pro tyto se v druh�� vygeneruje dostate� po� realizac�ak, aby bylo mo�n�ejlep��ozhodnut�volit s pravd�dobnost�lespo�vn�adan�ezi $\alpha_1$. Takto upraven�ritmus metody Monte Carlo je robustn�� umo�� porovn� v�� mno�stv�andid�, nebo� po� realizac� prvn�� m������u��ouze k odfiltrov� zjevn�or�� kandid� na �� 
    5861 
    59 \subsection{Iterativn�ynamick�rogramov�} 
    60 Iterativn�ynamick�rogramov� [ref] je jedn� p�p�alezen�ptim��trategie, kter�inimalizuje o��nou ztr� \eqref{ilos2}. Oproti dynamick� programov� se probl��iterativn�Na za�ku se zvol��k�priorn�trategie. V ka�d�teraci se potom vych� ze strategie spo�n� p�oz�kroku a prost�ctv�perturbac�ohoto (suboptim��) ��e hled�trategie, pro kterou bude o�van�tr� ni���Tato se pou�ije v n�eduj� iteraci. 
     62\section{Iterativn�ynamick�rogramov�} 
     63Iterativn�ynamick�rogramov� \cite{luus2000iterative} je jedn� p�p�alezen�ptim��trategie, kter�inimalizuje o��nou ztr� \eqref{ilos2}. Oproti dynamick� programov� se probl��iterativn�Na za�ku se zvol��k�priorn�trategie. V ka�d�teraci se potom vych� ze strategie spo�n� p�oz�kroku a prost�ctv�perturbac�ohoto (suboptim��) ��e hled�trategie, pro kterou bude o�van�tr� ni���Tato se pou�ije v n�eduj� iteraci. 
    6164 
    6265\subsection{Diskretizace prostoru} 
    63 P�ed� optim��trategie $\mu_t(I_t,\theta_t)$ bychom pro p� vy�len���n�tr� \eqref{mon} na � �� horizontu $t:N$ pot�ali jej�nalytick�yj�en�To ale nen�bvykle mo�n�Je proto nutn�� k n�k�proximaci, nap�d 1) p�kl�t n�k� optim��trategie a p�po� ur� pouze konstanty, kter��ou strategii ur�jednozna�, nebo 2) diskretizovat prostor $(I_t,\theta_t)$ a po�at $\mu_t(I_t,\theta_t)$ jen v bodech diskretizace a jinde se uch� interpolaci (pop��xtrapolaci). V t� pr� vol� druhou zm�nou metodu. Poznamenejme, �e d� p�kladu gaussovsk� rozd�n�arametru ${\theta_t}$, diskretizace vyhledem k ${\theta_t}$ znamen�iskretizaci vzhledem k ${(\hat{\theta}_t,P_t)}$. 
     66P�ed� optim��trategie $\mu_t(I_t,T_t)$ bychom pro p� vy�len���n�tr� \eqref{mon} na � �� horizontu $t:N$ pot�ali jej�nalytick�yj�en�To ale nen�bvykle mo�n�Je proto nutn�� k n�k�proximaci, nap�d 1) p�kl�t n�k� optim��trategie a p�po� ur� pouze konstanty, kter��ou strategii ur�jednozna�, nebo 2) diskretizovat prostor $(I_t,T_t)$ a po�at $\mu_t(I_t,T_t)$ jen v bodech diskretizace a jinde se uch� interpolaci (pop��xtrapolaci).  
    6467 
    65 Jak�sobem efektivn�iskretizovat prostor nez�sl�om��o aproximativn�� o��n�tr� \eqref{mon} je p�u�it�ynamick� programov� obt��t�a. Bude-li bod�iskretizaci p� m�, bude v� nespolehliv�pak pro p� jemnou diskretizaci bude �ov���st v� rychle stoupat (o �ov���sti SIDP viz d�). Zde se ukazuje v�st pou�it�terativn� dynamick� programov�, nebo� sta�diskretizovat jen tu �t prostoru kter�ude pot� v n�eduj� iteraci. Pomoc�trategie spo�n� p�oz�kroku a n�dn�alizac�umu $v_{0:N}$ a nezn�ho parametru $\theta_{0:N}$ vygenerujeme trajektorie v $(I,\theta)_{0:N}$. V ka�d�asov�rovni pak diskretizujeme jen tu �t prostoru, kter�yla zasa�ena.  
     68Jak�sobem efektivn�iskretizovat prostor nez�sl�om��o aproximativn�� o��n�tr� \eqref{mon} je p�u�it�ynamick� programov� obt��t�a. Bude-li bod�iskretizaci p� m�, bude v� nespolehliv�pak pro p� jemnou diskretizaci bude �ov���st v� rychle stoupat (o �ov���sti SIDP viz d�). Zde se ukazuje v�st pou�it�terativn� dynamick� programov�, nebo� sta�diskretizovat jen tu �t prostoru kter�ude pot� v n�eduj� iteraci. Pomoc�trategie spo�n� p�oz�kroku a n�dn�alizac�umu $v_{0:N}$ a nezn�ho parametru $\theta_{0:N}$ vygenerujeme trajektorie v $(I,T)_{0:N}$. V ka�d�asov�rovni pak diskretizujeme jen tu �t prostoru, kter�yla zasa�ena.  
    6669 
    67 V t� pr� je volena jednoduch�etoda v kter�e spo� nejmen��yperkv� kolem zasa�en�ak, �e se vezme nejmen��yperkv� orientovan�m� sou�ch os, do kter� se vygenerovan�ody vejdou. Prostor se pot�iskretizuje pouze v t� oblasti. Metodu k ur��yperkv�u s obecnou orientac�ze naj�v [ref].  
     70V t� pr� je volena jednoduch�etoda v kter�e spo� nejmen��yperkv� kolem zasa�en�ak, �e se vezme nejmen��yperkv� orientovan�m� sou�ch os, do kter� se vygenerovan�ody vejdou. Prostor se pot�iskretizuje pouze v t� oblasti. Metodu k ur��yperkv�u s obecnou orientac�ze naj�v \cite{bh-eamvb-01}.  
     71 
     72\section{SIDP} 
     73Metoda stochastick� iterativn� dynamick� programov� (SIDP) \cite{thompson2005stochastic} spo�� sou�n�pou�it�metody Monte Carlo k z�� aproximace pro o��nou ztr�  a iterativn� dynamick� programov� k nalezen�ptim��trategie. Pro � t� posta�e z�adn�erze metody Monte Carlo a je proto v n�eduj� implementaci SIDP pou�ita. P�u�it�terativn� dynamick� programov� se uch�k diskretizovat prostoru hyperstav�udeme pou��t interpolaci (pop��xtrapolaci) napo�n�dnot. Poznamenejme, �e d� p�kladu gaussovsk� rozd�n�arametru ${\theta_t}$, diskretizace vzhledem k ${T_t}$ znamen�iskretizaci vzhledem k ${(\hat{\theta}_t,P_t)}$. 
    6874 
    6975\subsection{Algoritmus SIDP} 

  • applications/dual/SIDP/text/ch4.tex

    r918 r919  
    1 V t� kapitole je pops�jednoduch��popsan�ef]. Na n�jsou porovn� ��lgoritmy uveden� p�l�apitole. 
     1V t� kapitole je pops�jednoduch��diskutovan�ite{astrom1986dual}. Na n�jsou porovn� ��lgoritmy uveden� p�l�apitole. 
    22 
    33\section{Popis syst�} 
    … …  
    5959 
    6060\subsection{SIDP} 
    61 Dle \eqref{dos} je optim��u_t$ z�sl�a $(y_t,\hat{\theta}_t,P_t)$. P�mulaci m� tedy v ka�d��ov�okam�iku $t$ diskretizovat t�enzion��rostor nez�sle prom��le [ref] je v�ak p�amotnou simulac�hodn�� k transformaci prostoru $(y_t,\hat{\theta}_t,P_t,u_t)$ do nov�om��\eta_t,\beta_t,\zeta_t,\nu_t)$ dle 
     61Dle \eqref{dos} je optim��u_t$ z�sl�a $(y_t,\hat{\theta}_t,P_t)$. P�mulaci m� tedy v ka�d��ov�okam�iku $t$ diskretizovat t�enzion��rostor nez�sle prom��le \cite{astrom1986dual} je v�ak p�amotnou simulac�hodn�� k transformaci prostoru $(y_t,\hat{\theta}_t,P_t,u_t)$ do nov�om��\eta_t,\beta_t,\zeta_t,\nu_t)$ dle 
    6262\begin{gather} 
    6363\eta_t=\frac{y_t}{\sigma} \\ 

  • applications/dual/SIDP/text/uvod.tex

    r891 r919  
    22 
    33Za �m ��yst�, kter�sou bu�atolik slo�it��e jejich deterministick�s je nemo�n�o obsahuj��dn�rvky ji� ze sv�odstaty, vzniklo stochastick��n�nebo-li optim���n�a neur�osti. C�m stochastick� ��e minimalizovat velikost  odchylek syst� od po�adovan� stavu optimalizac��c� z�h� 
    4 Jeden z p�p�e�en�ohoto prob� je dynamick�rogramov�, kter�avrhl americk�matik Richard Bellman[]. Jedn�e o metodu, kter� vyu�it�zp�� chodu minimalizuje hodnotu o��n�t�v�unkce.  
    5  
    6 Tento p�p m�nalytick�e�en�ouze v p��nalosti v�ech parametr�t�, co� je v�inou nemo�n�V �edes�ch letech 20. stolet�avrhl Alexander Aronovich Feldbaum ��ou�it�takzvan� du�� ��Hlavn�y�lenkou tohoto p�pu bylo, �e ��us�ejen minimalizovat aktu��tr�, ale rovn�mus��at o syst� co nejv� informac�ro minimalizaci budouc� ztr� 
     4Jeden z p�p�e�en�ohoto prob� je dynamick�rogramov�, kter�avrhl americk�matik Richard Bellman \cite{bellman1957dynamic}. Jedn�e o metodu, kter� vyu�it�zp�� chodu minimalizuje hodnotu o��n�t�v�unkce.  
    75 
    86P�aplikace tohoto postupu je v�ak bohu�el i u pom��ednoduch�a� komplikov� slo�itost��.  K ��lohy je proto vhodn�o��aproxima�ch metod. 
    9 \newline 
     7 
     8V �edes�ch letech 20. stolet�avrhl Alexander Aronovich Feldbaum ��ou�it�takzvan� du�� ��cite{feldbaum1965optimal}. Hlavn�y�lenkou tohoto p�pu bylo, �e ��us�ejen minimalizovat aktu��tr�, ale rovn�mus��at o syst� co nejv� informac�ro minimalizaci budouc� ztr� 
    109 
    1110Tato  bakal�k�r� si klade n�eduj� c� 
    1211\begin{itemize} 
    13 \item 
    14 Formulace � stochastick� ��\item 
    15 ��en�lohy stochastick� �� aditivn�tr�uvou funkc�omoc�u�� ��\item 
    16 Formulace � stochastick� ��a ne�ch informac� jej��en�a � s �mi znalostmi syst� 
    17 \item 
    18 P�aven��er�roxima�ch p�p�u�� ��zejm� pak stochastick� iterativn� dynamick� programov� 
    19 \item 
    20 Aplixace du�� �� nalezen�ptim��trategie na jednoduch�syst� 
    21 \item 
    22 Porovn� uveden�roxima�ch p�p�jednoduch�syst� 
     12\item Formulace � stochastick� ��\item ��en�lohy stochastick� �� aditivn�tr�uvou funkc�omoc�ynamick� programov� 
     13\item Formulace � stochastick� �� ne�m pozorov�m a jej��en�a � s �mi znalostmi syst� 
     14\item P�aven��er�boptim�� p�p�loze stochastick� ��\item Aplikace a porovn� zm�n�tod k nalezen�ptim��trategie na jednoduch�syst� 
    2315\end{itemize}