Changeset 918

Show
Ignore:
Timestamp:
04/28/10 00:16:27 (15 years ago)
Author:
zimamiro
Message:
 
Location:
applications/dual/SIDP/text
Files:
6 modified

Legend:

Unmodified
Added
Removed

  • applications/dual/SIDP/text/ch1.tex

    r917 r918  
    4646\end{equation} 
    4747 
    48 Takto specifikovan�loha se d�e�it pou�it�dynamick� programov� []. Dynamick�rogramov� je p�p k ��ptimaliza�ch � na kter�e m� d�t jako na posloupnost rozhodnut�pro kter�lat�zv. princip optimality.  Ten � �e optim��osloupnost rozhodnut��u vlastnost, �e pro libovoln�te� stav a rozhudnut�us��chna n�eduj� rozhodnut�ptim��zhledem k v��zhodnut�rvn�. D� �e pro ztr� tvaru \eqref{adi} plat�rincip optimality je snadn�e ho nal� nap�d v []. 
     48Takto specifikovan�loha se d�e�it pou�it�dynamick� programov� []. Dynamick�rogramov� je p�p k ��ptimaliza�ch � na kter�e m� d�t jako na posloupnost rozhodnut�pro kter�lat�zv. princip optimality.  Ten � �e optim��osloupnost rozhodnut��u vlastnost, �e pro libovoln�te� stav a rozhudnut�us��chna n�eduj� rozhodnut�ptim��zhledem k v��zhodnut�rvn�. D� �e pro ztr� tvaru \eqref{adi} plat�rincip optimality je snadn�e ho nal� nap�d v [ref]. 
    4949 
    5050P��en�lohy stochastick� �� aditivn�tr�u je tedy mo�n�ostupovat, jak je u ���moc�ynamick� programov� zvykem. Minim��odnotu st� ztr� od okam�iku $t$ do $N$ v z�slosti na $x_t$ ozna�e $J_t(x_t)$. M� pro ni ps� 

  • applications/dual/SIDP/text/ch2.tex

    r917 r918  
    4444 
    4545O��nou ztr� nyn�� ps�ve tvaru 
    46 \begin{equation} 
    47 J_N(I_N)=\tilde{g}_N(I_N) 
    48 \end{equation} 
    49 \begin{equation} 
     46\begin{gather} 
     47J_N(I_N)=\tilde{g}_N(I_N)\\ 
    5048J_t(I_t)=\min_{u_t \in U_t}\E_{w_t,y_{t+1}}\left\{\tilde{g}_t(I_t,u_t,w_t)+J_{t+1}((I_t,u_t,y_{t+1}))|I_t,u_t\right\} \qquad t=0,\ldots,N-1 
    51 \end{equation} 
     49\end{gather} 
    5250 
    5351Tato � ji� m��ena pomoc�ynamick� programov�. P��en�udeme postupovat od konce �� horizontu a postupn�ledat $J_t(I_t)$. Potom libovoln�\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�ab�nim����n�tr� $J_0(y_0)$ je optim��osloupnost rozhodnut� 
    … …  
    159157P_{t+1}=(I-K_tA_t)P_t 
    160158\end{equation} 
    161 Celkov�edy od p�� odhadu parametru $N(\hat{\theta}_t,P_t)$ k nov� $N(\hat{\theta}_{t+1},P_{t+1})$ p�me pomoc�\begin{equation} 
    162 K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1} 
    163 \end{equation} 
    164 \begin{equation} 
    165 \hat{\theta}_{t+1}=\hat{\theta}_t+K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t) 
    166 \end{equation} 
    167 \begin{equation} 
    168 P_{t+1}=(I-K_tA_t)P_t 
    169 \end{equation} 
     159Celkov�edy od p�� odhadu parametru $N(\hat{\theta}_t,P_t)$ k nov� $N(\hat{\theta}_{t+1},P_{t+1})$ p�me pomoc�\begin{gather} 
     160K_t=P_tA_t(A_t^TP_tA_t+Q_t)^{-1}\\ 
     161\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t),\\ 
     162P_{t+1}=(I-K_tA_t)P_t. 
     163\end{gather} 
    170164 
    171165Tato odhadovac�rocedura se naz�lman�ltr [ref]. 

  • applications/dual/SIDP/text/ch3.tex

    r917 r918  
    2828P�u�it�etody Certainty equivalent control (CEC) [ref] se v rovnici pro o��nou ztr� nahrad��dn�eli�y sv��mi hodnotami. O��n�tr� tak p� v 
    2929\begin{gather} 
     30\label{CE} 
    3031J_N(I_N, \theta_N)=g_N(y_N),\\ 
    3132J_t(I_t, \theta_t)=\min_{u_t \in U_t}\left\{g_t(y_t,u_t,\hat{v}_t) +J_{t+1}(I_t,\theta_{t+1},u_t,\hat{y}_{t+1}))|I_t,\theta_t,u_t\right\}, \\ \qquad t=0,\ldots,N-1, 

  • applications/dual/SIDP/text/ch4.tex

    r891 r918  
     1V t� kapitole je pops�jednoduch��popsan�ef]. Na n�jsou porovn� ��lgoritmy uveden� p�l�apitole. 
     2 
    13\section{Popis syst�} 
    2 \section{Transformace syst�} 
     4V�syst� je pops�jako 
     5\begin{gather} 
     6\label{simple} 
     7y_{t+1}=y_t+\theta_tu_t+v_{t+1} \qquad t=0,\ldots,N-1,\\ 
     8v_t\sim N(0,\sigma^2).\\ 
     9\theta_t\sim N(\hat{\theta},P_t),\\ 
     10\cov(v_{t+1},\theta)=0. 
     11\end{gather} 
     12 
     13Ztr�vou funkci vol� kvadratickou, tedy 
     14\begin{equation} 
     15g(y_{0:N},u_{0:N-1},v_{0:N-1})=\sum_{t=0}^{N-1}y_{t+1}^2. 
     16\end{equation} 
     17 
     18Za odhadovac�roceduru pro parametr $\theta$ vezmeme Kalman�ltr. Pro syst�\eqref{simple} bude m�tvar 
     19\begin{gather} 
     20\label{kal} 
     21K_t=\frac{u_tP_t}{u_t^2P_t+\sigma^2}\\ 
     22\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-u_t\hat{\theta}_t),\\ 
     23P_{t+1}=(1-K_tu_t)P_t.  
     24\end{gather} 
     25 
     26O��n�tr� je 
     27\begin{equation} 
     28J_t(y_t,\theta_t)=\min_{u_t \in U_t}\E_{y_{t+1},v_t}\left\{y_{t+1}^2+J_{t+1}(y_{t+1},\theta_{t+1})|y_t,\theta_t,u_t\right\}, \qquad t=0,\ldots,N-1. 
     29\end{equation} 
     30 
     31Ta po dosazen� \eqref{simple} a �te�m proveden�t� hodnoty p� na tvar 
     32\begin{gather} 
     33\label{dos} 
     34J_t(y_t,\theta_t)=\min_{u_t \in U_t}\left\{(y_t+\hat{\theta}_tu_t)^2+u_t^2P_t+\sigma^2+\E_{y_{t+1},v_t}(J_{t+1}(y_{t+1},\theta_{t+1}))|y_t,\theta_t,u_t\right\}. 
     35\end{gather} 
     36 
     37\section{Specifika jednotliv��up� tomto odd� jsou pops� n�er�spekty algoritm�er�udeme srovn�t, p�likaci na syst�\eqref{simple}. 
     38 
     39\subsection{Certainty equivalent control} 
     40O��n�tr� \eqref{CE} prejde v 
     41\begin{gather} 
     42J_t(y_t, \theta_t)=\min_{u_t \in U_t}\left\{\hat{y}_{t+1}^2 +J_{t+1}(y_{t+1},\theta_{t+1})|I_t,\theta_t,u_t\right\}. 
     43\end{gather} 
     44St� hodnota v� je  
     45\begin{equation} 
     46\hat{y}_{t+1}=y_t+\hat{\theta}_tu_t      
     47\end{equation} 
     48a rozhodnut�ude tedy 
     49\begin{equation} 
     50\mu_t(y_t,\hat{\theta}_t)=-\frac{y_t}{\hat{\theta}_t}. 
     51\end{equation} 
     52 
     53\subsection{Metoda separace} 
     54V prvn�� metody separace polo�� ���h  
     55\begin{equation} 
     56u_0=\sqrt{C-\frac{1}{P_0}}. 
     57\end{equation} 
     58T�se dle \eqref{kal} sn� rozptyl $P_0$ nezn�ho parametru $\theta$ na $\frac{1}{C}$. Konstanta $C$ by m� b�ena dostate� mal�aby odhad $\hat{\theta}$ pro druhou f� ��yl dostate� bl�o skute� hodnot�arametru $\theta$. P�ovn� jednotliv�goritm�l�me $C=100$. 
     59 
     60\subsection{SIDP} 
     61Dle \eqref{dos} je optim��u_t$ z�sl�a $(y_t,\hat{\theta}_t,P_t)$. P�mulaci m� tedy v ka�d��ov�okam�iku $t$ diskretizovat t�enzion��rostor nez�sle prom��le [ref] je v�ak p�amotnou simulac�hodn�� k transformaci prostoru $(y_t,\hat{\theta}_t,P_t,u_t)$ do nov�om��\eta_t,\beta_t,\zeta_t,\nu_t)$ dle 
     62\begin{gather} 
     63\eta_t=\frac{y_t}{\sigma} \\ 
     64\beta_t=\frac{\hat{\theta}_t}{\sqrt{P_t}} \\ 
     65\zeta_t=\frac{1}{\sqrt{P_t}} \\ 
     66\nu_t=\frac{u_t\sqrt{P_t}}{\sigma} 
     67\end{gather} 
     68 
     69Sou�n�� neur�ost ve v� \eqref{simple} reprezentovat jedinou normalizovanou n�dnou veli�ou podle 
     70\begin{equation} 
     71s_t=\frac{y_{t+1}-y_t+\hat{\theta}_tu_t}{\sqrt{u_t^2P_t+\sigma^2}} \sim N(0,1). 
     72\end{equation} 
     73  
     74Rovnice pro v�\eqref{simple} a n�eduj� odhad nezn�ho parametru \eqref{kal} tak p� v 
     75\begin{gather} 
     76\eta_{t+1}=\eta_t+\beta_t\nu_t+\sqrt{1+\nu^2}s_t\\ 
     77\beta_{t+1}=\sqrt{1+\nu^2}\beta_t+\nu_ts_t 
     78\end{gather} 
     79 
     80P�me-li k vhodn�praven���n�tr�, dostaneme  
     81\begin{align} 
     82V_t(\eta_t,\beta_t,\zeta_t)&=\frac{J_t(y_t,\hat{\theta}_t,P_t)}{\sigma^2}\\ 
     83&=\min_{\nu_t }\left\{(\eta_t+\beta_t\nu_t)^2+\nu_t^2+1+\E_{y_{t+1},v_t}(V_{t+1}(\eta_{t+1},\beta_{t+1},\zeta))\right\}. 
     84\end{align} 
     85 
     86Nyn�po�me o��nou ztr� pro $N-1$.  
     87\begin{equation} 
     88V_{N-1}(\eta_{N-1},\beta_{N-1},\zeta_{N-1})=\min_{\nu_{N-1}}\left\{(\eta_{N-1}+\beta_{N-1}\nu_{N-1})^2+\nu_{N-1}^2+1\right\}. 
     89\end{equation} 
     90 
     91Derivac��� optim���h jako 
     92\begin{equation} 
     93\label{optcon} 
     94\nu_{N-1}=-\frac{\eta_{N-1}\beta_{N-1}}{1+\beta_{N-1}^2} 
     95\end{equation} 
     96a o��nou ztr� 
     97\begin{equation} 
     98V_{N-1}(\eta_{N-1},\beta_{N-1},\zeta_{N-1})= \frac{\eta_{N-1}^2+1}{\beta_{N-1}^2+1} 
     99\end{equation} 
     100 
     101Proto�e optim���h $\nu_{N-1}$ ani o��n�tr� $V_{N-1}$ nez�s�a $\zeta_{N-1}$, d� tvaru $V_t$ nebude rovn�optim���h $\nu_t$ a o��n�tr� $V_t$ z�set na $\zeta_t$. P�skretizaci tedy sta�uva�ovat pouze dvoudimenzion��rostor nez�sle prom��\eta_t,\beta_t)$. 
     102 
    3103\section{Srovn� jednotliv��up� 

  • applications/dual/SIDP/text/znaceni.tex

    r917 r918  
    77&a_{t:s}&&\text{posloupnost veli� } (a_t,a_{t+1}, \ldots, a_s)\\ 
    88&g_{t:s}(a_{t:s})&&\text{posloupnost funk�ch hodnot } (g_t(a_t),g_{t+1}(a_{t+1}), \ldots, g_s(a_s))\\ 
    9 &|H|&&\text{po� prvk�no�in�} 
     9&|H|&&\text{po� prvk�no�in� H 
    1010\end{align*}