Changeset 891 for applications/dual/SIDP/text/ch2.tex
- Timestamp:
- 04/04/10 15:43:06 (14 years ago)
- Files:
-
- 1 modified
Legend:
- Unmodified
- Added
- Removed
-
applications/dual/SIDP/text/ch2.tex
r872 r891 1 \section{Nutnost p� k suboptim��metod� 2 A�liv dynamick� programov� p����ok v ��lohy stochastick� ��analytick�e�en�bvykle nen�o�n��at. V ka�d��ov�kroku se toti� pot�se dv� obecn�bt��obl�my: 1) v� st� hodnoty vzhledem k $w_k$ a 2) n�edn�inimalizace vzhledem k $u_k$. Oba probl� obecn�emaj�nalytick�e�en� bez dal��pecifikace � je proto t�p� k aproxima�m metod� 1 P�likaci matematick� modelov� na ���k�onkr��lohy se obvykle pot�s probl�m, jak ur� konstanty, kter�an�l ur��Zkoum�-li nap�d n�k�k��yst� z rozboru fyzik�� z�nitost�bvykle zn� tvar rovnic, kter�r��eho v� �e, nicm� po�e� podm�y �parametry, kter� rovnic� vystupuj� jsou pro dan��charakteristick�m� z�at pouze nep� obvykle m�n�vhodn�li�. Modifikac�lohy stochastick� ��ro p� p�nosti nezn�ch parametr�zab�to kapitola. 3 2 4 \section{Du���n� 5 �stou situac� � stochastick� ��e, �e syst�popsan��m rovnic \eqref{sys} obvykle z�s�a n�k�parametru $\theta$, o kter�m� k dispozici pouze n�kou apriorn�nformaci. K �n� ��e tedy vhodn�ejen inimalizovat aktu��tr�, ale rovn�z�at o syst� co nejv� informac�ro minimalizaci budouc� ztr� Tento postup se naz����n�ref]. 3 \section{Formulace � stochastick� �� nep�mi daty} 4 Informace o stavu syst� $x_t$ v �e $t$ z��me pomoc�� $y_t$, kter��jako 5 \begin{equation} 6 \label{poz} 7 y_0=h_0(x_0,v_0),\qquad y_t=h_t(x_t,u_{t-1},v_t), \qquad t=1,\ldots,N-1, 8 \end{equation} 9 kde $v_t$ je n�dn�eli�a charakterizuj� chybu m�n�Po�e� stav $x_0$ je d�rozd�n�pravd�dobnosti $P^{x_0}$ a dal���yst� ur�e soustava \eqref{sys}. 10 11 Informace, kter�sou v pr� �� dispozici je zvykem ps�ve form�zv. \emph{informa�ho vektoru}, kter�var 12 \begin{equation} 13 I_0=y_0,\qquad I_t=(y_{0:t},u_{0:t-1}), \qquad t=1,\ldots,N-1. 14 \end{equation} 15 16 �d� strategie $\pi=\mu_{0:N-1}$ nyn�em�xplicitn��set na stavu syst�, proto�e m� k dispozici pouze informa� vektor. Hled� tedy 17 \begin{equation} 18 \label{icon} 19 \mu_t(I_t)=u_t \, \qquad t=0,1,\ldots,N-1, 20 \end{equation} 21 22 PRIPUSTNE STRATEGIE 23 24 �olem je naj�p�tnou strategii \eqref{icon}, kter�y minimalizovala o��nou ztr� 25 \begin{equation} 26 \label{ilos} 27 J_\pi=\E_{\substack{x_0,\ w_{0:N-1},\\ v_{0:N-1}}}\left\{g_N(x_N)+\sum_{t=0}^{N-1}g_t(x_t,\mu_t(I_t),w_t)\right\}, 28 \end{equation} 29 za podm�k \eqref{sys} a \eqref{poz}. 30 31 \section{P� na � s �mi daty} 32 Proto�e v �e $t$ nem� k dispozici p�stav syst� $x_t$, ale pouze informa� vektor $I_t$, nem� pou��postup z p�oz�apitoly. P��je pot�� vhodn�ransformovat. Za t�o �m zap�me informa� vektor ve tvaru 33 \begin{equation} 34 I_0=y_0,\qquad I_{t+1}=(I_t,u_t,y_{t+1}), \qquad t=1,\ldots,N-1. 35 \end{equation} 36 37 Na tuto rovnost m� pohl�t jako na rovnice syst� \eqref{sys}. Stav v �e $t$ je nyn�I_t$, vstup $u_t$ a $y_{t+1}$ n�dn�eli�a podm�n�I_t$ a $u_t$ p�eqref{poz}. 38 39 D� p�me k nov�tr�v�unkci, kterou definujeme jako 40 \begin{gather} 41 \tilde{g}_N(I_N)=\E_{x_N}\left\{g_N(x_N)|I_N\right\}, \\ \tilde{g}_t(I_t,u_t,w_t)=\E_{x_t}\left\{g_t(x_t,u_t,w_t)|I_t,u_t\right\}, \qquad t=1,\ldots,N-1. 42 \end{gather} 43 44 O��nou ztr� nyn�� ps�ve tvaru 45 \begin{equation} 46 J_N(I_N)=\tilde{g}_N(I_N) 47 \end{equation} 48 \begin{equation} 49 J_t(I_t)=\min_{u_t \in U_t}\E_{w_t,y_{t+1}}\left\{\tilde{g}_t(I_t,u_t,w_t)+J_{t+1}((I_t,u_t,y_{t+1}))|I_t,u_t\right\} \qquad t=0,\ldots,N-1 50 \end{equation} 51 52 Tato � ji� m��ena pomoc�ynamick� programov�. P��en�udeme postupovat od konce �� horizontu a postupn�ledat $J_t(I_t)$. Potom libovoln�\pi=\{\mu_0,\ldots,\mu_{N-1}\}$, kter�ab�nim����n�tr� $J_0(y_0)$ je optim��osloupnost rozhodnut� 53 54 \section{�zen�yst� s nezn�mi parametry} 55 Pokud rovnice syst� obsahuje n�k�� parametr $\theta$, m� vyu��znalosti ��robl� s ne�mi informacemi. 56 57 Hledan��n�y m� nejen minimalizovat aktu��tr�, ale rovn�z�at o syst� co nejv� informac�ro minimalizaci budouc� ztr� Tento postup se naz����n�ref]. 58 59 V � du�� ��� v� syst� $y_t$ pops� jako 60 \begin{equation} 61 \label{poz2} 62 y_0=h_0(\theta,v_0),\qquad y_t=h_t(\theta, I_{t-1},u_{t-1},v_t), \qquad t=1,\ldots,N-1, 63 \end{equation} 64 65 Ztr�v�unkce je nyn�\begin{equation} 66 \label{los2} 67 g(y_{0:N},u_{0:N-1},w_{0:N-1})=g_N(y_N)+\sum_{t=0}^{N-1}g_t(y_t,u_t,w_t). 68 \end{equation} 69 70 P�kl�jme d�, �e o parametru $\theta$ m� n�kou apriorn�nformaci $\theta_0$ a odhadovac�roceduru tvaru 71 \begin{equation} 72 \label{the} 73 \theta_{t+1}=f_t(\theta_t,I_t,y_{t+1},u_t), \qquad t=1,\ldots,N-1. 74 \end{equation} 75 76 Rovnici \eqref{the} m� pova�ovat za rovnici syst� \eqref{sys} pro stav $(\theta_t,I_t)$ a vstup $(y_{t+1},u_t)$ bez p�nosti �umu. Do rovnice \eqref{poz2} dosad� za $\theta$ jeho aktu��dhad, tedy 77 \begin{equation} 78 \label{poz3} 79 y_0=h_0(\theta_0,v_0),\qquad y_t=h_t(\theta_{t-1}, I_{t-1},u_{t-1},v_t), \qquad t=1,\ldots,N-1, 80 \end{equation} 81 82 Rovnice \eqref{the}, \eqref{poz3} a \eqref{los2} p�avuj�lohu stochastick� �� nep�mi daty. 83 6 84 \subsection{Bayesovsk��� 7 P�ar�up jak pro parametr $\theta$ z�at aposteriorn�ustotu pravd�dobnosti $f(\theta|X)$, je-li k dispozici apriorn�ustota pravd�dobnosti $f(\theta)$ a soubor m�n�X$, je aplikace Bayesova vzorce85 P�ar�up, jak pro nezn� parametr $\theta$ z�at aposteriorn�ustotu pravd�dobnosti $f(\theta_{t+1}|I_t)$, je-li k dispozici apriorn�ustota pravd�dobnosti $f(\theta_t)$ a informa� vektor $I_t$, je aplikace Bayesova vzorce 8 86 \begin{equation} 9 87 \label{bay} 10 f(\theta |X)=\frac{f(X|\theta)f(\theta)}{\int f(X|\theta)f(\theta)\mathrm{d}\theta}88 f(\theta_{t+1}|I_t)=\frac{f(I_t|\theta_{t+1})f(\theta_t)}{\int f(I_t|\theta_{t+1})f(\theta_t)\mathrm{d}\theta_t} 11 89 \end{equation} 12 90 Rekurzivn�ou�it�zorce \eqref{bay} pro odhad parametru $\theta$ je postup Bayesovsk� u��ref]. 13 14 P�nkr��vypo� m��ak tento p�p dv�ev� 1) nikdy nem� k dispozici $f( X|\theta)$, ale pouze jej�proximaci z m�n�a 2) aposteriorn�ustota pravd�dobnosti nemus��analytick�yj�en�co� jej�ou�it� dal��v� komplikuje.91 92 P�nkr��vypo� m��ak tento p�p dv�ev� 1) nikdy nem� k dispozici $f(I_t|\theta_{t+1})$, ale pouze aproximaci z m�n�I_t$ a 2) aposteriorn�ustota pravd�dobnosti nemus��analytick�yj�en�co� jej�ou�it� dal��v� komplikuje. 15 93 16 94 \subsection{Kalman�ltr} 17 Pokud je p�tem ��yst� s gausovk�em, ve kter�nezn� parametry vystupuj�ako line� �ny situace se zna� zjednodu��ref]. Syst�\eqref{sys} m� �e $t$ tedy tvar95 Pokud v rovnic� \eqref{poz2} popisuj�ch v�syst� vystupuje gausovk�a nezn� parametr je separov�jako line� �n, situace se zna� zjednodu�� 18 96 97 Dle p�kladu m��v �e $t$ tvar 19 98 \begin{equation} 20 99 \label{sys2} 21 x_{t+1}=f_k(x_t,u_t)+A_t(x_t,u_t)\theta_t+w_t 100 y_{t+1}=\tilde{h}_t(I_t,u_t)+A_t(I_t,u_t))\theta_t+v_{t+1}, , \qquad t=0,\ldots,N-1. 22 101 \end{equation} 23 102 24 , kde $A_t(x_t,u_t)$ je zn� matice z�s� na p�oz�stavu syst� a vstupu. D� p�kl�jme gausovsk�ozlo�en�umu $w_t$ se zn�m rozptylem, gausovsk�ozlo�en�ezn�ho parametru $\theta$ a jejich nekorelovanost, tedy 103 kde $\tilde{h}_t(I_t,u_t)$, resp. $A_t(I_t,u_t)$ je zn� funkce, resp. matice z�s� na informa�m vektoru a aktu��stupu. D� p�kl�me gausovsk�ozlo�en�umu $v_{t+1}$ se zn�m rozptylem 25 104 \begin{equation} 26 \theta_t\sim N(\hat{\theta},P_t),105 v_{t+1}\sim N(0,Q_{t+1}), 27 106 \end{equation} 107 gausovsk�ozlo�en�dhadu nezn�ho parametru $\theta_t$ a jejich nekorelovanost, tedy 108 \begin{gather} 109 \theta_t\sim N(\hat{\theta},P_t),\\ 110 \cov(v_{t+1},\theta)=0. 111 \end{gather} 112 113 Budeme po�adovat, aby odhadovac�rocedura \eqref{the} st� hodnoty parametru $\theta_{t+1}$ byla tvaru line��pravy st� hodnoty $\theta_t$ ��eur�osti v syst�. Tedy �e 28 114 \begin{equation} 29 w_t\sim N(0,Q_t), 115 \label{opr} 116 \hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t), 30 117 \end{equation} 118 kde $K_t$ je nezn� matice, kterou ur�e z po�adavku minimalizace v��atice rozptylu $P_{t+1}$. Pro ni jako funkci $K_t$ m� ps� 31 119 \begin{equation} 32 \cov(w_t,\theta_t)=0.120 P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T]. 33 121 \end{equation} 34 122 35 Na z�ad�dezvy syst� $x_{t+1}$ a $\theta_t$ chceme z�at n�k� odhad parametru $\theta_{t+1}$. Budeme p�kl�t, �e $\theta_{t+1}$ z�� line��pravou $\theta_t$ �ou neur�osti v syst�. Tedy �e 36 \begin{equation} 37 \label{opr} 38 \hat{\theta}_{t+1}=\hat{\theta}_t+K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t) 39 \end{equation} 40 , kde $K_t$ je nezn� matice, kterou ur�e z po�adavku minimalizace v��atice rozptylu $P_{t+1}$. Pro ni jako funkci $K_t$ m� ps� 41 \begin{equation} 42 P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T]. 43 \end{equation} 44 Dosazen�za $\hat{\theta}_{t+1}$ ze \eqref{opr} a za $x_t$ ze \eqref{sys2} a �ou dostaneme (pro libovolnou matici $B$ budeme pro lep��itelnost nam�o $BB^T$ ps�zkr�n�B^2$) 123 Dosazen�za $\hat{\theta}_{t+1}$ z \eqref{opr} a za $y_t$ ze \eqref{sys2} a �ou dostaneme (pro libovolnou matici $B$ budeme pro lep��itelnost nam�o $BB^T$ ps�zkr�n�B^2$) 45 124 \begin{align} 46 P_{t+1}(K_t)&=\E [(\theta-\theta_t-K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t))^2]\nonumber \\47 &=\E [((I-K_tA_t)(\theta-\theta_t)-K_tw_t)^2]\nonumber \\48 &=(I-K_tA_t)\E [(\theta-\theta_t)^2](I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,w_t)K_t^T-\nonumber \\49 &-K_t\cov(\theta, w_t)(I-K_tA_t)^T+K_t\E[w_t^2]K_t^T.125 P_{t+1}(K_t)&=\E_{\theta,v_t}\left\{(\theta-\hat{\theta}_t-K_t(y_{t+1}-\tilde{h}_t(I_t,u_t)-A_t\hat{\theta}_t))^2\right\} \nonumber \\ 126 &=\E_{\theta,v_t}\left\{((I-K_tA_t)(\theta-\hat{\theta}_t)-K_tv_t)^2\right\} \nonumber \\ 127 &=(I-K_tA_t)\E\left\{(\theta-\hat{\theta_t})^2\right\}(I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,v_t)K_t^T-\nonumber \\ 128 &-K_t\cov(\theta,v_t)(I-K_tA_t)^T+K_t\E\left\{v_t^2\right\}K_t^T. 50 129 \end{align} 51 130 52 Pou�it�definice $P_t$, $Q_t$ a p�kladu $\cov(\theta, w_t)=0$ m�131 Pou�it�definice $P_t$, $Q_t$ a p�kladu $\cov(\theta,v_t)=0$ m� 53 132 \begin{equation} 54 133 \label{Pt+1} … … 57 136 Proto�e po�adujeme minim��ozptyl odhadu $\hat{\theta}_{t+1}$, ur�e $K_t$ z rovnice 58 137 \begin{equation} 59 \frac{\partial \tr( P_t)}{\partial K_t} .138 \frac{\partial \tr( P_t)}{\partial K_t}=0. 60 139 \end{equation} 61 K proveden�derivace pou�ijeme vzorce*ODVOZENI BUDE ASI AZ V DODATKU* 62 \begin{equation} 63 \frac{\partial\tr(MXN)}{\partial X}=M^TN^T 64 \end{equation} 65 \begin{equation} 66 \frac{\partial\tr(MXNX^TO)}{\partial X}=M^TO^TXN+OMXN. 67 \end{equation} 140 141 K proveden�derivace pou�ijeme vzorce*ODVOZENI BUDE ASI AZ V DODATKU* 142 \begin{gather} 143 \frac{\partial\tr(MXN)}{\partial X}=M^TN^T,\\ 144 \frac{\partial\tr(MXNX^TO)}{\partial X}=M^TO^TXN+OMXN, 145 \end{gather} 146 kde $M,N$ a $O$ jsou konstantn�atice. 147 68 148 T�z�� line��ovnici pro $K_t$ tvaru 69 149 \begin{equation} 70 -P_t^TA_t-P_tA_t+K_tA_tP_tK_t+K_tA_t^TP_tK_t+2Q K_t=0,150 -P_t^TA_t-P_tA_t+K_tA_tP_tK_t+K_tA_t^TP_tK_t+2Q_tK_t=0, 71 151 \end{equation} 72 152 kter��e�en�\begin{equation} 73 153 \label{Kt} 74 K_t=\frac{P_tA_t}{A_t^TP_tA_t+Q }154 K_t=\frac{P_tA_t}{A_t^TP_tA_t+Q_t} 75 155 \end{equation} 76 Dosazen�\eqref{Kt} do \eqref{Pt+1} po uprav�ostaneme156 Dosazen�\eqref{Kt} do \eqref{Pt+1} po ��ostaneme 77 157 \begin{equation} 78 158 \label{Pt+12} … … 89 169 \end{equation} 90 170 91 \section{P�py k du�� �� 92 nektere mozne pristupy, jak odhaduji suboptimalni $u_t$ 93 \subsection{Certainty equivalecnce control} 94 \subsection{Metoda separace} 95 \subsection{SIDP} 171 Tato odhadovac�rocedura se naz�lman�ltr.