root/applications/dual/SIDP/text/ch2.tex @ 872

\section{Nutnost p� k suboptim��metod�
A�liv dynamick� programov� p����ok v ��lohy stochastick� ��analytick�e�en�bvykle nen�o�n��at. V ka�d��ov�kroku se toti� pot�se dv� obecn�bt��obl�my: 1) v� st� hodnoty vzhledem k $w_k$ a 2) n�edn�inimalizace vzhledem k $u_k$. Oba probl� obecn�emaj�nalytick�e�en� bez dal��pecifikace � je proto t�p� k aproxima�m metod�  

\section{Du���n�
�stou situac� � stochastick� ��e, �e syst�popsan��m rovnic \eqref{sys} obvykle z�s�a n�k�parametru $\theta$, o kter�m� k dispozici pouze n�kou apriorn�nformaci. K �n� ��e tedy vhodn�ejen inimalizovat aktu��tr�, ale rovn�z�at o syst� co nejv� informac�ro minimalizaci budouc� ztr� Tento postup se naz����n�ref].
\subsection{Bayesovsk���
P�ar�up jak pro parametr $\theta$ z�at aposteriorn�ustotu pravd�dobnosti $f(\theta|X)$, je-li k dispozici apriorn�ustota pravd�dobnosti $f(\theta)$ a soubor m�n�X$, je aplikace Bayesova vzorce
\begin{equation}
\label{bay}
f(\theta|X)=\frac{f(X|\theta)f(\theta)}{\int f(X|\theta)f(\theta)\mathrm{d}\theta}
\end{equation}
Rekurzivn�ou�it�zorce \eqref{bay} pro odhad parametru $\theta$ je postup Bayesovsk� u��ref].
 
P�nkr��vypo� m��ak tento p�p dv�ev� 1) nikdy nem� k dispozici $f(X|\theta)$, ale pouze jej�proximaci z m�n� a 2) aposteriorn�ustota pravd�dobnosti nemus��analytick�yj�en�co� jej�ou�it� dal��v� komplikuje.

\subsection{Kalman�ltr}
Pokud je p�tem ��yst� s gausovk�em, ve kter�nezn� parametry vystupuj�ako line� �ny situace se zna� zjednodu��ref]. Syst�\eqref{sys} m� �e $t$ tedy tvar

\begin{equation}
\label{sys2}
x_{t+1}=f_k(x_t,u_t)+A_t(x_t,u_t)\theta_t+w_t
\end{equation}

, kde $A_t(x_t,u_t)$ je zn� matice z�s� na p�oz�stavu syst� a vstupu. D� p�kl�jme gausovsk�ozlo�en�umu $w_t$ se zn�m rozptylem, gausovsk�ozlo�en�ezn�ho parametru $\theta$ a jejich nekorelovanost, tedy
\begin{equation}
\theta_t\sim N(\hat{\theta},P_t),
\end{equation}
\begin{equation}
w_t\sim N(0,Q_t),
\end{equation}
\begin{equation}
\cov(w_t,\theta_t)=0.
\end{equation}

Na z�ad�dezvy syst� $x_{t+1}$ a $\theta_t$ chceme z�at n�k� odhad parametru $\theta_{t+1}$. Budeme p�kl�t, �e $\theta_{t+1}$ z�� line��pravou $\theta_t$ �ou neur�osti v syst�. Tedy �e
\begin{equation}
\label{opr}
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t)
\end{equation}
, kde $K_t$ je nezn� matice, kterou ur�e z po�adavku minimalizace v��atice rozptylu $P_{t+1}$. Pro ni jako funkci $K_t$ m� ps�
\begin{equation}
P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T].
\end{equation} 
Dosazen�za $\hat{\theta}_{t+1}$ ze \eqref{opr} a za $x_t$ ze \eqref{sys2} a �ou dostaneme (pro libovolnou matici $B$ budeme pro lep��itelnost nam�o $BB^T$ ps�zkr�n�B^2$)
\begin{align}
P_{t+1}(K_t)&=\E[(\theta-\theta_t-K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t))^2] \nonumber \\
&=\E[((I-K_tA_t)(\theta-\theta_t)-K_tw_t)^2] \nonumber \\
&=(I-K_tA_t)\E[(\theta-\theta_t)^2](I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,w_t)K_t^T-\nonumber \\
&-K_t\cov(\theta,w_t)(I-K_tA_t)^T+K_t\E[w_t^2]K_t^T.
\end{align}

Pou�it�definice $P_t$, $Q_t$ a p�kladu $\cov(\theta,w_t)=0$ m�
\begin{equation}
\label{Pt+1}
P_{t+1}(K_t)=(I-K_tA_t)P_t(I-K_tA_t)^T+K_tQ_tK_t^T.
\end{equation}
Proto�e po�adujeme minim��ozptyl odhadu $\hat{\theta}_{t+1}$, ur�e $K_t$ z rovnice
\begin{equation}
\frac{\partial \tr( P_t)}{\partial K_t}.
\end{equation}
K proveden�derivace pou�ijeme vzorce*ODVOZENI BUDE ASI AZ V DODATKU* 
\begin{equation}
\frac{\partial\tr(MXN)}{\partial X}=M^TN^T
\end{equation}
\begin{equation}
\frac{\partial\tr(MXNX^TO)}{\partial X}=M^TO^TXN+OMXN.
\end{equation}
T�z�� line��ovnici pro $K_t$ tvaru
\begin{equation}
-P_t^TA_t-P_tA_t+K_tA_tP_tK_t+K_tA_t^TP_tK_t+2QK_t=0,
\end{equation}
kter��e�en�\begin{equation}
\label{Kt}
K_t=\frac{P_tA_t}{A_t^TP_tA_t+Q}
\end{equation}
Dosazen�\eqref{Kt} do \eqref{Pt+1} po uprav�ostaneme
\begin{equation}
\label{Pt+12}
P_{t+1}=(I-K_tA_t)P_t
\end{equation}
Celkov�edy od p�� odhadu parametru $N(\hat{\theta}_t,P_t)$ k nov� $N(\hat{\theta}_{t+1},P_{t+1})$ p�me pomoc�\begin{equation}
K_t=\frac{P_tA_t}{A_t^TP_tA_t+Q}
\end{equation}
\begin{equation}
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t)
\end{equation}
\begin{equation}
P_{t+1}=(I-K_tA_t)P_t
\end{equation}

\section{P�py k du�� ��
nektere mozne pristupy, jak odhaduji suboptimalni $u_t$
\subsection{Certainty equivalecnce control}
\subsection{Metoda separace}
\subsection{SIDP}