\section{Nutnost p�ej�t k suboptim�ln�m metod�m}
A�koliv dynamick�ho programov�n� p�in�� v�znamn� pokrok v �e�en� �lohy stochastick�ho ��zen�, analytick� �e�en� obvykle nen� mo�n� z�skat. V ka�d�m �asov�m kroku se toti� pot�k�me se dv�ma obecn� obt�n�mi probl�memy: 1) v�po�et st�edn� hodnoty vzhledem k $w_k$ a 2) n�sledn� minimalizace vzhledem k $u_k$. Oba probl�my obecn� nemaj� analytick� �e�en� a bez dal�� specifikace �lohy je proto t�eba p�ej�t k aproxima�n�m metod�m.  

\section{Du�ln� ��zen�}
�astou situac� v �loze stochastick�ho ��zen� je, �e syst�m popsan� syst�mem rovnic \eqref{sys} obvykle z�vis� na n�jak�m parametru $\theta$, o kter�m m�me k dispozici pouze n�jakou apriorn� informaci. K �sp�n�mu ��zen� je tedy vhodn� nejen inimalizovat aktu�ln� ztr�tu, ale rovn� z�skat o syst�mu co nejv�ce informac� pro minimalizaci budouc�ch ztr�t. Tento postup se naz�v� du�ln� ��zen� [ref].
\subsection{Bayesovsk� u�en�}
P��mo�ar� postup jak pro parametr $\theta$ z�skat aposteriorn� hustotu pravd�podobnosti $f(\theta|X)$, je-li k dispozici apriorn� hustota pravd�podobnosti $f(\theta)$ a soubor m��en� $X$, je aplikace Bayesova vzorce
\begin{equation}
\label{bay}
f(\theta|X)=\frac{f(X|\theta)f(\theta)}{\int f(X|\theta)f(\theta)\mathrm{d}\theta}
\end{equation}
Rekurzivn� pou�it� vzorce \eqref{bay} pro odhad parametru $\theta$ je postup Bayesovsk�ho u�en� [ref].
 
P�i konkr�tn�m vypo�tu m� v�ak tento p��stup dv� nev�hody: 1) nikdy nem�me k dispozici $f(X|\theta)$, ale pouze jej� aproximaci z m��en� X a 2) aposteriorn� hustota pravd�podobnosti nemus� m�t analytick� vyj�d�en�, co� jej� pou�it� v dal��m v�po�tu komplikuje.

\subsection{Kalman�v filtr}
Pokud je p�edm�tem ��zen� syst�m  s gausovk�m �umem, ve kter�m nezn�m� parametry vystupuj� jako line�n� �leny situace se zna�n� zjednodu�� [ref]. Syst�m \eqref{sys} m� v �ase $t$ tedy tvar

\begin{equation}
\label{sys2}
x_{t+1}=f_k(x_t,u_t)+A_t(x_t,u_t)\theta_t+w_t
\end{equation}

, kde $A_t(x_t,u_t)$ je zn�m� matice z�vis�c� na p�edchoz�m stavu syst�mu a vstupu. D�le p�edpokl�dejme gausovsk� rozlo�en� �umu $w_t$ se zn�m�m rozptylem, gausovsk� rozlo�en� nezn�m�ho parametru $\theta$ a jejich nekorelovanost, tedy
\begin{equation}
\theta_t\sim N(\hat{\theta},P_t),
\end{equation}
\begin{equation}
w_t\sim N(0,Q_t),
\end{equation}
\begin{equation}
\cov(w_t,\theta_t)=0.
\end{equation}

Na z�klad� odezvy syst�mu $x_{t+1}$ a $\theta_t$ chceme z�skat n�jak� nov� odhad parametru $\theta_{t+1}$. Budeme p�edpokl�dat, �e $\theta_{t+1}$ z�sk�me line�rn� opravou $\theta_t$ �m�rnou neur�itosti v syst�mu. Tedy �e
\begin{equation}
\label{opr}
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t)
\end{equation}
, kde $K_t$ je nezn�m� matice, kterou ur��me z po�adavku minimalizace v�sledn� matice rozptylu $P_{t+1}$. Pro ni jako funkci $K_t$ m��eme ps�t
\begin{equation}
P_{t+1}(K_t)=\E[(\theta-\hat{\theta}_{t+1})(\theta-\hat{\theta}_{t+1})^T].
\end{equation} 
Dosazen�m za $\hat{\theta}_{t+1}$ ze \eqref{opr} a za $x_t$ ze \eqref{sys2} a �pravou dostaneme (pro libovolnou matici $B$ budeme pro lep�� �itelnost nam�sto $BB^T$ ps�t zkr�cen� $B^2$)
\begin{align}
P_{t+1}(K_t)&=\E[(\theta-\theta_t-K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t))^2] \nonumber \\
&=\E[((I-K_tA_t)(\theta-\theta_t)-K_tw_t)^2] \nonumber \\
&=(I-K_tA_t)\E[(\theta-\theta_t)^2](I-K_tA_t)^T-(I-K_tA_t)\cov(\theta,w_t)K_t^T-\nonumber \\
&-K_t\cov(\theta,w_t)(I-K_tA_t)^T+K_t\E[w_t^2]K_t^T.
\end{align}

Pou�it�m definice $P_t$, $Q_t$ a p�edpokladu $\cov(\theta,w_t)=0$ m�me
\begin{equation}
\label{Pt+1}
P_{t+1}(K_t)=(I-K_tA_t)P_t(I-K_tA_t)^T+K_tQ_tK_t^T.
\end{equation}
Proto�e po�adujeme minim�ln� rozptyl odhadu $\hat{\theta}_{t+1}$, ur��me $K_t$ z rovnice
\begin{equation}
\frac{\partial \tr( P_t)}{\partial K_t}.
\end{equation}
K proveden�m derivace pou�ijeme vzorce*ODVOZENI BUDE ASI AZ V DODATKU* 
\begin{equation}
\frac{\partial\tr(MXN)}{\partial X}=M^TN^T
\end{equation}
\begin{equation}
\frac{\partial\tr(MXNX^TO)}{\partial X}=M^TO^TXN+OMXN.
\end{equation}
T�m z�sk�me line�rn� rovnici pro $K_t$ tvaru
\begin{equation}
-P_t^TA_t-P_tA_t+K_tA_tP_tK_t+K_tA_t^TP_tK_t+2QK_t=0,
\end{equation}
kter� m� �e�en�
\begin{equation}
\label{Kt}
K_t=\frac{P_tA_t}{A_t^TP_tA_t+Q}
\end{equation}
Dosazen�m \eqref{Kt} do \eqref{Pt+1} po uprav� dostaneme
\begin{equation}
\label{Pt+12}
P_{t+1}=(I-K_tA_t)P_t
\end{equation}
Celkov� tedy od p�vodn�ho odhadu parametru $N(\hat{\theta}_t,P_t)$ k nov�mu $N(\hat{\theta}_{t+1},P_{t+1})$ p�ejdeme pomoc�
\begin{equation}
K_t=\frac{P_tA_t}{A_t^TP_tA_t+Q}
\end{equation}
\begin{equation}
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(x_{t+1}-f_t(x_t,u_t)-A_t\hat{\theta}_t)
\end{equation}
\begin{equation}
P_{t+1}=(I-K_tA_t)P_t
\end{equation}

\section{P��stupy k du�ln�mu ��zen�}
nektere mozne pristupy, jak odhaduji suboptimalni $u_t$
\subsection{Certainty equivalecnce control}
\subsection{Metoda separace}
\subsection{SIDP}