V t�to kapitole je pops�n jednoduch� syst�m, na kter�m jsou porovn�ny ��d�c� algoritmy zalo�en� na principech uveden�ch v p�ede�l� kapitole. ��d�c� algoritmy byly implementov�ny v prost�ed� \emph{Matlab}.

\section{Integr�tor s nezn�m�m ziskem}
Syst�m zvan� integr�tor s nezn�m�m ziskem, byl podrobn� zkoum�n v \cite{astrom1986dual}. Pro srovn�n� uv�d�me tam�j�� v�sledky.

\subsection{Popis syst�mu}
V�stup syst�mu je pops�n jako
\begin{gather}
\label{simple}
y_{t+1}=y_t+\theta u_t+v_{t+1},	\qquad t=0,\ldots,N-1,\\
v_{t+1}\sim N(0,\sigma^2),
\end{gather}
kde $\theta\neq0$ je nezn�m� parametr a rozptyl �umu $\sigma^2=0,1$. Po��te�n� hodnota v�stupu je nastavena na $y_0=1$.

O nezn�m�m parametru $\theta$ m�me v �ase $t$ informaci v podob� dostate�n� statistiky $T_t=(\hat{\theta}_t,P_t)$ tvo�en� st�edn� hodnotou a rozptylem. P�edpokl�d�me nekorelovanost odhadu $\theta_t$ s �umem, tedy �e
\begin{equation}
\cov(v_{t+1},\theta_t)=0.
\end{equation}

Optim�ln� ��zen� je takov�, kter� udr�� v�stupy syst�mu na nulov� hodnot�. Ztr�tov� funkce je kvadratick� v $y_{t+1}$, �ili
\begin{equation}
\label{glos}
g(y_{1:N},u_{0:N-1})=\sum_{t=0}^{N-1}y_{t+1}^2.
\end{equation}

Odhadovac� procedurou pro parametr $\theta$ je Kalman�v filtr. Pro syst�m \eqref{simple}  m� tvar
\begin{gather}
K_t=\frac{u_tP_t}{u_t^2P_t+\sigma^2},\\
\label{kal}
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-u_t\hat{\theta}_t),\\
P_{t+1}=(1-K_tu_t)P_t. 
\end{gather}

Hyperstav syst�mu $H_t$ tvo�� vektor $(y_t,\hat{\theta}_t,P_t)$. O�ek�van� ztr�ta je
\begin{equation}
J_t(H_t)=\min_{u_t \in U_t}\E_{y_{t+1}}\left\{y_{t+1}^2+J_{t+1}(H_{t+1})|H_t,u_t\right\}, \qquad t=0,\ldots,N-1.
\end{equation}

Ta po dosazen� z \eqref{simple} a ��ste�n�m proveden� st�edn� hodnoty p�ejde na tvar
\begin{gather}
\label{dos}
J_t(H_t)=\min_{u_t \in U_t}\left\{(y_t+\hat{\theta}_tu_t)^2+u_t^2P_t+\sigma^2+\E_{y_{t+1}}(J_{t+1}(H_{t+1}))|y_t,\hat{\theta}_t, P_t,u_t\right\}.
\end{gather}

\subsection{Transformace rovnic syst�mu}
P�ed samotnou aplikac� n�jak�ho ��d�c�ho algoritmu lze �lohu vhodnou transformac� prom�nn�ch zjednodu�it.  Dle \cite{astrom1986dual} je takovou transformac� p�echod od popisu pomoc�  $(y_t,\hat{\theta}_t,P_t,u_t)$ k prom�nn�m $(\eta_t,\beta_t,\zeta_t,\nu_t)$ dle vztah�
\begin{gather}
\eta_t=\frac{y_t}{\sigma}, \\
\label{trab}
\beta_t=\frac{\hat{\theta}_t}{\sqrt{P_t}}, \\
\zeta_t=\frac{1}{\sqrt{P_t}}, \\
\nu_t=\frac{u_t\sqrt{P_t}}{\sigma}.
\end{gather}

Sou�asn� m��eme neur�itost ve v�stupu \eqref{simple} reprezentovat jedinou normalizovanou n�hodnou veli�inou
\begin{equation}
s_t=\frac{y_{t+1}-y_t+\hat{\theta}_tu_t}{\sqrt{u_t^2P_t+\sigma^2}} \sim N(0,1).
\end{equation}
 
Rovnice pro v�stup \eqref{simple} a n�sleduj�c� odhad nezn�m�ho parametru \eqref{kal} tak p�ejde v
\begin{gather}
\label{eta}
\eta_{t+1}=\eta_t+\beta_t\nu_t+\sqrt{1+\nu_t^2}s_t,\\
\label{beta}
\beta_{t+1}=\sqrt{1+\nu_t^2}\beta_t+\nu_ts_t.
\end{gather}

P�ejdeme-li k vhodn� upraven� o�ek�van� ztr�t�, dostaneme 
\begin{align}
\label{bel}
V_t(\eta_t,\beta_t,\zeta_t)&=\frac{J_t(y_t,\hat{\theta}_t,P_t)}{\sigma^2}\\
&=\min_{\nu_t }\left\{(\eta_t+\beta_t\nu_t)^2+\nu_t^2+1+\E_{s_t}(V_{t+1}(\eta_{t+1},\beta_{t+1},\zeta_{t+1}))\right\}.
\end{align}

Nyn� spo�teme o�ek�vanou ztr�tu pro $N-1$ jako
\begin{equation}
V_{N-1}(\eta_{N-1},\beta_{N-1},\zeta_{N-1})=\min_{\nu_{N-1}}\left\{(\eta_{N-1}+\beta_{N-1}\nu_{N-1})^2+\nu_{N-1}^2+1\right\}.
\end{equation}

Pomoc� diferenci�ln�ho po�tu pak z�sk�me optim�ln� z�sah ve tvaru
\begin{equation}
\label{optcon}
\nu_{N-1}=-\frac{\eta_{N-1}\beta_{N-1}}{1+\beta_{N-1}^2}
\end{equation}
a o�ek�vanou ztr�tu rovnu
\begin{equation}
V_{N-1}(\eta_{N-1},\beta_{N-1},\zeta_{N-1})= \frac{\eta_{N-1}^2+1}{\beta_{N-1}^2+1}.
\end{equation}

Proto�e optim�ln� z�sah $\nu_{N-1}$ ani o�ek�van� ztr�ta $V_{N-1}$ nez�vis� na $\zeta_{N-1}$, d�ky tvaru $V_t$ nebude rovn� optim�ln� z�sah $\nu_t$ a o�ek�van� ztr�ta $V_t$ z�viset na $\zeta_t$. K nalezen� optim�ln�ho ��zen� tedy sta�� v ka�d�m �ase $t$ uva�ovat pouze dvourozm�rn� hyperstav $H_t=(\eta_t,\beta_t)$. Nav�c m��eme bez �jmy na obecnosti po��tat optim�ln� z�sah pouze pro kladn� hodnoty $\eta_t$ a $\beta_t$. Optim�ln� ��zen� tedy napo�teme pouze pro kladn� hodnoty $y_t$ a $\theta_t$. Pro ostatn� mo�nosti pak d�ky tvaru \eqref{simple} dostaneme po�adovan� ��d�c� z�sah vhodnou volbou znam�nka napo�ten�ho z�sahu. 

\section{Pou�it� ��d�c� algoritmy}
V tomto odd�lu jsou pops�ny ��d�c� algoritmy, kter� budou posl�ze porovn�ny p�i ��zen� syst�mu \eqref{simple}. Algoritmy jsou zalo�en� na principech uveden�ch v p�ede�l� kapitole.

\subsection{Certainty equivalent}
Aplikac� metody certainty equivalent (CE) p�ejde o�ek�van� ztr�ta \eqref{bel}  v
\begin{equation}
V_t(\eta_t,\beta_t)=\min_{\nu_t }\left\{\hat{\eta}_{t+1}^2+V_{t+1}(\eta_{t+1},\beta_{t+1})\right\}
\end{equation}
St�edn� hodnota v�stupu je dle \eqref{eta} rovna
\begin{equation}
\hat{\eta}_{t+1}=\eta_t+\beta_t\nu_t,
\end{equation}

Optim�ln� ��d�c� z�sah bude tedy pro ka�d� $\beta_t\neq0$ roven
\begin{equation}
\label{cecon}
\nu_t=-\frac{\eta_t}{\beta_t}.
\end{equation}

Pokud $\beta_t=0$, pak to dle \eqref{trab} znamen�, �e i $\hat{\theta}_t=0$ (to se m��e st�t a�koliv $\theta\neq0$). Aktu�ln� o�ek�van� ztr�ta pak nez�vis� na $\nu_t$ a m��eme tedy volit libovoln� ��d�c� z�sah bez vlivu na hodnotu o�ek�van� ztr�ty. V takov�m p��pad� vol�me za ��d�c� z�sah realizaci b�l�ho �umu $N(0,1)$. Jedn� se vlastn� o jednoduchou aplikaci principu du�ln�ho ��zen� popsan�ho rovnic� \eqref{dual}. 

Z tvaru optim�ln�ho ��d�c�ho z�sahu \eqref{cecon} snadno zjist�me, �e CE je metodou nedu�ln�. Pokud je toti� v�stup syst�mu na po�adovan� hodnot�, ��d�c� z�sah nebude syst�m vychylovat za ��elem lep�� identifikace parametru $\theta$. Nicm�n� d�ky tomu, �e m�me k dispozici analytick� vyj�d�en� $\nu_t$, m��e b�t ��zen� pomoc� metody CE prov�d�no s minim�ln�mi v�po�etn�mi n�roky. To m��e b�t v n�kter�ch aplikac�ch rozhoduj�c� v�hodou.

Aplikace metody CE v podob� ��d�c�ho z�sahu \eqref{cecon} je zjevn� nevhodn� pro mal� hodnoty  $\beta_t$. Metoda bude toti� generovat, p��li� velk� ��d�c� z�sahy bez ohledu na mo�nou p��tomnost neur�itosti. Konkr�tn� d�sledky budou prezentov�ny d�le.

\subsection{Opatrn� ��zen�}
Optim�ln� ��d�c� z�sah je pro metodu opatrn�ho ��zen� (cautious control, CC) d�n dle \eqref{optcon} jako 
\begin{equation}
\label{optcon2}
\nu_t=-\frac{\eta_t\beta_t}{1+\beta_t^2}.
\end{equation}

Op�t se poda�ilo z�skat analytick� vyj�d�en� $\nu_t$ a v�po�et optim�ln�ho ��zen� pomoc� metody CC m��e b�t prov�d�n velmi efektivn�. 

V�imn�me se, �e pro velk� hodnoty $\beta_t$ p�ejde optim�ln� z�sah pro metodu opatrn�ho ��zen� \eqref{optcon2} v optim�ln� z�sah metody CE \eqref{cecon}. Naproti tomu pro mal� hodnoty $\beta_t$ (tedy pro velk� hodnoty neur�itosti v identifikaci parametru $\theta$, viz \eqref{trab}) bude ��zen� podstatn� konzervativn�j��. Pro $\beta_t=0$ (to odpov�d� $\hat{\theta}_t=0$) pak bude $\nu_t=0$ a regul�tor tedy nebude poskytovat ��dn� aktivn� ��zen�.

\subsection{Klasick� p��stup k dynamick�mu programov�n�}
V �l�nku \cite{astrom1986dual} je probl�m ��zen� syst�mu \eqref{simple} �e�en pomoc� p��m� aplikace numerick�ch metod na �e�en� �lohy dynamick�ho programovan�. Jde o sch�ma popsan� v sekci \ref{idp}. Prostor hyperstav� byl diskretizov�n do m��ky 64x64. Pro ka�d� bod hyperstavu se napo��tala o�ek�van� ztr�ta, mimo body m��ky se pou�ila kubick� interpolace. K numerick� integraci byla pou�ita klasick� Simpsonova metoda. K nalezen� minima se pak pou�ila jednoduch� metoda, p�i n� se ka�d�mi t�emi body na m��ce prolo�ila parabola, nalezlo jej� minimum a to se pak testovalo, zdali je glob�ln�m minimem o�ek�van� ztr�ty.

Optim�ln� ��zen� na v�sledn� m��ce bylo nakonec parametrizov�no analytickou formul� tvaru
\begin{equation}
\label{ast}
\nu_t=-\frac{0,56+\beta_t}{2,2+0,08\beta_t+\beta_t^2}\eta_t-\frac{1,9}{1,7+\beta_t^4}.
\end{equation}
Auto�i uv�d�j�, �e analytick� aproximace zp�sobila zv��en� ve ztr�tov� funkci o m�n� ne� 1 \%.

Prvn� �len v \eqref{ast} m��eme interpretovat jako modifikovan� opatrn� ��zen�, druh� �len pak jako bud�c� slo�ku ��zen�.

\subsection{SIDP}
Dle popisu (a n�sledn� transformace) syst�mu \eqref{simple} je pro v�po�et optim�ln� strategie pomoc� algoritmu SIDP nutn� diskretizovat ��st dvoudimenzion�ln�ho prostoru nez�visle prom�nn�ch $H_t=(\eta_t,\beta_t)$. Jak bylo v��e zd�vodn�no, optim�ln� ��d�c� z�sahy sta�� napo��st pro kladn� hodnoty $(\eta_t,\beta_t)$. 

V pr�ci \cite{thompson2005stochastic}, kde je metoda SIDP navr�ena, je pro diskretizaci prostoru pou�ita oblast obd�ln�kov�ho tvaru. Kolem vygenerovan�ch bod� se vytvo�� nejmen�� obd�ln�k, kter� obsahuje v�echny vygenerovan� body. Metodu k jeho ur�en� p�evzali auto�i z  \cite{bh-eamvb-01}. Nicm�n� p�i pou�it� t�to metody nen� zaru�eno, �e ��st takto vygenerovan�ho obd�ln�ku nebude obsahovat i z�porn� hodnoty $(\eta_t,\beta_t)$, viz obr�zek \ref{box}.

\begin{figure}
\centering
\includegraphics[width=0.25\textwidth]{box}
\caption{Oblast ur�en� k diskretizaci $H_t$ pomoc� nejmen��ho obd�ln�ku -- body uvnit� obecn� orientovan�ho obd�ln�ka nemus� spl�ovat po�adavek na nez�pornost}
\label{box}
\end{figure}

V t�to pr�ci se proto vol� odli�n� metoda. K diskretizaci zasa�en� ��sti prostoru se vol� op�t oblast obd�ln�kov�ho tvaru. Ta se ur�� n�sleduj�c�  jednoduchou metodou (matici obsahuj�c� v�echny vygenerovan� body ozna�me $A=(x_1,x_2,\ldots,x_N) \in \mathbb{R}_+^{2,N}$)
\begin{itemize}
\item spo�tou se vlastn� ��sla a vektory kovarian�n� matice $AA'$ 
\item vlastn� vektory ur�uj� sm�r hran kv�dru, jejich d�lka je $4\sqrt{\lambda_i}/N$
\item za st�ed obd�ln�ka se zvol� t�i�t� mno�iny $\left\{x_1,x_2,\ldots,x_N\right\}$.
\end{itemize}
Pokud ��st obd�ln�ka obsahuje z�porn� hodnoty $(\eta_t,\beta_t)$, vezme se vhodn� nato�en� a zmen�en� p�vodn�ho. To se provede iterativn�, kdy v ka�d� iteraci se p�vodn� obd�ln�k nato�� o 5�
a zmen�� o 5 \%. V iterac�ch se pokra�uje, dokud nen� spln�na podm�nka na nez�porn� hodnoty $(\eta_t,\beta_t)$ uvnit� obd�ln�ka. Mo�nou situaci ilustruje obr�zek \ref{box1}

\begin{figure}
\centering
\includegraphics[width=0.25\textwidth]{box1}
\caption{Oblast ur�en� k diskretizaci $H_t$ pomoc� zde pou�it� metody -- v p��pad� pot�eby se napo�ten� obd�ln�k vhodn� zmen�� a nato��}
\label{box1}
\end{figure}

Implementace dal��ch ��st� algoritmu byla provedena v souladu s odd�lem \ref{sidp}. Konkr�tn� nastaven� parametr� algoritmu zachycuje tabulka \ref{par2}. V�po�et za dan�ch parametr� trval v �adech minut.

\begin{table}
\begin{tabular}{|l|ll|} 
\hline
po�et opakov�n� algoritmu & $n_{pass}$ & 4\\
po�et iterac� algoritmu & $n_{iter}$ & 8\\
po�et bod� v diskretizaci ka�d� dimenze $H_t$ & $n_g$ & 10\\
apriorn� ��d�c� strategie & $\mu_{0:N-1}$ & $0$\\
po�et kadnid�t� na zm�nu  ��d�c�ho z�sahu & $m$ & 7\\
po��te�n� rozsah pro hled�n� optim�ln�ho ��d�c�ho z�sahu & $\beta^{in}$ & 1\\
parametr pro redukci $\beta^{in}$ p�i opakov�n� algoritmu &$\gamma$ & 0,9\\
parametr pro redukci $\beta^{in}$ p�i iterov�n� algoritmu  & $\lambda$ & 0,5\\
po�et realizac� pro odhad metodou Monte Carlo & $n$ & 20\\\hline
\end{tabular}
\caption{Konkr�tn� volba parametr� algoritmu SIDP}
\label{par2}
\end{table}

\section{Srovn�n� jednotliv�ch p��stup�}
V t�to sekci jsou porovn�ny popsan� algoritmy p�i ��zen� syst�mu \eqref{simple}. Syst�m je mo�n� v p��pad� pot�eby vhodn� posunou �i p�e�k�lovat, nen� tedy pot�eba uva�ovat jin� hodnoty referen�n�ho sign�lu a po��te�n�ho v�stupu. Kvalitu v�sledn�ho ��zen� posuzujeme z hlediska celkov� ztr�ty vygenerovan� pod�l horizontu d�lky $N$.

O�ek�van�m v�sledek bylo, �e v p��pad� velk� po��te�n� neznalosti syst�mu bude du�ln� ��zen� z�skan� pomoc� SIDP v�hodn�j�� oproti nedu�ln�m metod�m. Ty zde zastupuje metoda certainty equivalent (CE) a metoda Cautious control (CC). Pro srovn�n� je uveden v�sledek z�skan� klasick�m numerick�m p��stupem k dynamick�mu programov�n� (DP) p�evzat� z \cite{astrom1986dual}. Jak vypl�v� z tvaru \eqref{ast}, jedn� se o du�ln� metodu. 

O�ek�v� se, �e v�sledky z�skan� pomoc� klasick�ho DP budou srovnateln� s v�sledky z�skan�mi metodou SIDP. Nicm�n� jak bylo prov��eno v �l�nku \cite{thompson2005stochastic}, srovnateln� v�sledky d�v� SIDP ji� p�i desetinov�m v�po�etn�m �ase. To je zp�sobeno t�m, �e se p�i pou�it� metody SIDP diskretizuje jen ta ��st hyperstavu, kter� je nezbytn� v dal�� iteraci algoritmu. Pro efektivn� diskretizaci tedy sta�� v�razn� m�n� bod� (ve v�sledc�ch publikovan�ch v pr�ci \cite{thompson2005stochastic} to bylo 64x64 bod� pro metodu DP, zat�mco pro SIDP jen 20x20).

\subsection{Kvantitativn� srovn�n�}
��zen� bylo testov�no vzhledem k r�zn�m hodnot�m po��te�n�ho odhadu $\theta$, tedy k r�zn�m hodnot�m $(\hat{\theta}_0,P_0)$. ��d�c� horizont byl v prvn� s�rii experiment� zvolen jako $N_1=5$, v druh� $N_2=10$. Ka�d� simulace byla opakov�na 1000x, uveden� hodnoty celkov� ztr�ty jsou pr�m�rem p�es jednotliv� realizace. 

Pro ka�d� jednotliv� opakov�n� simulace byla skute�n� hodnota parametru $\theta$ pro po��te�n� hodnoty $(\hat{\theta}_0,P_0)$ zvolena jako prvn� nenulov� realizace n�hodn� veli�iny s rozd�len�m $N(\hat{\theta}_0,P_0)$. Pro takto vygenerovanou hodnotu $\theta$ byly postupn� aplikov�ny v��e popsan� ��d�c� algoritmy. Pro sn�en� vlivu n�hodnosti p�i porovn�n� kvality ��zen� byly v�echny realizace �umu (v r�mci jednoho opakov�n� simulace) v pr�b�hu ��zen� jednotliv�mi algoritmy voleny stejn�.

Na obr�zku \ref{5} jsou zachyceny v�sledky pro d�lku ��d�c�ho horizontu $N=5$, po��te�n� hodnoty rozptylu $P_0=1$ a $P_0=10$ a r�zn� hodnoty $\hat{\theta}_0$, konkr�tn� pro hodnoty $\{0,1,10\}$.

Prvn� pozorovateln� v�sledek pro p��pad $P_0=1$ je, �e metoda CE poskytuje v pr�m�ru pou�iteln� ��zen� pouze, pokud je parametr $\theta$ dostate�n� vzd�len od nulov� hodnoty. V ostatn�ch p��padech je ��zen� siln� z�visl� na apriorn� informaci a n�hodn�ch realizac�ch �umu a v pr�m�ru je takov� �e�en� nepou�iteln�.

Jak ji� bylo zd�vodn�no v��e, metoda CC d�v� pro nulov� odhad na st�edn� hodnotu, tedy pro $\hat{\theta}_t=0$, nulov� ��zen�. Ztr�ta p�i ��zen� s apriorn� informac� $(0,P_0)$ je tedy d�ky absenci ��zen� ovlivn�na pouze konkr�tn�mi realizacemi �umu. Oproti tomu p�i nenulov� apriorn� informaci $\hat{\theta}_0$ dosahovalo ��zen� pomoc� CC pr�m�rn� nejmen�� ztr�ty.

Ob� du�ln� metody (SIDP a DP) poskytuj� v pr�m�ru dobr� ��zen� pro v�echny testovan� kombinace $(\hat{\theta}_0,P_0)$. V p��pad� velk� neur�itosti po��te�n� identifikace $\theta$ (p��pad $P_0=10$) maj� regul�tory srovnateln� v�sledky.  Pro del�� horizont $N=10$ a p�esn�j�� apriorn� informaci $P_0=1$ dosahovala metoda SIDP hor��ch v�sledk� kv�li nep�esnostem zp�soben�m diskretizac�.

\begin{figure}
\centering
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{N=5,P=1}
\end{minipage}
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{N=5,P=10}
\end{minipage}
\caption{V�sledky simulace pro d�lku horizontu $N=5$, rozptyl $P_0=1$ a $P_0=10$ a r�zn� st�edn� hodnoty $\hat{\theta}_0$}
\label{5}
\end{figure}

\begin{figure}
\centering
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{N=10,P=1}
\end{minipage}
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{N=10,P=10}
\end{minipage}
\caption{V�sledky simulace pro d�lku horizontu $N=10$, rozptyl $P_0=1$ a $P_0=10$ a r�zn� st�edn� hodnoty $\hat{\theta}_0$}
\label{10}
\end{figure}

\subsection{Kvalitativn� srovn�n�}
Nastaven� simulace je stejn� jako v p��pad� kvantitativn�ho srovn�n�. Horizont je ve v�ech p��padech volen $N=5$, pro hodnotu $N=10$ byl v�sledek obdobn�.
 
Dvojice obr�zk� \ref{1} zachycuje v�sledky ��zen� metodou certainty equivalent p�i jednotliv�ch simulac�ch pro r�zn� kombinace $(\hat{\theta}_0,P_0)$. Uveden� histogramy ukazuj�, �e a� se v n�kter�ch p��padech poda�ilo pomoc� metody CE navrhnout ��d�c� strategii s celkov� n�zkou ztr�tou, ve v�t�in� p��pad� bylo ��zen� ne�sp�n� a vedlo k vysok� ztr�t�. Jak ji� bylo zm�n�no v��e, v�jimku tvo�� p��pady, kdy  je parametr $\theta$ dostate�n� vzd�len od nulov� hodnoty. Tehdy je pou�it� metody CE vhodn�.

\begin{figure}
\centering
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{CE4}
\end{minipage}
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{CE6}
\end{minipage}
\caption{V�sledky jednotliv�ch simulac� p�i ��zen� metodou certainty equivalent}
\label{1}
\end{figure}

Na obr�zc�ch \ref{2} jsou v�sledky pro metodou cautious control. Oproti metod� CE m��eme pozorovat absenci v�razn� �patn�ho ��zen�. Pro $\hat{\theta}_0=0$ je ��zen� nulov� a v�sledn� ztr�ta 
tak z�vis� pouze na konkr�tn�ch realizac�ch �umu. Oproti tomu p�i $\hat{\theta}_0=10$ je ��zen� velmi kvalitn� i pro vysok� po��te�n� rozptyl $P_0$.

\begin{figure}
\centering
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{CC4}
\end{minipage}
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{CC6}
\end{minipage}
\caption{V�sledky jednotliv�ch simulac� p�i ��zen� metodou cautious control}
\label{2}
\end{figure}

V�sledky pro jednotliv� simulace p�i ��zen� metodou SIDP jsou na obr�zku \ref{3}. Hlavn� rozd�l oproti   metod� CE je, stejn� jako v p��pad� CC,  odbour�n� tot�ln�ho selh�n� ��zen�. Charakteristick�m rysem obou histogram� je ���ka spektra dosa�en�ch ztr�t. To je zp�sobeno opatrnost� p�i n�vrhu ��d�c�ch z�sah� a tedy i pomalej�� identifikac� parametru $\theta$. Naproti tomu je v mnoha p��padech dosa�eno ztr�ty, kter� je vy��� ne� p�i pou�it� ��zen� pomoc� CE a CC. Algoritmus SIDP tedy d�v� v pr�m�ru dobr� v�sledky d�ky robustnosti v��i v�razn� �patn�mu ��zen�.

\begin{figure}
\centering
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{SIDP4}
\end{minipage}
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{SIDP6}
\end{minipage}
\caption{V�sledky jednotliv�ch simulac� p�i ��zen� metodou SIDP}
\label{3}
\end{figure}

Histogramy pro metodu klasick�ho numerick�ho p��stupu k �e�en� DP zobrazuje \ref{4}. A�koliv kvantitativn� vych�z� ��zen� pomoc� SIDP a DP velmi podobn�, p�i kvalitativn�m porovn�n� pomoc� histogram� si m��eme v�imnout, �e ��zen� metodou DP �ast�ji nab�v� ni��� celkov� ztr�ty ne� SIDP, ale rovn� i �ast�ji selh�v� a dosahuje tak vysok� ztr�ty. 

\begin{figure}
\centering
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{DP4}
\end{minipage}
\begin{minipage}[c]{0.49\textwidth}
\centering
\includegraphics[width=\textwidth]{DP6}
\end{minipage}
\caption{V�sledky jednotliv�ch simulac� p�i ��zen� metodou DP}
\label{4}
\end{figure}

\subsection{Porovn�n� robustnosti}
Kvalitu v�sledn�ho ��zen� ovliv�uje p�esnost apriorn� informace o nezn�m�m parametru $\theta$, kter� je pro syst�m \eqref{simple} reprezentov�na veli�inou $(\hat{\theta}_0,P_0)$. N�sleduj�c� simulace dokumentuje �sp�nost ��d�c�ch algoritm� v p��pad�, �e apriorn� informace p��li� neodpov�d� skute�nosti. 

Pro tyto ��ely byl parametr $\theta$ volen jako prvn� nenulov� realizace n�hodn� veli�iny s rozd�len�m $N(1,10)$. Robustnost pak byla testov�na vzhledem k r�zn� po��te�n� informaci o st�edn� hodnot� $\hat{\theta}_0$ nezn�m�ho parametru $\theta$. Rozptyl byl ve v�ech simulac�ch polo�en $P_0=10$. V�sledky zachycuje obr�zek \ref{rob}. Ka�d� simulace byla opakov�na 1000x, uveden  je pr�m�r p�es jednotliv� realizace. Metoda CE nen� s ohledem k p�edchoz�m v�sledk�m do srovn�n� zahrnuta.

Pozorovan�m v�sledkem je p�edev��m dobr� odolnost metody SIDP v��i �patn� apriorn� informaci $\hat{\theta}_0$. V�sledn� ��zen� z�skan� touto metodou dosahovalo dobr� ztr�ty i v p��pad�, kdy byla apriorn� informace naprosto nepou�iteln� ($\hat{\theta}_0=-10$). Ostatn� ��d�c� algoritmy (zejm�na pak DP) dos�hly v tomto p��pad� vysok� pr�m�rn� ztr�ty.

\begin{figure}
\centering
\includegraphics[width=0.5\textwidth]{rob}
\caption{Porovn�n� robustnosti navr�en� ��d�c� strategie vzhledem k nep�esnosti apriorn� informace $\hat{\theta}_0$}
\label{rob}
\end{figure}

\subsection{�asov� n�ro�nost SIDP}
Pro nedu�ln� metody CE a CC je k dispozici analytick� tvar ��d�c� strategie, v�po�et m��e b�t tedy prov�d�n prakticky v re�ln�m �ase. Strategie z�skan� algoritmem DP (p�evzata z \cite{astrom1986dual}) m� rovn� analytick� tvar. Jej� v�po�et trval (dle v�sledk� \cite{thompson2005stochastic}) p�ibli�n� desetkr�t d�le, oproti pou�it� SIDP za obdr�en� srovnateln�ch v�sledk�.

Tento odd�l ilustruje n�ro�nost v�po�tu ��d�c� strategie pomoc� algoritmu SIDP v z�vislosti na d�lce ��d�c�ho horizontu a jemnosti diskretizace. V�stupem algoritmu je tabulka vypo�ten�ch ��d�c�ch z�sah� v jednotliv�ch bodech diskretizace. Samotn� ��zen� se prov�d� vyhled�v�n�m v t�to struktu�e. Pro konkr�tn� bod hyperstavu $H_t$ se v tabulce vyhled� nejbli��� napo�ten� hodnota a p�e�te se ��d�c� z�sah, kter� se n�sledn� pou�ije. Jsou-li tedy p�edpo�ten� tabulky k dispozici, ��zen� m��e prob�hat prakticky v re�ln�m �ase, z�vis� pouze na efektivit� vyhled�v�n� v p�edpo�ten� struktu�e. P�i pou�it� metody SIDP je �asov� n�ro�n� f�ze p��pravy tabulek, pomoc� nich� se posl�ze ��zen� prov�d�. Diskutov�na je tedy tato ��st algoritmu.

V jednotliv�ch simulac�ch, kter� m�li prov��it v�po�etn� n�roky metody SIDP, byl parametr $\theta$ volen jako prvn� nenulov� realizace n�hodn� veli�iny s rozd�len�m $N(0,10)$. Tomu odpov�dala rovn� apriorn� informace $(\hat{\theta}_0,P_0)=(0,10)$. Doba v�po�tu byla zkoum�na v z�vislosti na d�lce ��d�c�ho horizontu $N$ a jemnosti diskretizace  $n_{g}$ (tj. po�tu bod� v diskretizaci ka�d� dimenze hyperstavu $H_t$). Ostatn� parametry z�staly shodn� s nastaven�m v tabulce \ref{par2}. 

Obdr�en� v�sledky zachycuje tabulka \ref{hor}. Pro srovn�n� je rovn� uvedena ztr�ta, kter� takto navr�en� ��zen� dos�hlo. Jedn� se op�t o pr�m�r z tis�ce opakov�n�.

\begin{table}
\centering
\begin{tabular}{|c|c|c|c|} 
\hline
$N$ & $n_{g}$ & $\bar{J}$ & $t$ $[s]$\\ \hline
5  & 5& 3,11 & 23\\
5 & 10& 3,06 & 76\\
5 & 15& 3,01 & 180\\ \hline
10& 5& 4,67 & 124\\
10&10& 4,05 & 432\\
10&15& 3,91 & 1032\\ \hline
15& 5& 5,60 & 294\\
15&10& 5,12 & 1284\\
15&15& 5,06 & 2808\\ \hline
\end{tabular}
\caption{V�po�etn� �as $t$ algoritmu SIDP v z�vislosti na d�lce ��d�c�ho horizontu $N$ a jemnosti diskretizace $n_g$, $\bar{J}$ je pr�m�rn� ztr�ta}
\label{hor}
\end{table}

Dosa�en� v�sledky ukazuj�, �e i pro del�� ��d�c� horizonty lze k n�vrhu pou��t metodu SIDP. V�po�etn� doba v�ak metodu z�ejm� limituje pro v�razn� del�� �asov� horizonty. Jemnost diskretizace ovliv�ovala pr�m�rnou ztr�tu vzhledem k u�et�en�mu v�po�etn�mu �asu relativn� m�lo. Obzvl�t� pro kr�tk� �asov� horizont ($N=5$) byla kvalita v�sledn�ho ��zen� srovnateln� i pro velmi hrubou diskretizaci (sta�ilo pouze 5x5 bod�).

\subsection{Shrnut� v�sledk� simulace}
Dle proveden�ch simulac� vych�z� p�i ��zen� syst�mu \eqref{simple} s nenulovou po��te�n� informac� o st�edn� hodnot� $\theta$ nejl�pe nedu�ln� metoda cautious control (CC). Dle kvantitativn�ho srovn�n� dosahovala v tomto p��pad� pr�m�rn� nejni��� ztr�ty a kvalitativn� porovn�n� pak prok�zalo jeho robustnost. Nicm�n� regul�tor navr�en� pomoc� metody CC nen� pou�iteln� v p��pad� $\hat{\theta}_0=0$, nebo� tehdy poskytuje pouze nulov� ��zen�.

Du�ln� metody (numerick� �e�en� DP p�evzat� z \cite{astrom1986dual} a SIDP) dok�zaly navrhnout �sp�n� ��zen� pro libovoln� hodnoty parametr�  $(\hat{\theta}_0,P_0)$. Ob� zmi�ovan� metody pak dosahovaly v p��pad� velk� po��te�n� neznalosti ($P_0=10$)  kvantitativn� srovnateln�ch v�sledk�. V�razn�j�� rozd�l byl pro rozptyl $P_0=1$. Tehdy si vedla l�pe metoda DP. 

Metoda SIDP se uk�zala jako robustn�j��, naproti tomu v�ak �ast�ji dosahovala m�rn� vy��� ztr�ty ne� DP. Chov�n� obou du�ln�ch metod tak vych�z� pr�m�rn� velmi podobn�. Nutno v�ak p�ipomenout v�sledek z \cite{thompson2005stochastic}, �e SIDP dosahuje srovnateln�ho v�sledku s DP ji� p�i zhruba desetinov�m v�po�etn�m �ase. 

Metoda certainty equivalent (CE) se uk�zala pou�iteln� pouze, pokud je parametr $\theta$ dostate�n� vzd�len od nulov� hodnoty. Podle kvalitativn�ho zkoum�n� to bylo zp�sobeno t�m, �e v mnoha p��padech, ztr�ta v�razn�  p�ekro�ila rozumnou mez. P�esto se ob�as i touto metodou poda�ilo navrhnout kvalitn� ��zen�.

Anal�za v�po�etn� n�ro�nosti algoritmu SIDP uk�zala, �e pro komplexn�j�� �lohy by p�ipadala v �vahu  pouze v p��pad� kr�tk�ch �asov�ch horizont� a nep��li� jemn� diskretizace. Jako vhodn� se tedy jev� pou�it� metody SIDP v kombinaci s n�jakou v�po�etn� efektivn� metodou, nap��klad CC. V p��pad� �patn� identifikace syst�mu by se pou�ilo ��zen� navr�en� pomoc� SIDP a jakmile by znalost syst�mu p�ekro�ila jistou zvolenou mez, k ��zen� by se pou�ila nedu�ln� metoda. V takov�m p��pad� by toti� sta�ilo metodou SIDP ��dit jen na kr�tk�m �asov�m horizontu, konkr�tn� ne� by bylo dosa�eno dostate�n� znalosti syst�mu. D�le by se ji� ��dilo v�po�etn� efektivn� metodou.