V této kapitole je popsán jednoduchý systém zkoumaný v \cite{astrom1986dual}. Na něm jsou porovnány řídící algoritmy uvedené v předešlé kapitole.

\section{Popis systému}
Výstup systému je popsán jako
\begin{gather}
\label{simple}
y_{t+1}=y_t+\theta u_t+v_{t+1}	\qquad t=0,\ldots,N-1,\\
v_{t+1}\sim N(0,\sigma^2),
\end{gather}
kde rozptyl šumu $\sigma$ je znám.

O neznámém parametru $\theta$ máme v čase $t$ informaci v podobě dostatečné statistiky $T_t=(\hat{\theta},P_t)$, tvořené střední hodnotou a rozptylem. Předpokládáme nekorelovanost $\theta$ s šumem, tedy že
\begin{equation}
\cov(v_{t+1},\theta)=0.
\end{equation}

Ztrátovou funkci volíme kvadratickou, tedy
\begin{equation}
g(y_{0:N},u_{0:N-1})=\sum_{t=0}^{N-1}y_{t+1}^2.
\end{equation}

Odhadovací procedurou pro parametr $\theta$ je Kalmanův filtr. Pro systém \eqref{simple}  má tvar
\begin{gather}
\label{kal}
K_t=\frac{u_tP_t}{u_t^2P_t+\sigma^2}\\
\hat{\theta}_{t+1}=\hat{\theta}_t+K_t(y_{t+1}-u_t\hat{\theta}_t),\\
P_{t+1}=(1-K_tu_t)P_t. 
\end{gather}

Hyperstav systému $H_t$ tvoří vektor $(y_t,\hat{\theta}_t,P_t)$. Očekávaná ztráta je
\begin{equation}
J_t(H_t)=\min_{u_t \in U_t}\E_{y_{t+1},v_t}\left\{y_{t+1}^2+J_{t+1}(H_{t+1})|H_t,u_t\right\}, \qquad t=0,\ldots,N-1.
\end{equation}

Ta po dosazení z \eqref{simple} a částečném provedení střední hodnoty přejde na tvar
\begin{gather}
\label{dos}
J_t(y_t,\theta_t)=\min_{u_t \in U_t}\left\{(y_t+\hat{\theta}_tu_t)^2+u_t^2P_t+\sigma^2+\E_{y_{t+1},v_t}(J_{t+1}(y_{t+1},\theta_{t+1}))|y_t,\theta_t,u_t\right\}.
\end{gather}

\section{Specifika jednotlivých přístupů}
V tomto oddílu jsou popsány některé aspekty algoritmů, které budeme srovnávat, při aplikaci na systém \eqref{simple}.

\subsection{Certainty equivalent control}
Očekávaná ztráta \eqref{CE} prejde v
\begin{gather}
J_t(H_t)=\min_{u_t \in U_t}\left\{\hat{y}_t^2 +J_{t+1}(\hat{H}_{t+1})|I_t,\theta_t,u_t\right\}.
\end{gather}
Střední hodnota výstupu je 
\begin{equation}
\hat{y}_{t+1}=y_t+\hat{\theta}_tu_t	
\end{equation}
a rozhodnutí bude tedy
\begin{equation}
\mu_t(y_t,\hat{\theta}_t)=-\frac{y_t}{\hat{\theta}_t}.
\end{equation}

\subsection{Metoda separace}
V první fázi metody separace položíme řídící zásah 
\begin{equation}
u_0=\sqrt{C-\frac{1}{P_0}}.
\end{equation}
Tím se dle \eqref{kal} sníží rozptyl $P_0$ neznámého parametru $\theta$ na $\frac{1}{C}$. Konstanta $C$ by měla být volena dostatečně malá, aby odhad $\hat{\theta}$ pro druhou fázi řízení byl dostatečně blízko skutečné hodnotě parametru $\theta$. Při srovnání jednotlivých algoritmů pokládáme $C=100$.

\subsection{SIDP}
Dle \eqref{dos} je optimální $u_t$ závislé na $(y_t,\hat{\theta}_t,P_t)$. Při simulaci máme tedy v každém časovém okamžiku $t$ diskretizovat třídimenzionální prostor nezávisle proměnných. Dle \cite{astrom1986dual} je však před samotnou simulací vhodné přejít k transformaci prostoru $(y_t,\hat{\theta}_t,P_t,u_t)$ do nových proměnných $(\eta_t,\beta_t,\zeta_t,\nu_t)$ dle
\begin{gather}
\eta_t=\frac{y_t}{\sigma} \\
\beta_t=\frac{\hat{\theta}_t}{\sqrt{P_t}} \\
\zeta_t=\frac{1}{\sqrt{P_t}} \\
\nu_t=\frac{u_t\sqrt{P_t}}{\sigma}
\end{gather}

Současně můžeme neurčitost ve výstupu \eqref{simple} reprezentovat jedinou normalizovanou náhodnou veličinou podle
\begin{equation}
s_t=\frac{y_{t+1}-y_t+\hat{\theta}_tu_t}{\sqrt{u_t^2P_t+\sigma^2}} \sim N(0,1).
\end{equation}
 
Rovnice pro výstup \eqref{simple} a následující odhad neznámého parametru \eqref{kal} tak přejde v
\begin{gather}
\eta_{t+1}=\eta_t+\beta_t\nu_t+\sqrt{1+\nu^2}s_t\\
\beta_{t+1}=\sqrt{1+\nu^2}\beta_t+\nu_ts_t
\end{gather}

Přejdeme-li k vhodně upravené očekávané ztrátě, dostaneme 
\begin{align}
V_t(\eta_t,\beta_t,\zeta_t)&=\frac{J_t(y_t,\hat{\theta}_t,P_t)}{\sigma^2}\\
&=\min_{\nu_t }\left\{(\eta_t+\beta_t\nu_t)^2+\nu_t^2+1+\E_{y_{t+1},v_t}(V_{t+1}(\eta_{t+1},\beta_{t+1},\zeta))\right\}.
\end{align}

Nyní spočteme očekávanou ztrátu pro $N-1$. 
\begin{equation}
V_{N-1}(\eta_{N-1},\beta_{N-1},\zeta_{N-1})=\min_{\nu_{N-1}}\left\{(\eta_{N-1}+\beta_{N-1}\nu_{N-1})^2+\nu_{N-1}^2+1\right\}.
\end{equation}

Derivací získáme optimální zásah jako
\begin{equation}
\label{optcon}
\nu_{N-1}=-\frac{\eta_{N-1}\beta_{N-1}}{1+\beta_{N-1}^2}
\end{equation}
a očekávanou ztrátu
\begin{equation}
V_{N-1}(\eta_{N-1},\beta_{N-1},\zeta_{N-1})= \frac{\eta_{N-1}^2+1}{\beta_{N-1}^2+1}
\end{equation}

Protože optimální zásah $\nu_{N-1}$ ani očekávaná ztráta $V_{N-1}$ nezávisí na $\zeta_{N-1}$, díky tvaru $V_t$ nebude rovněž optimální zásah $\nu_t$ a očekávaná ztráta $V_t$ záviset na $\zeta_t$. Při diskretizaci tedy stačí uvažovat pouze dvoudimenzionální prostor nezávisle proměnných $(\eta_t,\beta_t)$.

\section{Srovnání jednotlivých přístupů}
V této sekci jsou porovnány popsané řídící algoritmy na systému \eqref{simple}. 
POPIS EXPERIMENTU