\documentclass{article}

\usepackage[czech]{babel} %pouzivam cestinu
\usepackage[cp1250]{inputenc} %vstupni retezec je cesky
\usepackage[T1]{fontenc} %mam zde vsechny znaky
\usepackage{amsmath}

\DeclareMathOperator*{\E}{E}

\begin{document}
\tableofcontents %obsah
\newpage

\section{Úvod}
		V technické praxi, stejně jako běžném životě, jsme nuceni dělat rozhodnutí. Ať už se jedná o řízení výrobní linky či hledání optiálního spojení mezi dvěma místy, naše rozhodnutí vycházejí ze znalostí, které o světě máme. Chceme-li činit úspěšná rozhodnutí, je třeba vyřešit dvě úlohy: 1) řízený objekt co nejlépe poznat a 2) dosánout cíle, který jsme si vytyčili. Tyto dva úkoly jsou však většinou v rozporu: systém se nejlépe pozná, když se nechová podle našich požadavků. V reálném světě navíc existují náhodné jevy, poruchy a nepředpovídané situace, které jednotně nazýváme neurčitostí. Tato skutečnost způsobuje, že naše znalost systému nebude nikdy dokonalá.

Za účelem řízení systémů, které jsou buď natolik složité, že jejich deterministický popis je nemožný, nebo obsahujících náhodné prvky již ze své podstaty, vzniklo stochastické řízení, nebo-li optimální řízení za neurčitosti. Cílem stochastického řízení je minimalizovat velikost  odchylek systému od požadovaného stavu optimalizací řídících zásahů.

Jeden z přístupů k řešení tohoto probému je dynamické programování, které navrhl americký matematik Richard Bellman[]. Jedná se o metodu, která s využitím zpětného chodu minimalizuje hodnotu očekávané ztátové funkce. Tento přístup má analytické řešení pouze v případě znalosti všech parametrů systému. V šedesátých letech 20. století navrhl Alexander Aronovich Feldbaum řešení použitím takzvaného duálního řízení. Hlavní myšlenkou tohoto přístupu bylo, že řízení musí nejen minimalizovat aktuální ztrátu, ale rovněž musí získat o systému co nejvíce informací pro minimalizaci budoucích ztrát.

Přímá aplikace tohoto postupu je však bohužel i u poměrně jednoduchých značně komplikována složitostí výpočtu.  K řešení úlohy je proto vhodné požít aproximačních metod.
\newline

Tato  bakalářská práce si klade následující cíle
\begin{itemize}
\item
Formulace úlohy stochastického řízení
\item
Řešení úlohy stochastického řízení pomocí duálního řízení
\item
Představení některých aproximačních přístupů k duálnímu řízení
\item
Aplixace duálního řízení k nalezení optimální strategie na jednoduchém systému
\item
Porovnání uvedených aproximačních přístupů na jednoduchém systému
\end{itemize}

\section{Formulace úlohy stochastického řízení}
Ústředním pojmem v teorii řízení je \emph{systém}. Systém je část světa, kterou chceme poznat či řídit. Informace o stavu sytému získáváme prostřednictvím jeho výstupů. Řízení, tj. ovlivňování stavu systému, můžeme provádět  vstupů. V této práci budeme předpokládat, že výstupy charakterizují stav systému úplně. To nemusí být obecně pravda, postup při řízení s nedokonalými informacemi o stavu systému je uveden například v []. Obecně se dá ukázat, že úloha s řízení systému s neúplnými informacemi o stavu se dá ekvivalentně transformovat na úlohu řízení systému s úplnými informacemi o stavu.

Budeme-li předpokládat diskrétní povahu času můžeme systém v časovéme okamžiku $t$ popsat systémem rovnic 
\begin{equation}
\label{sys}
x_{t+1}=f_k(x_t,u_t,w_t), \qquad t=0,1,\ldots,N-1,
\end{equation}
kde $x_t$ je výstup v čase $t$, $u_t$ je vstup v čase t a $w_t$ je výstup v čase t.
 
Dále máme předepsánou ztrátovou funkci
\begin{equation}
g(x_0,\ldots,x_N,u_0,\ldots,u_{N-1},w_0,\ldots,w_{N-1})
\end{equation}

Posloupností řídících strategií $\pi=\{\mu_0,\ldots,\mu_{N-1}\}$ budeme rozumět posloupnost zobrazení
\begin{equation}
\label{con}
\mu_t(x_t)=u_t \, \qquad t=0,1,\ldots,N-1,
\end{equation} 

Pro danou řídící strategii označme očekávanou ztrátu jako
\begin{multline}
\label{los}
J_\pi(x_0)=\\
\E_{w_0,\ldots,w_{N-1}}\left\{g(x_0\ldots,x_N,\mu_0(x_0),\ldots,\mu_{N-1}(x_{N-1}),w_0,\ldots,w_{N-1})\right\}
\end{multline} 

Úlohou je potom najít takovou $\pi^*$, pro kterou platí
\begin{equation}
J_{\pi^*}(x_0)=\min_{\pi \in \Pi}J_\pi(x_0)
\end{equation}

Celkově se tedy jedná o optimalizační úlohu nalézt takovou posloupnost funkcí \eqref{con}, která minimalizuje očekávanou ztrátovu \eqref{los} za podmínek \eqref{sys}.



\section{Řešení úlohy stochastického řízení pomocí dynamického programování}
Úlohu stochastického řízení tak, jak byla definována v předchozí části, nelze obecně řešit. Je tedy vhodné nějak úlohu blíže specifikovat. V tomto směru je vhodne omezit se na nějaký speciální tvar ztrátové funkce \eqref{los}. Jako vhodné řešení se ukazuje uvažovat tzv. aditivní tvar ztrátové funkce, tedy že existují funkce $g_t$ takové, že můžeme psát
\begin{equation}
\label{adi}
g(x_0,\ldots,x_N,u_0,\ldots,u_{N-1},w_0,\ldots,w_{N-1})=g_N(x_N)+\sum_{t=0}^{N-1}g_t(x_t,u_t,w_t)
\end{equation}

Toto je již vhodný tvar pro použití dynamického programování []. Dynamické programování je přístup k řešení optimalizačních úloh, na které se můžeme dívat jako na posloupnost rozhodnutí, pro které platí tzv. princip optimality.  Ten říká, že optimální posloupnost rozhodnutí má tu vlastnost, že pro libovolný počáteční stav a rozhudnutí musí být všechna následující rozhodnutí optimální vzhledem k výsledkům rozhodnutí prvního. Důkaz, že pro ztrátu tvaru \eqref{adi} platí princip optimality je snadný a lze ho nalézt například v [].

Při řešení úlohy stochastického programování je tedy již možné postupovat jak je u úloh řešených pomocí dynamického programování zvykem.


\section{Suboptimální řešení úlohy stochastického řízení}
\subsection{Duální řízení}
Minimalizace+uceni
\subsection{Kalmanův filtr}
Jak kvantifikovat co jsem se naucilm, jen linearni systemy
\subsection{Přístupy k duálnímu řízení}
nektere mozne pristupy a na jaky predpis pro suboptimalni $u_t$ vedou
\subsubsection{Certainty equivalecnce control}
\subsubsection{Causious control}
\subsubsection{Metoda separace}
\subsubsection{SIDP}
\section{Použití duálního řízení při řízení jednoduchhého systému}
\subsection{Popis systému}
\subsection{Srovnání jednotlivých přístupů}
\section{Závěr}
\end{document}