root/applications/doprava/texty/novotny_vyzk_LQ/04_Bayes/Bayes.tex.backup @ 1419

\section{Bayesovské učení}

% \section{Úvod}
V této kapitole je naznačena metoda bayesovského učení, což je bodový odhadu parametru rozdělení náhodné veličiny 
založený na Bayesovuě větě. Jeho výhodou je využití experimentální i expertní znalosti.
V praxi se této metody hojně využívá tam, kde jsou data získávána postupně a zpočátku je nutné parametr
odhadnout na základě zkušenosti a nadále ho podle výsledků měření zpřesňovat.

\begin{definition}[Podmíněná pravděpodobnost]\label{de:podm_pravd}
 Nechť $A$ a $B$ jsou náhodné jevy. Podmíněná pravděpodobnost jevu $A$ na jevu $B$, tedy pravděpodobnost že nastane
 jev $A$ pokud nastane jev $B$, je definována jako
  $$ P(A|B) = \frac{P(A \cap B )}{P(B)} $$
\end{definition}

\begin{proposition}[Bayesova věta]\label{v:bayes}
 Nechť $A$ a $B$ jsou náhodné jevy a platí $P(B) > 0$. Potom
  $$ P(A|B) = \frac{P(B|A) P(A) }{P(B)} $$
\end{proposition}

% \section{Značení}

V souladu s \cite{5_bayes_learn} zavedeme následující značení:

\begin{itemize}
 \item $y(t) = [ y_1, ..., y_T ] $ - vetor $T \in \mathbb{N}$ naměřených hodnot, kde $y_t \in \{ 0,1 \}$ a $y_t = 1$ značí, 
                                      že výsledek experimentu v čase $t \in \{ 1, ..., T \}$ dopadlu v souladu s naší hypotézou
 \item $\Theta$  - parametr rozdělení
 \item $ \hat{\Theta}_{T} $  - odhad parametru při $T$ naměřených hodnotách
 \item $f(y_t|\Theta)$ - hustota pravděpodobnosti náhodné veličiny v čase $t$ při parametru $\Theta$ 
\end{itemize}

\section{Věrohodnostní funkce}

K odhadu parametru se v této metodě využívá věrohodnostní funkce, která vyjadřuje
pravděpodobnost, že při daném parametru se bude vektor naměřených výsledků bude rovnat 
teoretické hodnotě. V \cite{5_bayes_learn} se tato funkce definuje jako: \footnotemark

\footnotetext{Tato definice je poněkud zjednodušena a předpokládá, že výsledek $t$-tého pokusu nezávisí na 
předchozích pokusech, ani na počátečních podmínkách před $t$-tým pokusem.}

\begin{definition}[Věrohodnostní funkce]\label{de:ver_fce}
 $$f(y(T)|\Theta) = \prod_{t=1}^T f(y_t|\Theta) $$
\end{definition}

Při použití těchtu veličin nabývá Bayesova věta podle \cite{5_bayes_learn} tvaru

$$ f(\Theta|y(T)) = \frac{f(y(T)|\Theta) f(\Theta)}{f(y(T))} $$

kde jsou

\begin{itemize}
 \item $ f(\Theta|y(T)) $ aposteriorní hustota pravděpodobnosti
 \item $ f(y(T)|\Theta) $ Věrohodnostní funkce
 \item $ f(\Theta) = f(\Theta|y(0)) $ je tzv. apriorní hustota pravděpodobnosti
 \item $ f(y(T)) $ normalizační konstanta ($ f(\Theta|y(T)) $ se bere jako funkce $\Theta$ a parametrů $y(t)$)
\end{itemize}

Apriorní hustota pravděpodobnosti zde vyjadřuje odhad parametru při nenaměřených datech. Jedná se tedy
o expertní odhad, předpokládané chování náhodné veličiny založené na známých faktech a zkušenosti.
Aposteriorní hustota pravděpodobnosti představuje pravděpodobnost parametru $\Theta$ závislou
na naměřených hodnotách náhodné veličiny a její střední hodnota je odhadem tohoto parametru.
Tedy platí:

$$ \hat{\Theta}_T = \int_{\mathbb{R}} f(\Theta|y(T)) d\Theta $$