root/library/bdm/stat/exp_family.cpp @ 910

Revision 910, 13.7 kB (checked in by mido, 14 years ago)

patch of LOG LEVELS

  • Property svn:eol-style set to native
Line 
1#include <math.h>
2
3#include <itpp/base/bessel.h>
4#include "exp_family.h"
5
6namespace bdm {
7
8Uniform_RNG UniRNG;
9Normal_RNG NorRNG;
10Gamma_RNG GamRNG;
11
12using std::cout;
13
14///////////
15
16void BMEF::bayes ( const vec &yt, const vec &cond ) {
17        this->bayes_weighted ( yt, cond, 1.0 );
18};
19
20void egiw::set_parameters ( int dimx0, ldmat V0, double nu0 ) {
21        dimx = dimx0;
22        nPsi = V0.rows() - dimx;
23
24        V = V0;
25        if ( nu0 < 0 ) {
26                nu = 0.1 + nPsi + 2 * dimx + 2; // +2 assures finite expected value of R
27                // terms before that are sufficient for finite normalization
28        } else {
29                nu = nu0;
30        }
31}
32
33vec egiw::sample() const {
34        mat M;
35        chmat R;
36        sample_mat ( M, R );
37
38        return concat ( cvectorize ( M ), cvectorize ( R.to_mat() ) );
39}
40
41mat egiw::sample_mat ( int n ) const {
42        // TODO - correct approach - convert to product of norm * Wishart
43        mat M;
44        ldmat Vz;
45        ldmat Lam;
46        factorize ( M, Vz, Lam );
47
48        chmat ChLam ( Lam.to_mat() );
49        chmat iChLam;
50        ChLam.inv ( iChLam );
51
52        eWishartCh Omega; //inverse Wishart, result is R,
53        Omega.set_parameters ( iChLam, nu - 2*nPsi - dimx ); // 2*nPsi is there to match numercial simulations - check if analytically correct
54        Omega.validate();       
55
56        mat OmChi;
57        mat Z ( M.rows(), M.cols() );
58
59        mat Mi;
60        mat RChiT;
61        mat tmp ( dimension(), n );
62        M=M.T();// ugly hack == decide what to do with M.
63        for ( int i = 0; i < n; i++ ) {
64                OmChi = Omega.sample_mat();
65                RChiT = inv ( OmChi );
66                Z = randn ( M.rows(), M.cols() );
67                Mi = M + RChiT * Z * inv ( Vz._L().T() * diag ( sqrt ( Vz._D() ) ) );
68
69                tmp.set_col ( i, concat ( cvectorize ( Mi ), cvectorize ( RChiT*RChiT.T() ) ) );
70        }
71        return tmp;
72}
73
74void egiw::sample_mat ( mat &Mi, chmat &Ri ) const {
75
76        // TODO - correct approach - convert to product of norm * Wishart
77        mat M;
78        ldmat Vz;
79        ldmat Lam;
80        factorize ( M, Vz, Lam );
81
82        chmat Ch;
83        Ch.setCh ( Lam._L() *diag ( sqrt ( Lam._D() ) ) );
84        chmat iCh;
85        Ch.inv ( iCh );
86
87        eWishartCh Omega; //inverse Wishart, result is R,
88        Omega.set_parameters ( iCh, nu - 2*nPsi - dimx ); // 2*nPsi is there to match numercial simulations - check if analytically correct
89        Omega.validate();
90
91        chmat Omi;
92        Omi.setCh ( Omega.sample_mat() );
93
94        if (M._datasize()>0){
95                mat Z = randn ( M.rows(), M.cols() );
96                Mi = M + Omi._Ch() * Z * inv ( Vz._L() * diag ( sqrt ( Vz._D() ) ) );
97        }
98        Omi.inv ( Ri );
99}
100
101double egiw::evallog_nn ( const vec &val ) const {
102        bdm_assert_debug(val.length()==dimx*(nPsi+dimx),"Incorrect cond in egiw::evallog_nn" );
103       
104        int vend = val.length() - 1;
105
106        if ( dimx == 1 ) { //same as the following, just quicker.
107                double r = val ( vend ); //last entry!
108                if ( r < 0 ) return -inf;
109                vec Psi ( nPsi + dimx );
110                Psi ( 0 ) = -1.0;
111                Psi.set_subvector ( 1, val ( 0, vend - 1 ) ); // fill the rest
112
113                double Vq = V.qform ( Psi );
114                return -0.5* ( nu*log ( r ) + Vq / r );
115        } else {
116                mat Tmp;
117                if (nPsi>0){
118                        mat Th = reshape ( val ( 0, nPsi * dimx - 1 ), nPsi, dimx );
119                        Tmp = concat_vertical ( -eye ( dimx ), Th );
120                } else {
121                        Tmp = -eye(dimx);
122                }
123                fsqmat R ( reshape ( val ( nPsi*dimx, vend ), dimx, dimx ) );
124                double ldetR = R.logdet();
125                if ( !std::isfinite(ldetR) ) return -inf;
126                fsqmat iR ( dimx );
127                R.inv ( iR );
128
129                return -0.5* ( nu*ldetR + trace ( iR.to_mat() *Tmp.T() *V.to_mat() *Tmp ) );
130        }
131}
132
133double egiw::lognc() const {
134        const vec& D = V._D();
135
136        double m = nu - nPsi - dimx - 1;
137#define log2  0.693147180559945286226763983
138#define logpi 1.144729885849400163877476189
139#define log2pi 1.83787706640935
140#define Inf std::numeric_limits<double>::infinity()
141
142        double nkG = 0.5 * dimx * ( -nPsi * log2pi + sum ( log ( D.mid ( dimx, nPsi ) ) ) );
143        // temporary for lgamma in Wishart
144        double lg = 0;
145        for ( int i = 0; i < dimx; i++ ) {
146                lg += lgamma ( 0.5 * ( m - i ) );
147        }
148
149        double nkW = 0.5 * ( m * sum ( log ( D ( 0, dimx - 1 ) ) ) ) \
150                     - 0.5 * dimx * ( m * log2 + 0.5 * ( dimx - 1 ) * log2pi )  - lg;
151
152//      bdm_assert_debug ( ( ( -nkG - nkW ) > -Inf ) && ( ( -nkG - nkW ) < Inf ), "ARX improper" );
153        if ( -nkG - nkW == Inf ) {
154                cout << "??" << endl;
155        }
156        return -nkG - nkW;
157}
158
159vec egiw::est_theta() const {
160        if ( dimx == 1 ) {
161                const mat &L = V._L();
162                int end = L.rows() - 1;
163
164                mat iLsub = ltuinv ( L ( dimx, end, dimx, end ) );
165
166                vec L0 = L.get_col ( 0 );
167
168                return iLsub * L0 ( 1, end );
169        } else {
170                bdm_error ( "ERROR: est_theta() not implemented for dimx>1" );
171                return vec();
172        }
173}
174
175void egiw::factorize ( mat &M, ldmat &Vz, ldmat &Lam ) const {
176        const mat &L = V._L();
177        const vec &D = V._D();
178        int end = L.rows() - 1;
179
180        Lam = ldmat ( L ( 0, dimx - 1, 0, dimx - 1 ), D ( 0, dimx - 1 ) );  //exp val of R
181
182        if (dimx<=end){
183                Vz = ldmat ( L ( dimx, end, dimx, end ), D ( dimx, end ) );
184                mat iLsub = ltuinv ( Vz._L() );
185                // set mean value
186                mat Lpsi = L ( dimx, end, 0, dimx - 1 );
187                M = iLsub * Lpsi;
188        }
189/*      if ( 0 ) { // test with Peterka
190                mat VF = V.to_mat();
191                mat Vf = VF ( 0, dimx - 1, 0, dimx - 1 );
192                mat Vzf = VF ( dimx, end, 0, dimx - 1 );
193                mat VZ = VF ( dimx, end, dimx, end );
194
195                mat Lam2 = Vf - Vzf.T() * inv ( VZ ) * Vzf;
196        }*/
197}
198
199ldmat egiw::est_theta_cov() const {
200        if ( dimx == 1 ) {
201                const mat &L = V._L();
202                const vec &D = V._D();
203                int end = D.length() - 1;
204
205                mat Lsub = L ( 1, end, 1, end );
206//              mat Dsub = diag ( D ( 1, end ) );
207
208                ldmat LD ( inv ( Lsub ).T(), 1.0 / D ( 1, end ) );
209                return LD;
210
211        } else {
212                bdm_error ( "ERROR: est_theta_cov() not implemented for dimx>1" );
213                return ldmat();
214        }
215
216}
217
218vec egiw::mean() const {
219
220        if ( dimx == 1 ) {
221                const vec &D = V._D();
222                int end = D.length() - 1;
223
224                vec m ( dim );
225                m.set_subvector ( 0, est_theta() );
226                m ( end ) = D ( 0 ) / ( nu - nPsi - 2 * dimx - 2 );
227                return m;
228        } else {
229                mat M;
230                mat R;
231                mean_mat ( M, R );
232                return concat ( cvectorize ( M ), cvectorize ( R ) );
233        }
234
235}
236
237vec egiw::variance() const {
238        int l = V.rows();
239        // cut out rest of lower-right part of V
240        // invert it
241        ldmat itmp ( l );
242        if (dimx<l){
243                const ldmat tmp ( V, linspace ( dimx, l - 1 ) );
244                tmp.inv ( itmp );
245        }
246        // following Wikipedia notation
247        // m=nu-nPsi-dimx-1, p=dimx
248        double mp1p = nu - nPsi - 2 * dimx; // m-p+1
249        double mp1m = mp1p - 2;     // m-p-1
250
251        if ( dimx == 1 ) {
252                double cove = V._D() ( 0 ) / mp1m ;
253
254                vec var ( l );
255                var.set_subvector ( 0, diag ( itmp.to_mat() ) *cove );
256                var ( l - 1 ) = cove * cove / ( mp1m - 2 );
257                return var;
258        } else {
259                ldmat Vll ( V, linspace ( 0, dimx - 1 ) ); // top-left part of V
260                mat Y = Vll.to_mat();
261                mat varY ( Y.rows(), Y.cols() );
262
263                double denom = ( mp1p - 1 ) * mp1m * mp1m * ( mp1m - 2 );         // (m-p)(m-p-1)^2(m-p-3)
264
265                int i, j;
266                for ( i = 0; i < Y.rows(); i++ ) {
267                        for ( j = 0; j < Y.cols(); j++ ) {
268                                varY ( i, j ) = ( mp1p * Y ( i, j ) * Y ( i, j ) + mp1m * Y ( i, i ) * Y ( j, j ) ) / denom;
269                        }
270                }
271                vec mean_dR = diag ( Y ) / mp1m; // corresponds to cove
272                vec var_th = diag ( itmp.to_mat() );
273                vec var_Th ( mean_dR.length() *var_th.length() );
274                // diagonal of diag(mean_dR) \kron diag(var_th)
275                for ( int i = 0; i < mean_dR.length(); i++ ) {
276                        var_Th.set_subvector ( i*var_th.length(), var_th*mean_dR ( i ) );
277                }
278
279                return concat ( var_Th, cvectorize ( varY ) );
280        }
281}
282
283void egiw::mean_mat ( mat &M, mat&R ) const {
284        const mat &L = V._L();
285        const vec &D = V._D();
286        int end = L.rows() - 1;
287
288        ldmat ldR ( L ( 0, dimx - 1, 0, dimx - 1 ), D ( 0, dimx - 1 ) / ( nu - nPsi - 2*dimx - 2 ) ); //exp val of R
289
290        // set mean value
291        if (dimx<=end){
292                mat iLsub = ltuinv ( L ( dimx, end, dimx, end ) );
293                mat Lpsi = L ( dimx, end, 0, dimx - 1 );
294                M = iLsub * Lpsi;
295        }
296        R = ldR.to_mat()  ;
297}
298
299void egiw::log_register ( bdm::logger& L, const string& prefix ) {
300        if ( log_level[logmean] || log_level[logvariance] ) { 
301                root::log_register ( L, prefix );
302                int th_dim = dimension() - dimx * ( dimx + 1 ) / 2;
303
304                if ( log_level[logmean] )
305                        L.add_vector( log_level, logmean, RV ( th_dim ), prefix ); 
306                if ( log_level[logvariance] )
307                        L.add_vector( log_level, logvariance, RV ( th_dim * th_dim ), prefix );
308        } else {
309                epdf::log_register ( L, prefix );
310        }
311}
312
313void egiw::log_write() const {
314        if ( log_level[logmean] || log_level[logvariance] ) { 
315                mat M;
316                ldmat Lam;
317                ldmat Vz;
318                factorize ( M, Vz, Lam );
319                if( log_level[logmean] )
320                        log_level.store( logmean, est_theta() );
321                if( log_level[logvariance] )
322                        log_level.store( logvariance, cvectorize ( est_theta_cov().to_mat() ) );
323        } else {
324                epdf::log_write();
325        }
326}
327
328void multiBM::bayes ( const vec &yt, const vec &cond ) {
329        if ( frg < 1.0 ) {
330                beta *= frg;
331                last_lognc = est.lognc();
332        }
333        beta += yt;
334        if ( evalll ) {
335                ll = est.lognc() - last_lognc;
336        }
337}
338
339double multiBM::logpred ( const vec &yt ) const {
340        eDirich pred ( est );
341        vec &beta = pred._beta();
342
343        double lll;
344        if ( frg < 1.0 ) {
345                beta *= frg;
346                lll = pred.lognc();
347        } else if ( evalll ) {
348                lll = last_lognc;
349        } else {
350                lll = pred.lognc();
351        }
352
353        beta += yt;
354        return pred.lognc() - lll;
355}
356void multiBM::flatten ( const BMEF* B ) {
357        const multiBM* E = dynamic_cast<const multiBM*> ( B );
358        // sum(beta) should be equal to sum(B.beta)
359        const vec &Eb = E->beta;//const_cast<multiBM*> ( E )->_beta();
360        beta *= ( sum ( Eb ) / sum ( beta ) );
361        if ( evalll ) {
362                last_lognc = est.lognc();
363        }
364}
365
366vec egamma::sample() const {
367        vec smp ( dim );
368        int i;
369
370        for ( i = 0; i < dim; i++ ) {
371                if ( beta ( i ) > std::numeric_limits<double>::epsilon() ) {
372                        GamRNG.setup ( alpha ( i ), beta ( i ) );
373                } else {
374                        GamRNG.setup ( alpha ( i ), std::numeric_limits<double>::epsilon() );
375                }
376#pragma omp critical
377                smp ( i ) = GamRNG();
378        }
379
380        return smp;
381}
382
383// mat egamma::sample ( int N ) const {
384//      mat Smp ( rv.count(),N );
385//      int i,j;
386//
387//      for ( i=0; i<rv.count(); i++ ) {
388//              GamRNG.setup ( alpha ( i ),beta ( i ) );
389//
390//              for ( j=0; j<N; j++ ) {
391//                      Smp ( i,j ) = GamRNG();
392//              }
393//      }
394//
395//      return Smp;
396// }
397
398double egamma::evallog ( const vec &val ) const {
399        double res = 0.0; //the rest will be added
400        int i;
401
402        if ( any ( val <= 0. ) ) return -inf;
403        if ( any ( beta <= 0. ) ) return -inf;
404        for ( i = 0; i < dim; i++ ) {
405                res += ( alpha ( i ) - 1 ) * std::log ( val ( i ) ) - beta ( i ) * val ( i );
406        }
407        double tmp = res - lognc();;
408        bdm_assert_debug ( std::isfinite ( tmp ), "Infinite value" );
409        return tmp;
410}
411
412double egamma::lognc() const {
413        double res = 0.0; //will be added
414        int i;
415
416        for ( i = 0; i < dim; i++ ) {
417                res += lgamma ( alpha ( i ) ) - alpha ( i ) * std::log ( beta ( i ) ) ;
418        }
419
420        return res;
421}
422
423void mgamma::set_parameters ( double k0, const vec &beta0 ) {
424        k = k0;
425        iepdf.set_parameters ( k * ones ( beta0.length() ), beta0 );
426}
427
428void eEmp::resample ( RESAMPLING_METHOD method ) {
429        ivec ind = zeros_i ( n );
430        bdm::resample(w,ind,method);
431        // copy the internals according to ind
432        for (int i = 0; i < n; i++ ) {
433                if ( ind ( i ) != i ) {
434                        samples ( i ) = samples ( ind ( i ) );
435                }
436                w ( i ) = 1.0 / n;
437        }
438}
439
440void resample ( const vec &w, ivec &ind, RESAMPLING_METHOD method ) {
441        int n = w.length();
442        ind = zeros_i ( n );
443        ivec N_babies = zeros_i ( n );
444        vec cumDist = cumsum ( w );
445        vec u ( n );
446        int i, j, parent;
447        double u0;
448       
449        switch ( method ) {
450                case MULTINOMIAL:
451                        u ( n - 1 ) = pow ( UniRNG.sample(), 1.0 / n );
452                       
453                        for ( i = n - 2; i >= 0; i-- ) {
454                                u ( i ) = u ( i + 1 ) * pow ( UniRNG.sample(), 1.0 / ( i + 1 ) );
455                        }
456                       
457                        break;
458                       
459                case STRATIFIED:
460                       
461                        for ( i = 0; i < n; i++ ) {
462                                u ( i ) = ( i + UniRNG.sample() ) / n;
463                        }
464                       
465                        break;
466                       
467                case SYSTEMATIC:
468                        u0 = UniRNG.sample();
469                       
470                        for ( i = 0; i < n; i++ ) {
471                                u ( i ) = ( i + u0 ) / n;
472                        }
473                       
474                        break;
475                       
476                default:
477                        bdm_error ( "PF::resample(): Unknown resampling method" );
478        }
479       
480        // U is now full
481        j = 0;
482       
483        for ( i = 0; i < n; i++ ) {
484                while ( u ( i ) > cumDist ( j ) ) j++;
485               
486                N_babies ( j ) ++;
487        }
488        // We have assigned new babies for each Particle
489        // Now, we fill the resulting index such that:
490        // * particles with at least one baby should not move *
491        // This assures that reassignment can be done inplace;
492       
493        // find the first parent;
494        parent = 0;
495        while ( N_babies ( parent ) == 0 ) parent++;
496       
497        // Build index
498        for ( i = 0; i < n; i++ ) {
499                if ( N_babies ( i ) > 0 ) {
500                        ind ( i ) = i;
501                        N_babies ( i ) --; //this index was now replicated;
502                } else {
503                        // test if the parent has been fully replicated
504                        // if yes, find the next one
505                        while ( ( N_babies ( parent ) == 0 ) || ( N_babies ( parent ) == 1 && parent > i ) ) parent++;
506                       
507                        // Replicate parent
508                        ind ( i ) = parent;
509                       
510                        N_babies ( parent ) --; //this index was now replicated;
511                }
512               
513        }
514}
515
516void eEmp::set_statistics ( const vec &w0, const epdf &epdf0 ) {
517        dim = epdf0.dimension();
518        w = w0;
519        w /= sum ( w0 );//renormalize
520        n = w.length();
521        samples.set_size ( n );
522
523        for ( int i = 0; i < n; i++ ) {
524                samples ( i ) = epdf0.sample();
525        }
526}
527
528void eEmp::set_samples ( const epdf* epdf0 ) {
529        w = 1;
530        w /= sum ( w );//renormalize
531
532        for ( int i = 0; i < n; i++ ) {
533                samples ( i ) = epdf0->sample();
534        }
535}
536
537void migamma_ref::from_setting ( const Setting &set ) {
538        vec ref;
539        UI::get ( ref, set, "ref" , UI::compulsory );
540        set_parameters ( set["k"], ref, set["l"] );
541        validate();
542}
543
544void mlognorm::from_setting ( const Setting &set ) {
545        vec mu0;
546        UI::get ( mu0, set, "mu0", UI::compulsory );
547        set_parameters ( mu0.length(), set["k"] );
548        validate();
549        condition ( mu0 );
550}
551
552void mlstudent::condition ( const vec &cond ) {
553        if ( cond.length() > 0 ) {
554                iepdf._mu() = A * cond + mu_const;
555        } else {
556                iepdf._mu() =  mu_const;
557        }
558        double zeta;
559        //ugly hack!
560        if ( ( cond.length() + 1 ) == Lambda.rows() ) {
561                zeta = Lambda.invqform ( concat ( cond, vec_1 ( 1.0 ) ) );
562        } else {
563                zeta = Lambda.invqform ( cond );
564        }
565        _R = Re;
566        _R *= ( 1 + zeta );// / ( nu ); << nu is in Re!!!!!!
567}
568
569void eEmp::qbounds ( vec &lb, vec &ub, double perc ) const {
570        // lb in inf so than it will be pushed below;
571        lb.set_size ( dim );
572        ub.set_size ( dim );
573        lb = std::numeric_limits<double>::infinity();
574        ub = -std::numeric_limits<double>::infinity();
575        int j;
576        for ( int i = 0; i < n; i++ ) {
577                for ( j = 0; j < dim; j++ ) {
578                        if ( samples ( i ) ( j ) < lb ( j ) ) {
579                                lb ( j ) = samples ( i ) ( j );
580                        }
581                        if ( samples ( i ) ( j ) > ub ( j ) ) {
582                                ub ( j ) = samples ( i ) ( j );
583                        }
584                }
585        }
586}
587
588
589};
Note: See TracBrowser for help on using the browser.