Anvendelser av Tikhonov-regularisering på regresjon og klassifikasjon med rask «leave one out» kryssvalidering ; Applications of Tikhonov regularization on regression and classification with fast «leave one out»cross-validation

I denne oppgaven har jeg sett på Tikhonov-regulasisering av regresjons- og klassifikasjonsproblemer og sammeliknet egne og veileders Matlab-script med andre regresjonsog klassifikasjonsmetoder med hensyn på tidsbruk og antatt prediksjonsevne. Tikhonov-regularisert regresjon kan betraktes som vanlige minste kvadraters problemer, og teori herfra fungerer også for Tikhonov-regresjon. Særlig gjelder dette muligheten for å gjøre rask «leave one out» kryssvalidering: kryssvalidering uten å bygge modellen på nytt for hver utelatte måling. Sammenliknet med PLSR og PCR går funksjonene for Tikonov-regresjon svært mye raskere når man gjør «leave one out» kryssvalidering for alle datasettene jeg har analysert. Den antatte prediskjonsevnen ser også lovende ut, både PRESS-verdier og evne til å predikere test-data ser ut til å kunne konkurrere med PLSR og PCR for data med flere variable enn målinger. Tikhonov-regularisert klassifikasjon ser også ut til å kunne konkurrere med konvensjonelle klassifikasjonsmetoder. Det viser seg at man kan gjøre rask «leave one out» kryssvalidering også for Tikhonov-regularisert lineær diskriminantanalyse, i tillegg til der man behandler klassifiseringen som et regresjonsproblem. Når man gjør «leave one out» kryssvalidering går både regularisert LDA og klassifisering ved hjelp av Tikhonov-regresjon raskere enn PLSR. Uten kryssvalidering går PLSR raskere enn enn regularisert LDA. Dette har jeg kun forsøkt for store datamengder i forbindelse med bildeanalyse, men her ser det ut til at en modifisert utgave av Tikhonov-regresjon predikerer best. Denne går også vesentlig raskere enn PLS-DA. Generelt ser det ut til at Tikhonov-regularisering kan konkurrere med mer konvensjonelle metoder for klassifisering både på tid og prediksjonsevne. ; In this thesis I have investigated Tikhonov regularization on regression and classification problems and compared my own and my supervisor’s Matlab scripts with other methods with regards to time spent and prediction ability. Tikhonov regularized regression can be ...