Selectarea celui mai bun model de regresie

Selectarea celui mai bun model de regresie

E posibil ca pentru un anumit set de date sa existe mai multe modele de regresie statistic semnificative.

Alegerea celui mai bun model trebuie sa se faca in virtutea unui compromis intre maximizarea variantei lui y explicate si obtinerea unui model parcimonic, adica cat mai simplu

O modalitate relativ obiectiva de a selecta modelul cel mai potrivit este compararea coeficientilor de determinare ajustati (cu cat mai mare cu atat mai bun) sau a indicelui Akaike (cu cat mai mic cu atat mai bun).

Regresia logistica simpla

Aceasta permite ajustarea probabilitatii unei variabile de raspuns discontinue in functie de o variabila independenta continua. Daca y e o variabila ordinala, atunci se estimeaza probabilitatea de a obtine o valoare a lui y mai mica sau egala cu un nivel (stare) dat al variabilei y. Daca y e o variabila nominala, atunci se partitioneaza probabilitatea intre diverse raspunsuri. In ambele cazuri se estimeaza un set de curbe (c-1; c=nr nivelelor/starilor variabilei y) cu pante egale dar intercept diferit.

Cea mai frecventa si simpla situatie intalnita in biologie e atunci cand y e o variabila binara, in care starile sunt: prezent/absent, viu/mort etc. Ipoteza nula este ca: coeficientul b=0. Probabilitatile sunt masurate pe verticala, intre curbe si totalul lor trebuie sa fie egal cu 1. Daca x nu are nici un efect asupra lui y atunci curbele sunt paralele cu abscisa (au panta 0).

Toate testele care apar in output compara modelul specificat cu altele mai simple sau mai complexe:

1. Testul modelului per ansamblu (analog cu tabelul ANOVA din outputul regresiei liniare simple). Acest test ne spune daca modelul specificat de noi e semnificativ mai potrivit decat un model care contine doar interceptul, fara nici un efect a lui x (adica b=0). Daca acest test este nesemnificativ atunci ne oprim si nu ne mai uitam in restul outputului; doar daca e semnificativ trecem mai departe la urmatorul test (testul 2);
2. Testul de lipsa a ajustarii (lack of feet test) Acest test ne permite sa verificam daca un model saturat (de tip polinomial sau cu interactiuni) este semnificativ mai bun decat cel specificat. Daca rezultatul testului imi spune ca modelul meu e suficient de bun pot trece la urmatorul test, in caz contrar ma opresc.
3. Testul Wald si testul raportului de probabilitate (amandoua testele vizeaza acelasi lucru dar se recomanda folosirea celui de-al doilea care e mai robust). Aceste doua teste verifica daca modelul specificat este semnificativ mai bun decat un model fara efectul in cauza. In plus, aceste 2 teste reprezinta o reconfirmare, daca sunt semnificative, a faptului ca b este diferit de 0.

Analiza univariata a variantei ANOVA-univariata

Ecuatia generala in cazul ANOVA univariata este aceeasi ca si in cazul regresiei liniare simple cu exceptia faptului ca x este o variabila discontinua (nominala sau ordinala). Este foarte important sa existe suficiente replicatii (valori ale lui y) pentru fiecare nivel (stare) a variabilei x, iar pe cat posibil (ideal) aceste replicatii sa fie egale intre grupe.

Ipoteza nula in acest caz e ca nu exista diferente semnificative intre mediile grupelor de subiecti.

!!! ANOVA nu face altceva decat sa compare mediile; nu compara distributiile

Prezumtii:

1. variabila y trebuie sa aiba o distributie normala;
2. valorile x sa nu fie autocorelate;
3. valorile y sa provina in urma unui esantionaj aleatoriu.

Este foarte important daca efectul lui x este fix sau aleatoriu.

In functie de calitatea pe care o are efectul lui x asupra lui y se aplica un algoritm diferit in testul ANOVA.

Analiza simpla a variantei intre grupe (am o singura variabila x)

(=one way between groups ANOVA)

Aceasta analiza e adecvata cand se dispune de o variabila dependenta cantitativa (y) masurata in scara de interval/de ratie si o variabila independenta calitativa (x) exprimata pe o scara nominala sau ordinala. Termenul "simpla" implica faptul ca avem o singura variabila x. Prin numarul de stari ale variabilei x se determina numarul grupelor de subiecti

Ex: daca avem 2 stari, avem 2 grupe. Termenul "intre grupe" indica faptul ca fiecare subiect masurat sau tratat apare doar intr-una din grupe, adica este supus unui singur tratament.