Regressione lineare

La regressione formalizza e risolve il problema di una relazione funzionale tra variabili misurate sulla base di dati campionari estratti da un'ipotetica popolazione infinita. Originariamente Galton utilizzava il termine come sinonimo di correlazione, tuttavia oggi in statistica l'analisi della regressione è associata alla risoluzione del modello lineare. Per la loro versatilità, le tecniche della regressione lineare trovano impiego nel campo delle scienze applicate: astronomia, chimica, geologia, biologia, fisica, ingegneria, medicina, nonché nelle scienze sociali: economia, linguistica, psicologia e sociologia.

Più formalmente, in statistica la regressione lineare rappresenta un metodo di stima del valore atteso condizionato di una variabile dipendente, o endogena, ${\displaystyle Y}$, dati i valori di altre variabili indipendenti, o esogene, ${\displaystyle X_{1},\ldots ,X_{k}}$: ${\displaystyle \mathbb {E} [Y|X_{1},\ldots ,X_{k}]}$. L'uso dei termini endogeno/esogeno è talvolta criticato, in quanto implicherebbe una nozione di causalità che l'esistenza di una regressione non prevede; in determinati contesti, provocherebbe inoltre confusione, essendo ad esempio il concetto di esogeneità in econometria formalmente definito tramite l'ipotesi di ortogonalità alla base delle proprietà statistiche della regressione lineare col metodo dei minimi quadrati.

La prima, e ancora popolare, forma di regressione lineare è quella basata sul metodo dei minimi quadrati (si veda oltre). La prima pubblicazione contenente un'applicazione del metodo nota è datata 1805, a nome di Adrien-Marie Legendre; Carl Friedrich Gauss elabora indipendentemente lo stesso metodo, pubblicando le sue ricerche nel 1809. Sebbene Gauss sostenne di avere sviluppato il metodo sin dal 1795, la paternità delle sue applicazioni in campo statistico è normalmente attribuita a Legendre; lo stesso termine minimi quadrati deriva dall'espressione francese, utilizzata da Legendre, moindres carrés.

Sia Gauss che Legendre applicano il metodo al problema di determinare, sulla base di osservazioni astronomiche, le orbite di corpi celesti intorno al sole. Eulero aveva lavorato allo stesso problema, con scarso successo, nel 1748. Nel 1821 Gauss pubblica un ulteriore sviluppo del metodo dei minimi quadrati, proponendo una prima versione di quello che è oggi noto come teorema di Gauss-Markov.

L'origine del termine regressione è storicamente documentata. L'espressione reversione era usata nel XIX secolo per descrivere un fenomeno biologico, in base al quale la progenie di individui eccezionali tende in media a presentare caratteristiche meno notevoli di quelle dei genitori, e più simili a quelle degli antenati più remoti. Francis Galton studiò tale fenomeno, applicandovi il termine, forse improprio, di regressione verso la media (o la mediocrità).

Per Galton l'espressione regressione ha solo tale significato, confinato all'ambito biologico. Il suo lavoro (1877, 1885) fu in seguito esteso da Karl Pearson e George Udny Yule a un contesto statistico più generale (1897, 1903); i lavori di Pearson e Yule ipotizzano che la distribuzione congiunta delle variabili dipendenti e indipendenti abbia natura gaussiana. Tale ipotesi è in seguito indebolita da Ronald Fisher, in lavori del 1922 e 1925. Fisher in particolare ipotizza che la distribuzione condizionata della variabile dipendente sia gaussiana, il che non implica necessariamente che così sia per quella congiunta di variabili dipendenti e indipendenti. Sotto tale profilo, la formulazione di Fisher è più vicina a quella di Gauss del 1821.

Il modello di regressione lineare è:^[1]

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+u_{i},}$

dove:

• ${\displaystyle i}$ varia tra le osservazioni, ${\displaystyle i=1,\ldots ,n}$;
• ${\displaystyle Y_{i}}$ è la variabile dipendente;
• ${\displaystyle X_{i}}$ è la variabile indipendente o regressore;
• ${\displaystyle \beta _{0}+\beta _{1}X}$ è la retta di regressione o funzione di regressione della popolazione;
• ${\displaystyle \beta _{0}}$ è l'intercetta della retta di regressione della popolazione;
• ${\displaystyle \beta _{1}}$ è il coefficiente angolare della retta di regressione della popolazione;
• ${\displaystyle u_{i}}$ è l'errore statistico.

Possiede delle peculiari assunzioni OLS.

Per ogni osservazione campionaria si dispone di una determinazione ${\displaystyle Y}$ e di ${\displaystyle k}$ determinazioni non stocastiche ${\displaystyle X_{1},X_{2},\ldots ,X_{k}}$. Si cerca quindi una relazione di tipo lineare tra la variabile ${\displaystyle Y}$ e le ${\displaystyle k}$ variabili deterministiche. Una prima analisi può essere condotta considerando un modello semplice a due variabili (si suppone in pratica che ${\displaystyle k}$ sia uguale a ${\displaystyle 1}$). Un tipico esempio è riscontrabile dall'esperienza economica considerando la relazione tra Consumi (${\displaystyle C}$) e Reddito (${\displaystyle Y}$). Ricercando una relazione funzionale in cui i consumi siano "spiegati" dal reddito si può ricorrere alla relazione lineare:

${\displaystyle C=f(Y)}$ generica relazione che caratterizza i consumi;

${\displaystyle C=a+bY}$ relazione lineare;

dove ${\displaystyle a}$ rappresenta l'intercetta e ${\displaystyle b}$ la pendenza della retta interpolatrice.

Generalizzando il problema a due variabili ${\displaystyle x}$ e ${\displaystyle y}$, scriveremo:

${\displaystyle y_{i}=a+bh(x_{i})+\varepsilon _{i},}$

${\displaystyle h(x)}$ è una generica funzione di ${\displaystyle x}$ e comunemente si assume ${\displaystyle h(x)=x}$. Ponendo tale condizione la formula diviene:

${\displaystyle y_{i}=a+bx_{i}+\varepsilon _{i}.}$

Quindi la variabile dipendente ${\displaystyle y}$ viene "spiegata" attraverso una relazione lineare della variabile indipendente ${\displaystyle x}$ (cioè: ${\displaystyle a+bx}$) e da una quantità casuale ${\displaystyle \varepsilon _{i}}$.

Il problema della regressione si traduce nella determinazione di ${\displaystyle a}$ e ${\displaystyle b}$ in modo da esprimere al ‘meglio' la relazione funzionale tra ${\displaystyle y}$ e ${\displaystyle x}$. Per avvalorare di un significato statistico la scelta dei coefficienti occorre realizzare alcune ipotesi sul modello lineare di regressione:

• ${\displaystyle x}$ è una variabile deterministica;
• ${\displaystyle \mathbb {E} (\varepsilon _{i})=0;}$
• ${\displaystyle \sigma ^{2}(\varepsilon _{i})}$ costante per ogni ${\displaystyle i;}$
• ${\displaystyle \sigma (\varepsilon _{i};\varepsilon _{j})=0,\ \forall j\neq i.}$

Date queste ipotesi si calcolano i coefficienti ${\displaystyle a}$ e ${\displaystyle b}$ secondo il metodo dei minimi quadrati (in inglese Ordinary Least Squares, o OLS, da cui il riferimento agli stimatori di seguito ottenuti come agli stimatori OLS) proposto da Gauss; detta:

${\displaystyle S=S(a,b)=\sum _{i=1}^{N}\varepsilon _{i}^{2}=\sum _{i=1}^{N}(y_{i}-a-bx_{i})^{2},}$

le stime si ottengono risolvendo:

${\displaystyle \{a,b\}=\arg \min _{a,b}S(a,b).}$

Le soluzioni si ricavano uguagliando a zero le derivate parziali di ${\displaystyle S}$ rispetto ad ${\displaystyle a}$ e ${\displaystyle b}$:

${\displaystyle {\frac {\partial S}{\partial a}}=-2\sum _{i=1}^{N}(y_{i}-a-bx_{i})=0,}$

${\displaystyle {\frac {\partial S}{\partial b}}=-2\sum _{i=1}^{N}(y_{i}-a-bx_{i})x_{i}=0.}$

Dove ${\displaystyle N}$ denota il numero delle osservazioni.

Separando le sommatorie per isolare i termini ${\displaystyle a}$ e ${\displaystyle b}$, si ottiene:

${\displaystyle aN+b\sum _{i=1}^{N}x_{i}=\sum _{i=1}^{N}y_{i}}$

${\displaystyle a\sum _{i=1}^{N}x_{i}+b\sum _{i=1}^{N}x_{i}^{2}=\sum _{i=1}^{N}x_{i}y_{i},}$

da cui si ricavano le soluzioni:

${\displaystyle b={\frac {N\sum _{i}x_{i}y_{i}-\sum _{i}x_{i}\sum _{i}y_{i}}{N\sum _{i}x_{i}^{2}-(\sum _{i}x_{i})^{2}}}={\frac {S_{xy}}{S_{xx}}}={\frac {\sigma (x,y)}{\sigma ^{2}(x)}}}$

${\displaystyle a={\frac {\sum _{i}y_{i}\sum _{i}x_{i}^{2}-\sum _{i}x_{i}\sum _{i}x_{i}y_{i}}{N\sum _{i}x_{i}^{2}-(\sum _{i}x_{i})^{2}}}={\bar {y}}-b{\bar {x}}.}$

Per il calcolo effettivo di ${\displaystyle a}$ e ${\displaystyle b}$, possiamo introdurre il concetto di medie aritmetiche ${\displaystyle {\bar {x}}}$ e ${\displaystyle {\bar {y}},}$ rispettivamente dei valori ${\displaystyle x_{i}}$ e ${\displaystyle y_{i},}$ e il concetto di scarti dei valori delle medie aritmetiche, per cui posto:

${\displaystyle x_{i}'=x_{i}-{\bar {x}},}$

${\displaystyle y_{i}'=y_{i}-{\bar {y}},}$

si ha:

${\displaystyle \sum _{i=1}^{N}x_{i}'=0,}$

${\displaystyle \sum _{i=1}^{N}y_{i}'=0.}$

Sostituendo nella seconda equazione dei sistema, si ottiene quanto segue:

${\displaystyle b={\frac {N\sum _{i}(x_{i}'+{\bar {x}})(y_{i}'+{\bar {y}})-\sum _{i}(x_{i}'+{\bar {x}})\sum _{i}(y_{i}'+{\bar {y}})}{N\sum _{i}(x_{i}'+{\bar {x}})^{2}-(\sum _{i}(x_{i}'+{\bar {x}}))^{2}}}}$ ${\displaystyle ={\frac {N\sum _{i}x_{i}'y_{i}'+N{\bar {x}}\sum _{i}y_{i}'+N{\bar {y}}\sum _{i}x_{i}'+N^{2}{\bar {x}}{\bar {y}}-(\sum _{i}x_{i}'+N{\bar {x}})(\sum _{i}y_{i}'+N{\bar {y}})}{N\sum _{i}(x_{i}'^{2}+2{\bar {x}}x_{i}'+{\bar {x}}^{2})-(\sum _{i}x_{i}'+N{\bar {x}})^{2}}}}$

${\displaystyle ={\frac {N\sum _{i}x_{i}'y_{i}'+N{\bar {x}}\sum _{i}y_{i}'+N{\bar {y}}\sum _{i}x_{i}'+N^{2}{\bar {x}}{\bar {y}}-(\sum _{i}x_{i}'+N{\bar {x}})(\sum _{i}y_{i}'+N{\bar {y}})}{N\sum _{i}x_{i}'^{2}+2N{\bar {x}}\sum _{i}x_{i}'+N\sum _{i}{\bar {x}}^{2}-(\sum _{i}x_{i}'+N{\bar {x}})^{2}}}}$

${\displaystyle ={\frac {N\sum _{i}x_{i}'y_{i}'+N^{2}{\bar {x}}{\bar {y}}-(N{\bar {x}})(N{\bar {y}})}{N\sum _{i}x_{i}'^{2}+N\sum _{i}{\bar {x}}^{2}-(N{\bar {x}})^{2}}}}$${\displaystyle ={\frac {N\sum _{i}x_{i}'y_{i}'+N^{2}{\bar {x}}{\bar {y}}-N^{2}{\bar {x}}{\bar {y}}}{N\sum _{i}x_{i}'^{2}+NN{\bar {x}}^{2}-N^{2}{\bar {x}}^{2}}}}$${\displaystyle ={\frac {\sum _{i}x_{i}'y_{i}'}{\sum _{i}x_{i}'^{2}}}}$${\displaystyle ={\frac {\sum _{i}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i}(x_{i}-{\bar {x}})^{2}}},}$

mentre dalla prima equazione:

${\displaystyle a={\frac {\sum _{i}y_{i}}{N}}-b{\frac {\sum _{i}x_{i}}{N}}={\bar {y}}-b{\bar {x}}.}$

Essendo la varianza osservata data da

${\displaystyle S_{xx}=\sigma ^{2}(x)={\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-{\bar {x}})^{2}}$

e la covarianza osservata da

${\displaystyle S_{xy}=\sigma (x,y)={\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}}),}$

i parametri ${\displaystyle a}$ e ${\displaystyle b}$ si possono scrivere nella forma

${\displaystyle b=S_{xy}/S_{xx},}$

${\displaystyle a={\bar {y}}-b{\bar {x}}.}$

Infine, sostituendo ${\displaystyle a}$ nell'equazione della retta di regressione ${\displaystyle y=a+bx}$, otteniamo la seguente espressione:

${\displaystyle y-{\bar {y}}=b(x-{\bar {x}}),}$

da cui si deduce che la retta passa per il punto ${\displaystyle ({\bar {x}},{\bar {y}})}$ le cui coordinate sono le medie aritmetiche.

Invertendo il ruolo di ${\displaystyle y}$ e ${\displaystyle x}$, possiamo ottenere la retta di regressione di ${\displaystyle x}$ rispetto a ${\displaystyle y}$:

${\displaystyle x=a_{2}+b_{2}y.}$

Le due rette di regressione ${\displaystyle y=a_{1}+b_{1}x}$ e ${\displaystyle x=a_{2}+b_{2}y}$ sono in relazione tra loro.

Le due rette coincidono quando tutti i punti del diagramma a dispersione appartengono ad una stessa retta, mentre quanto maggiore è la dispersione tanto maggiore è l'angolo che esse formano.

La misura dell'intensità e del legame di correlazione tra le due variabili è rappresentata dal coefficiente di correlazione lineare di Bravais-Pearson:

${\displaystyle r=\pm {\sqrt {b_{1}b_{2}}}}$

media geometrica dei due coefficienti di regressione, preceduta dal segno ${\displaystyle +}$ se i due coefficienti sono positivi, dal segno ${\displaystyle -}$ se sono negativi.

Riprendendo i concetti di varianza e covarianza introdotti in precedenza, essa può anche essere espressa come:

${\displaystyle r=\pm {\sqrt {{\frac {\sigma _{xy}}{\sigma _{x}^{2}}}{\frac {\sigma _{xy}}{\sigma _{y}^{2}}}}};}$

${\displaystyle r={\frac {\sigma _{xy}}{\sigma _{x}\sigma _{y}}}.}$

Si consideri il seguente problema teorico: date due variabili casuali ${\displaystyle X}$ e ${\displaystyle Y}$, quale è il migliore stimatore per il valore atteso di ${\displaystyle Y}$, ossia quale stimatore presenta lo scarto quadratico medio (o MSE, dall'inglese Mean Squared Error) minimo?

Se si utilizza uno stimatore affine che sfrutta l'informazione relativa alla variabile casuale ${\displaystyle X}$ allora ${\displaystyle Y=a+bX}$, è possibile dimostrare che lo scarto quadratico medio ${\displaystyle \mathbb {E} \left[\left(Y-a-bX\right)^{2}\right]}$ è minimizzato se:

${\displaystyle b={\frac {\sigma (X,Y)}{\sigma ^{2}(X)}};\quad a=\mathbb {E} [Y]-b\mathbb {E} [X]=\mathbb {E} [Y]-{\frac {\sigma (X,Y)}{\sigma ^{2}(X)}}\mathbb {E} [X].}$

Tale osservazione fornisce una giustificazione di tipo probabilistico alle espressioni proposte sopra; si veda oltre per un'analisi formale, nel caso multivariato.

Il metodo dei minimi quadrati è esaminato nel caso bivariato, deriva una retta che interpola uno scatter di punti minimizzando la somma dei quadrati delle distanze ${\displaystyle \varepsilon _{i}}$ dei punti stessi dalla retta; il grafico fornisce un'intuizione del procedimento.

La scelta di minimizzare i quadrati degli ${\displaystyle \varepsilon _{i}}$ non è, ovviamente, arbitraria. Facendo ad esempio riferimento alla semplice somma degli ${\displaystyle \varepsilon _{i}}$, distanze positive (verso l'alto) e negative (verso il basso) si compenserebbero, rendendo in generale peggiore la qualità dell'interpolazione; se per contro si adottasse una funzione criterio uguale alla somma dei valori assoluti degli ${\displaystyle \varepsilon _{i}}$, non essendo la funzione valore assoluto derivabile su tutto l'asse reale non si potrebbe ricorrere all'elegante metodo di minimizzazione sopra illustrato.

Si osservi inoltre che gli ${\displaystyle \varepsilon _{i}}$ rappresentano una distanza di un tipo alquanto particolare. In geometria la distanza di un punto da una retta è infatti data dalla lunghezza del segmento che unisce il punto alla retta, perpendicolare a quest'ultima; evidentemente non è questo il caso degli ${\displaystyle \varepsilon _{i}}$. La scelta operata trova giustificazione nelle proprietà statistiche delle stime, illustrate in seguito: la particolare forma degli stimatori dei minimi quadrati sopra ottenuti consente un più semplice trattamento delle loro proprietà statistiche.

Due parole infine sul significato di regressione lineare. Il nome di questa tecnica statistica non significa che nella funzione stimata la variabile dipendente ${\displaystyle y_{i}}$ è una funzione lineare della(e) variabile(i) esplicativa(e) ${\displaystyle x_{ji}}$, ma dei parametri oggetto di stima (${\displaystyle a}$ e ${\displaystyle b}$ sopra). La stima di una funzione del tipo:

${\displaystyle y_{i}=\alpha +\beta {\sqrt {x_{1i}}}+\gamma \ln x_{2i}+\varepsilon _{i},}$

rientra nel raggio d'azione del modello lineare, dal momento che ${\displaystyle y_{i}}$ è una funzione lineare dei parametri ${\displaystyle \alpha }$, ${\displaystyle \beta }$, ${\displaystyle \gamma }$. Per ulteriori considerazioni al riguardo, si veda l'articolo Regressione nonlineare.

Il metodo sopra illustrato può essere esteso al caso in cui più variabili contribuiscono a spiegare la variabile dipendente ${\displaystyle Y}$:^[1]

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+\cdots +\beta _{k}X_{ki}+\varepsilon _{i},}$

dove:

• ${\displaystyle i}$ varia tra le osservazioni, ${\displaystyle i=1,\ldots ,n}$;
• ${\displaystyle Y_{i}}$ è il valore ${\displaystyle i}$-esimo della variabile dipendente;
• ${\displaystyle X_{1i},X_{2i}+\cdots +X_{ki}}$ sono le ${\displaystyle i}$-esime osservazioni di ciascuno dei ${\displaystyle k}$ regressori;
• ${\displaystyle \beta _{0}+\beta _{1}x_{1i}+\beta _{2}x_{2i}\cdots +\beta _{k}x_{ki}}$ è l'iperpiano di regressione;
• ${\displaystyle \beta _{0}}$ è il valore atteso di ${\displaystyle Y}$ quando tutte le ${\displaystyle X}$ sono uguali a zero (cioè è l'intercetta);
• ${\displaystyle \beta _{1}}$ è il coefficiente angolare di ${\displaystyle X_{1}}$, ${\displaystyle \beta _{2}}$ è il coefficiente angolare di ${\displaystyle X_{2}}$, (tenendo costanti gli ${\displaystyle X_{k}}$ non presi in considerazione), ecc.
• ${\displaystyle \varepsilon _{i}}$ è l'errore statistico.

Possiede delle peculiari assunzioni OLS.

Raggruppando le osservazioni delle variabili esplicative in una matrice ${\displaystyle X}$ di dimensioni ${\displaystyle N\times (k+1)}$, che si ipotizza avere rango pieno e uguale a ${\displaystyle k+1}$ (il termine costante, o intercetta, corrisponde ad avere una colonna di ${\displaystyle 1}$ nella ${\displaystyle X}$), è possibile scrivere, in notazione matriciale:

${\displaystyle y=X\beta +\varepsilon .}$

Nella formulazione più elementare, si assume che ${\displaystyle \varepsilon \sim N(0,\sigma ^{2}I)}$, ossia: ${\displaystyle \mathbb {E} [\varepsilon _{i}]=0,\ \forall i}$ ${\displaystyle \mathbb {E} [\varepsilon _{i}^{2}]=\sigma ^{2},\ \forall i,}$ (omoschedasticità), ${\displaystyle \mathbb {E} [\varepsilon _{i}\varepsilon _{j}]=0,\ \forall j\neq i}$ (assenza di correlazione nei disturbi). Si ipotizza inoltre che:

${\displaystyle \mathbb {E} [X'\varepsilon ]=0,}$

ossia che non vi sia correlazione tra i regressori e i disturbi casuali — quest'ipotesi riveste un'importanza cruciale, in quanto rende possibile considerare i regressori compresi nella matrice ${\displaystyle X}$ come variabili esogene (da cui il nome con cui l'ipotesi è spesso indicata: ipotesi di esogeneità). Quest'ultima proprietà è tutt'altro che banale, in quanto soltanto laddove essa è valida è possibile garantire che il vettore di stime dei parametri del modello, ${\displaystyle {\hat {\beta }}}$, abbia per valore atteso il vero valore dei parametri ${\displaystyle \beta }$ (godendo così della proprietà di correttezza; si veda oltre).

Sotto tali ipotesi, è possibile ottenere le stime del vettore di parametri ${\displaystyle \beta }$ tramite il metodo dei minimi quadrati risolvendo il problema di minimo:

${\displaystyle \min _{\hat {\beta }}(y-X{\hat {\beta }})'(y-X{\hat {\beta }}).}$

Le condizioni del primo ordine per un minimo definiscono il sistema (detto delle equazioni normali):

${\displaystyle -2X'y+2X'X{\hat {\beta }}=0,}$

da cui:

${\displaystyle {\hat {\beta }}=(X'X)^{-1}X'y.}$

Per le proprietà della forma quadratica minimizzanda, si è certi che la soluzione trovata corrisponde a un minimo, non solo locale ma globale.

Il vettore di stime OLS ${\displaystyle {\hat {\beta }}}$ consente di ottenere i valori previsti ("teorici") per la variabile dipendente:

${\displaystyle {\hat {y}}=X{\hat {\beta }}=X(X'X)^{-1}X'y.}$

Formalmente, l'espressione sopra corrisponde alla proiezione ortogonale del vettore delle osservazioni ${\displaystyle y}$ sullo spazio generato dalle colonne della matrice ${\displaystyle X}$; la figura a lato illustra questo risultato.

Per chiarire questo punto, sia ${\displaystyle {\hat {y}}}$ la proiezione di ${\displaystyle y}$ sullo spazio generato dalle colonne matrice ${\displaystyle X}$:

${\displaystyle [X]=\left\{z\in \mathbb {R} ^{N}|z=Xv,\ v\in \mathbb {R} ^{k}\right\}.}$

Ciò significa che esisterà un vettore di pesi ${\displaystyle \gamma }$ tale per cui è possibile ottenere ${\displaystyle {\hat {y}}}$ come ${\displaystyle {\hat {y}}=X\gamma }$, ossia come combinazione lineare delle colonne di ${\displaystyle X}$. A sua volta ${\displaystyle y}$ sarà uguale a ${\displaystyle {\hat {y}}}$ più una componente ${\displaystyle u}$ ortogonale allo spazio generato da ${\displaystyle X}$:

${\displaystyle y=X\gamma +u,\quad X'u=0.}$

Dunque ${\displaystyle {\hat {y}}=X\gamma =y-u}$; premoltiplicando per ${\displaystyle X'}$ si ha: ${\displaystyle X'X\gamma =X'y-X'u=X'y}$; così che:

${\displaystyle \gamma =(X'X)^{-1}X'y,}$

ossia l'espressione per il vettore di stime OLS ${\displaystyle {\hat {\beta }}}$ derivata in precedenza. Questa intuizione geometrica è formalizzata nel teorema di Frisch-Waugh-Lovell.

Gli stimatori ${\displaystyle {\hat {\beta }}}$ degli OLS godono di una serie di interessanti proprietà algebriche; tali proprietà dipendono dal metodo dei minimi quadrati adottato, e non dal particolare modello oggetto di stima.

• Laddove la matrice ${\displaystyle X}$ dei regressori include il termine costante (una colonna di soli ${\displaystyle 1}$, che si denota col vettore ${\displaystyle \mathbf {1} }$), la prima riga del sistema delle equazioni normali, scritto in forma matriciale, è data da ${\displaystyle \mathbf {1} 'X{\hat {\beta }}=\mathbf {1} 'y}$. Dividendo ambo i membri per il numero delle osservazioni ${\displaystyle N}$, si ha:

${\displaystyle {\bar {X}}{\hat {\beta }}={\bar {y}},}$

così che l'iperpiano che interpola le ${\displaystyle y_{i}}$ passa per il loro punto medio e i punti medi di tutte le colonne della ${\displaystyle X}$.

• Da quanto sopra risulta inoltre che il punto medio delle ${\displaystyle y_{i}}$ osservate è uguale a quello dei valori previsti dal modello: ${\displaystyle {\bar {y}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i}={\frac {1}{N}}\sum _{i=1}^{N}{\hat {y}}_{i}}$; ciò si ottiene banalmente osservando che ${\displaystyle \mathbf {1} '{\hat {y}}=\mathbf {1} 'X{\hat {\beta }}}$.
• Per definizione del vettore dei residui ${\displaystyle {\hat {\varepsilon }}=y-{\hat {y}},}$ si ha:

${\displaystyle \mathbf {1} '{\hat {\varepsilon }}=\mathbf {1} 'y-\mathbf {1} '{\hat {y}}=0,}$

così che la somma dei residui è nulla.

• I residui sono ortogonali ai regressori; infatti:

${\displaystyle X'{\hat {\varepsilon }}=X'(y-{\hat {y}})=X'y-X'X{\hat {\beta }}=0,}$

in base al sistema delle equazioni normali. Si osservi che questa proprietà può essere immediatamente desunta dall'interpretazione geometrica delle stime OLS, considerando che il vettore dei residui collega il vettore ${\displaystyle y}$ con la sua proiezione ortogonale sullo spazio generato dai regressori, ${\displaystyle {\hat {y}}}$.

• I residui sono inoltre ortogonali al vettore delle previsioni ${\displaystyle {\hat {y}}}$; ciò è immediato se si osserva che il vettore delle previsioni appartiene allo spazio generato dalla matrice dei regressori ${\displaystyle X}$; algebricamente, inoltre: ${\displaystyle {\hat {y}}'{\hat {\varepsilon }}=(X{\hat {\beta }})'{\hat {\varepsilon }}={\hat {\beta }}'X'{\hat {\varepsilon }}=0}$.

Si osservi che le prime tre proprietà valgono solo se la matrice dei regressori include il termine costante, ossia se include un vettore di soli ${\displaystyle 1}$.

L'R², o coefficiente di determinazione, è una misura della bontà dell'adattamento (in inglese fitting) della regressione lineare stimata ai dati osservati.

Al fine di definire l'R², sia ${\displaystyle M_{0}=I-{\frac {1}{N}}\mathbf {1} \mathbf {1} '}$; questa matrice trasforma i vettori in scarti dalla propria media, così che, ad esempio, ${\displaystyle M_{0}y=y-{\bar {y}}\mathbf {1} }$. Si osservi che la matrice ${\displaystyle M_{0}}$ è simmetrica (${\displaystyle M_{0}=M'_{0}}$) e idempotente (${\displaystyle M_{0}M_{0}=M_{0}}$). Dunque la somma degli scarti al quadrato delle ${\displaystyle y_{i}}$ da ${\displaystyle {\bar {y}}}$ è semplicemente: ${\displaystyle y'M_{0}y}$.

L'R² è definito come:

${\displaystyle R^{2}={\frac {{\hat {\beta }}'X'M_{0}X{\hat {\beta }}}{y'M_{0}y}}={\frac {{\hat {y}}'M_{0}{\hat {y}}}{y'M_{0}y}}={\frac {\sum _{i}({\hat {y}}_{i}-{\bar {y}})^{2}}{\sum _{i}(y_{i}-{\bar {y}})^{2}}}.}$

Spesso le quantità al numeratore e al denominatore sono chiamate, rispettivamente, ESS (${\displaystyle {\hat {y}}'M_{0}{\hat {y}}}$, dall'inglese Explained Sum of Squares) e TSS (${\displaystyle y'M_{0}y}$, dall'inglese Total Sum of Squares). Osservando che, per semplice sostituzione:

${\displaystyle y'M_{0}y={\hat {\beta }}'X'M_{0}X{\hat {\beta }}+{\hat {\varepsilon }}'M_{0}{\hat {\varepsilon }}={\hat {\beta }}'X'M_{0}X{\hat {\beta }}+{\hat {\varepsilon }}'{\hat {\varepsilon }},}$

dove l'ultima uguaglianza segue dal fatto che la media dei residui è zero, si ha:

${\displaystyle R^{2}=1-{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{y'M_{0}y}},}$

così che l'R² sarà un numero compreso tra ${\displaystyle 0}$ e ${\displaystyle 1}$ (alcuni pacchetti statistici trasformano tale numero in una percentuale); in analogia con quanto sopra, spesso la quantità ${\displaystyle {\hat {\varepsilon }}'{\hat {\varepsilon }}}$ è indicata con la sigla RSS (dall'inglese Residual Sum of Squares), o SSR (Sum of Squared Residuals, grammaticalmente più preciso, ma forse meno usato).

Euristicamente, l'R² misura la frazione della variabilità delle osservazioni ${\displaystyle y_{i}}$ che siamo in grado di spiegare tramite il modello lineare. Due importanti caveat devono in ogni caso essere tenuti a mente:

• L'R² non misura se effettivamente sussista una relazione (di qualsiasi tipo) tra le ${\displaystyle y_{i}}$ e i regressori, ma soltanto fino a che punto un modello lineare consente di approssimare la realtà dei dati osservati; un modello non lineare, ad esempio, potrebbe meglio rappresentare la relazione tra variabile dipendente e regressori, e presentare un buon potere esplicativo, anche in presenza di un R² prossimo allo zero.

  

  I due grafici illustrano questo problema; in entrambi i casi, la stima di un modello lineare tipo ${\displaystyle y=a+bx}$ porterebbe a un R² molto basso, o addirittura nullo; nel caso del grafico a sinistra, tuttavia, sarebbe arduo escludere che sussista una qualche relazione (probabilmente di tipo quadratico) tra ${\displaystyle y}$ e il regressore ${\displaystyle x}$.
• È possibile dimostrare che aggiungere regressori al modello non può che incrementare il valore assunto dall'R²; ciò non significa che il modello sia migliore, nel senso che meglio catturi i fattori che concorrono a spiegare la variabile dipendente, ma soltanto che il fitting è stato reso artificialmente migliore. Al fine di correggere la misura di bontà del fitting indicata, in maniera da penalizzare un modello caratterizzato da un gran numero di regressori, certi pacchetti statistici riportano un R² corretto, definito come:

${\displaystyle {\bar {R}}^{2}=R^{2}-{\frac {k}{N-k-1}}(1-R^{2}).}$

È evidente che, al crescere del numero di regressori ${\displaystyle k}$, ${\displaystyle {\bar {R}}^{2}}$ in generale decresce, correggendo l'artificiale incremento dell'R². Si può inoltre dimostrare che ${\displaystyle {\bar {R}}^{2}}$ aumenta, aggiungendo un regressore, soltanto se il valore della statistica ${\displaystyle t}$ associata al coefficiente di tale regressore (si veda oltre) è maggiore di ${\displaystyle 1}$, così che il valore dell'R² corretto è legato alla significatività delle variabili aggiuntive.

È opportuno far emergere alcune credenze sbagliate riguardo l'R². Innanzitutto non può mai assumere valori negativi perché è il rapporto di due varianze; tuttavia i software statistici possono produrre un output di una regressione che presenta un R² negativo. Ciò è dovuto al fatto che in questi programmi l'R² si calcola come differenza tra varianza spiegata e quella dei residui. Tuttavia nel caso di mancata specificazione del modello (si "dimenticano" variabili che il data generating process contiene, intercetta compresa), il valore atteso della stima dei residui è in genere diverso da zero, quindi la media dello stimatore di ${\displaystyle Y}$ è diverso dalla media di ${\displaystyle Y}$. Pertanto il calcolo del software risulta errato perché non tiene conto di ciò.

Sotto le ipotesi sopra formulate, il valore atteso dello stimatore ${\displaystyle {\hat {\beta }}}$ è uguale al vettore di parametri ${\displaystyle \beta }$; tale proprietà è detta correttezza; al fine di verificare la correttezza di ${\displaystyle {\hat {\beta }}}$, è sufficiente osservare che:

${\displaystyle \mathbb {E} \left[{\hat {\beta }}\right]=\mathbb {E} \left[(X'X)^{-1}X'(X\beta +\varepsilon )\right]=\beta +\mathbb {E} \left[(X'X)^{-1}X'\varepsilon \right]=\beta .}$

La varianza (in effetti, matrice varianza-covarianza) di ${\displaystyle {\hat {\beta }}}$ si ottiene come:

${\displaystyle \sigma ^{2}\left({\hat {\beta }}\right)=\mathbb {E} ({\hat {\beta }}-\beta )({\hat {\beta }}-\beta )'=(X'X)^{-1}X'\mathbb {E} [\varepsilon \varepsilon ']X(X'X)^{-1}=\sigma ^{2}(X'X)^{-1}.}$

Il teorema di Gauss-Markov stabilisce che tale varianza è minima tra quelle degli stimatori di ${\displaystyle \beta }$ ottenibili come combinazione lineare delle osservazioni ${\displaystyle y}$; in questo senso ${\displaystyle {\hat {\beta }}}$ è uno stimatore efficiente (in effetti si tratta di uno stimatore BLUE, dall'inglese Best Linear Unbiased Estimator, il migliore stimatore corretto lineare).

Poiché ${\displaystyle {\hat {\beta }}=\beta +(X'X)^{-1}X'\varepsilon }$ e le combinazioni lineari di variabili casuali normali indipendenti sono ancora normali, se ne conclude che:

${\displaystyle {\hat {\beta }}\sim N(\beta ,\sigma ^{2}(X'X)^{-1}).}$

Volendo stimare il parametro ${\displaystyle \sigma ^{2}}$, un naturale candidato sarebbe la varianza campionaria:

${\displaystyle {\hat {s}}^{2}={\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N}}.}$

In effetti lo stimatore sopra sarebbe anche lo stimatore di massima verosimiglianza per ${\displaystyle \sigma ^{2}}$. Semplici manipolazioni mostrano tuttavia che tale stimatore non gode della proprietà di correttezza; infatti:

${\displaystyle \mathbb {E} \left[{\hat {s}}^{2}\right]=\mathbb {E} \left[{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N}}\right]={\frac {1}{N}}\mathbb {E} (y-X{\hat {\beta }})'(y-X{\hat {\beta }})=}$

${\displaystyle ={\frac {1}{N}}\mathbb {E} (X\beta +\varepsilon -X\beta -X(X'X)^{-1}X'\varepsilon )'(X\beta +\varepsilon -X\beta -X(X'X)^{-1}X'\varepsilon )={\frac {1}{N}}\mathbb {E} \left[\varepsilon 'M_{X}\varepsilon \right]}$

dove ${\displaystyle M_{X}=I-X(X'X)^{-1}X'}$. Il valore atteso dell'espressione sopra è:

${\displaystyle {\frac {1}{N}}\mathbb {E} \left[\varepsilon 'M_{X}\varepsilon \right]={\frac {1}{N}}\mathbb {E} \left[{\textrm {tr}}(\varepsilon 'M_{X}\varepsilon )\right]={\frac {1}{N}}\mathbb {E} \left[{\textrm {tr}}(M_{X}){\textrm {tr}}(\varepsilon '\varepsilon )\right]={\frac {N-k}{N}}\sigma ^{2},}$

dove ${\displaystyle {\textrm {tr}}(\cdot )}$ denota l'operatore traccia di una matrice. Lo stimatore corretto per il parametro ${\displaystyle \sigma ^{2}}$ è dunque:

${\displaystyle {\hat {\sigma }}^{2}={\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N-k}}.}$

Infatti:

${\displaystyle \mathbb {E} \left[{\hat {\sigma }}^{2}\right]={\frac {N}{N-k}}\mathbb {E} [{\hat {s}}^{2}]=\sigma ^{2}.}$

Si osservi inoltre che, poiché ${\displaystyle \varepsilon \sim N(0,\sigma ^{2}I)}$, ${\displaystyle {\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{\sigma ^{2}}}={\frac {\varepsilon 'M_{X}\varepsilon }{\sigma ^{2}}}}$ ha una distribuzione chi quadro con ${\displaystyle N-k}$ gradi di libertà.

Le tecniche del modello lineare sopra esposte possono trovare diverse applicazioni; con una qualche semplificazione, due sono i principali usi della regressione lineare:

• Calibrazione di un modello, nota nel contesto dell'analisi numerica come interpolazione, ovvero determinare i valori dei parametri di un modello noto sulla base dei dati osservati;
• Test di ipotesi concernenti i parametri di un modello.

Confinando la nostra attenzione al secondo punto, nell'ambito della statistica classica (cioè non bayesiana) condurre un test statistico non può portare ad accettare un'ipotesi nulla, ma al più a non rifiutarla, un po' come dire che lo statistico assolve per mancanza di prove.

Un primo ordine di test concerne i singoli coefficienti del modello; volere stabilire se la j-esima variabile delle ${\displaystyle X}$ abbia o meno potere esplicativo nei confronti della ${\displaystyle y}$ equivale a sottoporre a verifica l'ipotesi nulla che il corrispondente coefficiente ${\displaystyle {\hat {\beta }}_{j}}$ sia nullo. A tal fine si ricorre alla statistica test:

${\displaystyle {\hat {t}}_{j}={\frac {{\hat {\beta }}_{j}}{\sqrt {\Sigma _{jj}}}},}$

dove ${\displaystyle \Sigma =\sigma ^{2}(X'X)^{-1}}$, che sotto l'ipotesi nulla ${\displaystyle {\textrm {H}}_{0}:\beta _{j}=0}$ ha distribuzione t di Student.

Un caso più complesso, e di maggiore interesse, riguarda il test di un insieme di restrizioni lineari sui coefficienti del modello; si consideri al riguardo un'ipotesi nulla nella forma:

${\displaystyle {\textrm {H}}_{0}:R\beta =r,}$

dove ${\displaystyle R}$ è una matrice di rango ${\displaystyle \varrho }$. Ad esempio, volendo testare l'ipotesi che il primo e il terzo coefficiente siano uguali, sarà sufficiente ricorrere la matrice (in questo particolare caso, vettore) ${\displaystyle R=[1,0,-1,0,\cdots ,0]}$, con ${\displaystyle r=0}$, così che l'ipotesi nulla risulti: ${\displaystyle {\textrm {H}}_{0}:\beta _{1}-\beta _{3}=0}$.

Al fine di sottoporre a verifica ipotesi di questo tipo, è sufficiente considerare che, essendo la combinazione lineare di variabili casuali normali ancora normale:

${\displaystyle R{\hat {\beta }}-r\sim N(0,\sigma ^{2}R(X'X)^{-1}R'),}$

sotto l'ipotesi nulla ${\displaystyle {\textrm {H}}_{0}:R\beta =r}$. Ne consegue che:

${\displaystyle {\frac {(R{\hat {\beta }}-r)'[R(X'X)^{-1}R']^{-1}(R{\hat {\beta }}-r)}{\sigma ^{2}}}\sim \chi _{\varrho }^{2},}$

per la nota proprietà per cui la combinazione lineare dei quadrati variabili casuali normali standardizzate ha distribuzione chi quadro, con gradi di libertà pari al rango della matrice ${\displaystyle R(X'X)^{-1}R'}$, ${\displaystyle \varrho }$ (si osservi che in generale ${\displaystyle \varrho \leq k}$, e che ${\displaystyle \varrho }$ sarà solitamente pari al numero di restrizioni imposte sui parametri del modello). Naturalmente in generale il parametro ${\displaystyle \sigma ^{2}}$ è incognito, per cui l'espressione sopra non può essere usata direttamente per fare inferenza statistica. Si ricorda tuttavia che:

${\displaystyle {\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{\sigma ^{2}}}\sim \chi _{N-k}^{2}.}$

Essendo noto che il rapporto tra due variabili casuali aventi distribuzione chi quadro, divise per i rispettivi gradi di libertà, è distribuito come una F di Fisher, è possibile utilizzare la statistica test:

${\displaystyle {\hat {F}}={\frac {(R{\hat {\beta }}-r)'[R(X'X)^{-1}R']^{-1}(R{\hat {\beta }}-r)}{{\hat {\varepsilon }}'{\hat {\varepsilon }}}}{\frac {N-k}{\varrho }}\sim F(\varrho ,N-k),}$

avente sotto l'ipotesi nulla distribuzione F di Fisher con ${\displaystyle \varrho }$ e ${\displaystyle N-k}$ gradi di libertà.

Se due o più colonne della matrice dei regressori ${\displaystyle X}$ sono linearmente dipendenti, non esiste l'inversa ${\displaystyle (X'X)^{-1}}$ per cui il vettore di stime OLS non può essere determinato. Se da un lato è assai improbabile che questa eventualità si verifichi nelle applicazioni pratiche, è comunque possibile che alcune colonne della matrice ${\displaystyle X}$ siano prossime alla dipendenza lineare; in tal caso sarà ancora possibile ottenere un vettore di stime OLS, ma sorgerà il problema della multicollinearità.

Si parla di multicollinearità allorché una o più colonne della matrice dei regressori ${\displaystyle X}$ sono prossime a essere linearmente dipendenti. L'effetto della multicollinearità è che la matrice ${\displaystyle X'X}$ è prossima all'essere singolare. Questo ha due conseguenze di particolare rilievo nelle applicazioni:

1. la significatività statistica dei singoli coefficienti risulta modesta;
2. il fitting della regressione risulta elevato (si osservano elevati valori dell'indice R²).

Il primo punto implica che gli intervalli di confidenza per i valori dei coefficienti saranno relativamente ampi; se tali intervalli includono lo zero, non si può rifiutare l'ipotesi nulla che la variabile corrispondente non abbia alcun effetto sulla variabile dipendente.

Un indicatore di multicollinearità spesso utilizzato nella pratica è il variance inflation factor (fattore di inflazione della varianza), o VIF. Il VIF è calcolato per ciascuna variabile del modello (spesso automaticamente da diversi software statistici), in base all'espressione:

${\displaystyle {\textrm {VIF}}_{i}={\frac {1}{1-R_{i}^{2}}},}$

dove ${\displaystyle R_{i}^{2}}$ è il coefficiente R² di una regressione della colonna ${\displaystyle i}$-esima di ${\displaystyle X}$ su tutti gli altri regressori (incluso il termine costante, se è presente). È possibile dimostrare che la varianza dell'elemento ${\displaystyle i}$-esimo del vettore delle stime OLS ${\displaystyle {\hat {\beta }}}$ è proporzionale al VIF; dunque un VIF elevato comporterà una minore significatività del coefficiente ${\displaystyle {\hat {\beta }}_{i}}$, andando a ridurre il valore della statistica ${\displaystyle t}$ di Student associata. Un ${\displaystyle R_{i}^{2}}$ elevato è indice di dipendenza lineare tra la colonna ${\displaystyle i}$-esima e le restanti colonne della matrice ${\displaystyle X}$, ossia è un indice di multicollinearità. Non esiste, tuttavia, un particolare valore soglia del VIF che determina inequivocabilmente la multicollinearità; sta alla sensibilità del ricercatore valutare, con l'ausilio dell'indicazione del VIF, se sussista o meno multicollinearità, nel qual caso è opportuno rimuovere il regressore ${\displaystyle i}$-esimo (colonna ${\displaystyle i}$-esima della matrice ${\displaystyle X}$ sulla quale si è riscontrata multicollinearità).

Le stime e le statistiche test presentate sopra costituiscono l'obiettivo del ricercatore che effettua un'analisi di regressione lineare. Sebbene le convenzioni nella presentazione dei risultati varino significativamente a seconda dell'ambito scientifico o del tipo di pubblicazione, alcuni standard sono in generale rispettati. I risultati della stima di un modello di regressione lineare potrebbero e dovrebbero riportare:

• il numero delle osservazioni;
• i valori delle stime dei parametri (${\displaystyle {\hat {\beta }}}$ nella notazione sopra adottata);
• i valori delle statistiche test t di Student associati a ciascun parametro, onde valutarne la significatività; tali statistiche sono spesso accompagnate dall'indicazione dell'errore standard associato (${\displaystyle \Sigma _{jj}^{\frac {1}{2}}}$ nella notazione sopra), nonché del p-value, pari a ${\displaystyle 1-\Pr(|{\hat {t}}_{j}|)}$ nella notazione sopra, dove ${\displaystyle \Pr(\cdot )}$ è la funzione di ripartizione della t di Student, che presenta un'indicazione immediata della significatività (e risparmia a chi legge la pena di effettuare un controllo sulle tavole della t di Student); pur variando in funzione del settore scientifico, p-value considerati indice di significatività statistica sono quelli inferiori a 0,10, 0,05, 0,01;
• statistiche atte a valutare la bontà complessiva del modello; queste possono essere a seconda dei casi limitate a misura di bontà del fitting quali R² e R² corretto per i gradi di libertà (v. sopra), ma anche statistiche test quali il test F, ossia la statistica F di Fisher associata all'ipotesi nulla che tutti gli elementi di ${\displaystyle \beta }$, salvo l'intercetta, siano al contempo nulli (quest'ultima statistica test è pari al quadrato della statistica t associata al parametro pendenza nel caso univariato);
• eventuali controparti asintotiche delle statistiche test testé menzionate (nel caso, ad esempio, in cui si abbia motivo di ritenere violata l'ipotesi di normalità dei disturbi);
• ulteriori test statistici concernenti le ipotesi del modello classico di regressione lineare, quali test per l'assenza di autocorrelazione nei residui e/o di eteroschedasticità. In quest'ultimo caso, può essere utile presentare anche delle statistiche t robuste rispetto a tali problemi, e con esse i relativi errori standard e p-value.

Particolare attenzione si deve porre nel ritenere che un modello:

${\displaystyle y=X\beta +\varepsilon }$

implichi che le variabili ricomprese nella matrice ${\displaystyle X}$ "causino" la ${\displaystyle y}$. È importante osservare che l'esistenza di regressione (formalmente definita nei paragrafi precedenti) non implica altro che l'esistenza di un valore atteso condizionato:

${\displaystyle \mathbb {E} [y|X]=X\beta }$

In particolare, non si può in generale affermare che l'espressione sopra significhi che le variabili in ${\displaystyle X}$ causino il comportamento della ${\displaystyle y}$. Come espresso con efficacia da Cochrane (2003), "le regressioni non hanno cause al secondo membro e conseguenze al primo membro." Tuttavia resta vero che uno dei principali task dell'analisi di regressione verte proprio sulle indagini di tipo causale; peraltro in contesti sperimentali "controllati" questa possibilità è tipicamente accettata. Inoltre anche in contesti osservazionali l'interpretazione causale, anche se molto più delicata, non si esclude assolutamente, anzi in certi contesti resta il task più importante. Particolare rilievo in questo contesto è giocato dal problema delle variabili omesse, se siamo portati a ritenere che tale problema non sia rilevante, allora l'interpretazione causale è lecita^[3].

I concetti di validità esterna ed interna forniscono uno schema di riferimento per valutare se uno studio statistico o econometrico sia utile per rispondere ad una domanda specifica di interesse.

L'analisi è esternamente valida se le sue inferenze e conclusioni possono essere generalizzate dalla popolazione e dal contesto studiati ad altre popolazioni e contesti. Deve essere giudicata usando la conoscenza specifica della popolazione e del contesto usato e di quelli oggetto d'interesse.^[1]

Un'ipotesi cruciale del modello classico di regressione lineare è che i regressori siano ortogonali al disturbo stocastico, ossia, formalmente:

${\displaystyle \mathbb {E} [X'\varepsilon ]=\mathbf {0} .}$

Il motivo per cui tale ipotesi — anche nota come ipotesi di esogeneità — è fondamentale è presto illustrato; basta osservare che:

${\displaystyle {\hat {\beta }}=\beta +(X'X)^{-1}X'\varepsilon ,}$

così che:

${\displaystyle \mathbb {E} [{\hat {\beta }}]=\beta \ \iff \ (X'X)^{-1}\mathbb {E} [X'\varepsilon ]=0\ \iff \ \mathbb {E} [X'\varepsilon ]=0.}$

In altri termini: l'ipotesi di esogeneità dei regressori è condizione necessaria per la correttezza dello stimatore ${\displaystyle {\hat {\beta }}}$ del metodo dei minimi quadrati (un'analoga argomentazione può essere data in termini asintotici, passando dalla correttezza alla consistenza dello stimatore).

In tutti i casi in cui si ha motivo di credere che l'ipotesi di esogeneità sia violata — tutti i casi in cui si sospetta endogeneità dei regressori — non si può fare affidamento sui risultati di una regressione condotta col metodo dei minimi quadrati ordinari (la soluzione è di ricorrere a una regressione con variabili strumentali).

È la differenza tra la popolazione studiata e la popolazione d'interesse. Un esempio è quello di effettuare lo stesso test sui topi e sugli uomini senza chiedersi se vi siano delle differenze che inficino l'analisi.

Anche se la popolazione studiata e quella d'interesse fossero uguali, sarebbe opportuno valutarne il contesto. Un esempio è uno studio su una campagna di alcolici su degli studenti universitari e su degli studenti delle classi primarie.

Un'analisi statistica è internamente valida se le inferenze statistiche sugli effetti causali sono validi per la popolazione oggetto di studio.^[1]

La distorsione da variabile omessa nasce quando viene omessa una variabile dalla regressione, che è una determinante di ${\displaystyle Y}$ ed è correlata con uno o più dei regressori.

L'omissione di variabili rilevanti (nel senso precisato in quanto segue) può rendere le stime OLS inconsistenti. Si supponga che il modello "vero" sia:

${\displaystyle y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\varepsilon _{i},\quad \sigma (x_{i1},x_{i2})\neq 0}$

ma si stimi un modello:

${\displaystyle y_{i}=\beta _{1}x_{i1}+{\tilde {\varepsilon }}_{i}}$

che omette la variabile rilevante ${\displaystyle x_{i2}}$ che contribuisce a spiegare la variabile dipendente ${\displaystyle y}$. Si ha allora:

${\displaystyle {\tilde {\varepsilon }}_{i}=y_{i}-\beta _{1}x_{i1}=\beta _{2}x_{i2}+\varepsilon _{i}}$

Poiché ${\displaystyle \sigma (x_{i1},x_{i2})\neq 0}$, nel secondo modello il regressore ${\displaystyle x_{i1}}$ è correlato col disturbo ${\displaystyle {\tilde {\varepsilon }}_{i}}$. Per la precisione:

${\displaystyle \sigma (x_{i1},{\tilde {\varepsilon }}_{i})=\beta _{2}\sigma (x_{i1},x_{i2})\neq 0}$

Risulta così violata una delle ipotesi del modello classico di regressione lineare, e le stime del parametro ${\displaystyle \beta _{1}}$ col metodo dei minimi quadrati ordinari sono inconsistenti.

Si osservi che, qualora la variabile rilevante ${\displaystyle x_{i2}}$ sia ortogonale a ${\displaystyle x_{i1}}$ (e, di conseguenza, ${\displaystyle \sigma (x_{i1},x_{i2})=0}$), il problema scompare (il teorema di Frisch-Waugh-Lovell precisa ed estende quest'ultima considerazione).

• Soluzione: se l'errore è osservabile bisogna includere la variabile omessa nella regressione multipla. Se non è osservabile è possibile:

1. Usare dati in cui la stessa unità è osservata in momenti diversi;

2. Usare la regressione a variabili strumentali;

3. Effettuare un esperimento randomizzato controllato.

Questo errore sorge quando la funzione di regressione che descrive i dati non è corretta. Ad esempio una funzione di regressione di una popolazione non lineare è descritta come lineare.

• Soluzione: cambiare la forma della funzione.

Tipicamente è un errore di misura o confusione, che va a distorcere l'intero data set.

• Soluzione:

1. Ottenere una misura più accurata di ${\displaystyle X}$;

2. Usare la regressione a variabili strumentali.

La distorsione di causalità simultanea si verifica in una regressione di Y su X quando, in aggiunta al legame causale d'interesse da ${\displaystyle X}$ a ${\displaystyle Y}$, c'è un legame causale da ${\displaystyle Y}$ a ${\displaystyle X}$. Questa causalità inversa rende ${\displaystyle X}$ correlato con l'errore statistico nella regressione d'interesse.

• Soluzione:

1. Effettuare un esperimento causalizzato controllato dove il canale di causalità inversa sia controllato;

2. Usare la regressione a variabili strumentali.

Si verifica quando il processo di selezione è legato al valore della variabile dipendente; ciò può introdurre la correlazione tra l'errore statistico ed il regressore, portando così ad una distorsione dello stimatore OLS.

Si supponga di non poter osservare direttamente un regressore, che deve essere stimato (o generato, secondo una diversa terminologia); per concretezza, si consideri un "vero" modello:

${\displaystyle y_{i}=\beta x_{i}+\varepsilon _{i},\quad \sigma (x_{i},\varepsilon _{i})=0}$

e si ipotizzi di disporre soltanto di una stima di ${\displaystyle x_{i}}$:

${\displaystyle {\hat {x}}_{i}=x_{i}+u_{i},\quad \sigma (x_{i},u_{i})=0}$

Se si procede nella stima di:

${\displaystyle y_{i}=\beta {\hat {x}}_{i}+\varepsilon _{i}}$

Si ottiene:

${\displaystyle {\hat {\beta }}_{\mathrm {OLS} }={\frac {\sigma ({\hat {x}}_{i},y_{i})}{\sigma ^{2}({\hat {x}}_{i})}}={\frac {\sigma (x_{i},y_{i})+\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}=}$

${\displaystyle ={\frac {\sigma (y_{i},x_{i})}{\sigma ^{2}(x_{i})}}{\frac {\sigma ^{2}(x_{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}+{\frac {\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}=}$

${\displaystyle =\beta \times A+{\frac {\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}}$

con:

${\displaystyle A={\frac {\sigma ^{2}(x_{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}\leq 1}$.

Supponendo che ${\displaystyle \sigma (u_{i},\varepsilon _{i})=0}$, la stima del parametro ${\displaystyle \beta }$ risulta più vicina a zero di quanto non sia il "vero" valore del parametro (questo effetto è noto con termine inglese come attenuation bias). È immediato osservare che il problema è meno pronunciato laddove la varianza dell'errore nell'osservazione di ${\displaystyle x_{i}}$, ${\displaystyle u_{i}}$ risulta minore della varianza di ${\displaystyle x_{i}}$ stesso — ossia, non sorprendentemente, quando ${\displaystyle x_{i}}$ può essere stimato con relativa precisione.

Si osservi infine che nessun problema si pone nel caso in cui la variabile dipendente — ${\displaystyle y}$ — sia stimata o generata. In tal caso, il termine di errore in essa contenuto sarà semplicemente incorporato nel disturbo della regressione — ${\displaystyle \varepsilon }$, senza ledere la consistenza delle stime OLS.

Le proprietà sopra esposte possono essere generalizzate al caso in cui le ipotesi sulla distribuzione dei termini di errore non siano necessariamente valide per campioni di dimensione finita. In questo caso, si ricorre alle proprietà asintotiche delle stime, supponendo implicitamente che, per campioni di dimensione sufficientemente grande, la distribuzione asintotica delle stime coincida, o approssimi ragionevolmente, quella effettiva. I risultati si fondano sul teorema del limite centrale, o su sue generalizzazioni.

Al fine di illustrare le proprietà asintotiche degli stimatori dei minimi quadrati ordinari, si ipotizzi:

• ${\displaystyle \mathrm {plim} \ {\frac {\varepsilon '\mathbf {1} }{N}}=0,}$
• ${\displaystyle \mathrm {plim} \ {\frac {\varepsilon '\varepsilon }{N}}=\sigma ^{2}I,}$
• ${\displaystyle \mathrm {plim} \ {\frac {X'X}{N}}=Q<\infty ,}$

dove ${\displaystyle \mathrm {plim} }$ denota la convergenza in probabilità e ${\displaystyle I}$ la matrice identità.

L'espressione per lo stimatore dei minimi quadrati ordinari può essere riscritta come:

${\displaystyle {\hat {\beta }}=\beta +\left(X'X\right)^{-1}X'\varepsilon =\beta +\left({\frac {X'X}{N}}\right)^{-1}{\frac {X'\varepsilon }{N}}.}$

Passando al limite per ${\displaystyle N\rightarrow \infty }$, si ha allora:

${\displaystyle \mathrm {plim} \ {\hat {\beta }}=\beta +Q^{-1}\ \mathrm {plim} {\frac {X'\varepsilon }{N}}=\beta }$

(si osservi che il limite in probabilità dell'inversa di ${\displaystyle X'X/N}$ è l'inversa di ${\displaystyle Q}$). Dunque, lo stimatore ${\displaystyle {\hat {\beta }}}$ converge in probabilità al vero valore del vettore di parametri ${\displaystyle \beta }$ – si dice dunque che ${\displaystyle {\hat {\beta }}}$ gode della proprietà di consistenza.

Applicando una banale estensione del teorema del limite centrale al caso multivariato, si ha inoltre:

${\displaystyle {\frac {1}{\sqrt {N}}}X'\varepsilon {\stackrel {d}{\rightarrow }}\ z\sim N(\mathbf {0} ,\sigma ^{2}Q)}$

dove ${\displaystyle {\stackrel {d}{\rightarrow }}}$ denota la convergenza in distribuzione. Da quest'ultimo risultato discende allora che:

${\displaystyle {\sqrt {N}}\left({\hat {\beta }}-\beta \right)=\left({\frac {X'X}{N}}\right)^{-1}{\frac {X'\varepsilon }{\sqrt {N}}}\ {\stackrel {d}{\rightarrow }}\ \xi \sim N\left(\mathbf {0} ,\sigma ^{2}Q^{-1}\right)}$

In altre parole, lo stimatore dei minimi quadrati ordinari è non solo consistente, ma anche asintoticamente normalmente distribuito; l'insieme di queste proprietà si indica con la sigla inglese CAN (Consistent and Asymptotically Normal).

I metodi sopra esposti costituiscono il nucleo del modello classico di regressione lineare; quantunque validi strumenti di analisi per un ampio spettro di discipline e casi di studio, essi prestano il fianco a una serie di critiche, incentrate sulla semplicità delle ipotesi alla base del modello.

Tali critiche hanno portato alla formulazione di modelli più generali, caratterizzati da ipotesi meno restrittive rispetto a quelle poste sopra. L'analisi ha battuto alcune vie principali:

• Rimozione delle ipotesi di assenza di correlazione e omoschedasticità;
• Ipotesi alternative circa la distribuzione di probabilità dei disturbi;
• Analisi delle proprietà asintotiche del modello classico di regressione lineare, ad esempio tramite il delta method.

Ciò ha consentito lo sviluppo di modelli alternativi, o quantomeno complementari, al modello classico; tra i più noti, il metodo dei minimi quadrati generalizzati, metodi di stima tramite variabili strumentali, i vari modelli di regressione robusta, nonché numerosi modelli sviluppati nell'ambito dell'analisi delle serie storiche e dei dati panel.

• A.M. Legendre, (1805), Nouvelles méthodes pour la détermination des orbites des comètes, (l'Appendice contiene una sezione intitolata "Sur la Méthode des Moindres Quarrés" - Sul Metodo dei Minimi Quadrati);
• C.F. Gauss, (1809), Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum;
• C.F. Gauss, (1821/1823), Theoria combinationis observationum erroribus minimis obnoxiae;
• Charles Darwin, (1869), The Variation of Animals and Plants under Domestication (il Capitolo XIII contiene una descrizione di quanto era noto, all'epoca di Galton, sulla reversione; Darwin usa il termine reversione (reversion) in luogo di regressione);
• Francis Galton, (1877), Typical laws of heredity, Nature, 15, 492-495, 512-514, 532-533 (Galton usa il termine reversione (reversion) in questo lavoro, in cui analizza la dimensione dei piselli);
• Francis Galton, (1885), Presidential address, Section H, Anthropology. (Galton usa il termine regressione (regression) in questo lavoro, in cui analizza l'altezza degli esseri umani);
• Francis Galton, (1886), Regression Towards Mediocrity in Hereditary Stature, Journal of the Anthropological Institute, 15:246-263 (Una riproduzione è disponibile presso: [1]);
• George Udny Yule, (1897), On the Theory of Correlation, Journal of the Royal Statistical Society, 812-54;
• Karl Pearson, G. U. Yule, Norman Blanchard and Alice Lee, (1903), The Law of Ancestral Heredity, Biometrika;
• Ronald Fisher, (1922), The goodness of fit of regression formulae, and the distribution of regression coefficients, Journal of the Royal Statistical Society, 85, 597-612;
• Ronald Fisher, (1925), Statistical Methods for Research Workers.

• D.C. Boes, F.A. Graybill, A.M. Mood, (1988), Introduzione alla Statistica, McGraw-Hill Libri Italia, ISBN 88-386-0661-7, il testo di riferimento per i fondamenti della statistica matematica; il Capitolo 10 contiene un'introduzione al modello lineare e tratta la regressione lineare classica nel caso univariato; i Capitoli 3, 5, 7-8 trattano le famiglie di distribuzioni sopra menzionate, problemi relativi a funzioni di variabili casuali, nonché la teoria generale classica della stima per punti e per intervalli di confidenza;
• N.R. Draper, H. Smith, (1998), Applied Regression Analysis, Wiley Series in Probability and Statistics, ISBN 0-471-17082-8, illustra i metodi della regressione lineare classica sopra analizzati, e introduce metodi più avanzati di regressione robusta e bootstrap; dedica i Capitoli 20-21 alle proprietà geometriche degli stimatori OLS (in inglese);
• John R. Taylor, (1999), Introduzione all'analisi degli errori, Zanichelli editore, ISBN 88-08-17656-8, illustra in modo chiaro ed intuitivo i fondamenti della statistica, introducendo il metodo della regressione lineare, le principali famiglie di distribuzioni, la teoria generale classica della stima per punti e per intervalli di confidenza, presentando anche diversi esempi concreti.

Nell'ambito dell'econometria (manuali, si veda anche l'articolo econometria):

• Davidson, J. (2000), Econometric Theory, Blackwell, ISBN 0-631-21584-0, un testo avanzato, di livello master/dottorato; contiene un'analisi approfondita degli aspetti geometrici e statistici del modello di regressione lineare classico, delle sue proprietà statistiche asintotiche, nonché una diffusa trattazione di tecniche più avanzate, relative all'analisi delle serie storiche (in inglese);
• Greene, W.H. (2000), Econometric Analysis, Prentice-Hall, ISBN 0-13-013297-7, analizza nel dettaglio il modello classico di regressione lineare nel caso multivariato, con particolare riferimento alle sue applicazioni nell'ambito dell'econometria, disciplina per cui rappresenta il testo di livello universitario/master di riferimento (in inglese);
• Lancaster, T. (2004), An introduction to Modern Bayesian Econometrics, Blackwell, ISBN 1-4051-1720-6, contiene un'analisi (introduttiva) del modello di regressione lineare nella prospettiva dell'inferenza bayesiana, principale concorrente dell'approccio classico, o frequentista, nell'econometria (in inglese).

Nell'ambito della finanza:

• Campbell, J., A.W. Lo e A.C. MacKinlay, (1996), The Econometrics of Financial Markets, Princeton University Press, ISBN 978-0-691-04301-2, un testo di riferimento per applicazioni dell'analisi statistica, e in particolare di regressione, allo studio dei mercati finanziari (in inglese);
• Cochrane, J. (2003), Asset Pricing — Revised Edition, Princeton University Press ISBN 0-691-12137-0, un testo introduttivo sulla teoria dell'asset pricing, con numerosi capitoli dedicati alle applicazioni del modello di regressione lineare ai test empirici dei modelli di asset pricing.

Nell'ambito della fisica:

• Loreti, M. (1998), Teoria degli errori e fondamenti di statistica, Decibel Zanichelli, ISBN 88-08-09785-4, ottima introduzione alla statistica in fisica, scaricabile anche (legalmente) dal sito dell'autore, [2]

Nell'ambito della Ricerca sociale:

• Pisati M., Corbetta P. e Gasperoni G., (2001), Statistica per la ricerca sociale, Il Mulino.

Nell'ambito della linguistica, in particolare della psicolinguistica:

• Baayen, R. H., (2006), Analyzing Linguistic Data. A Practical Introduction to Statistics Using R, Cambridge University Press. (scaricabile anche dal sito dell'autore, [3])

• Correlazione (statistica)
• Correlazione spuria
• Econometria
• Metodo dei minimi quadrati
• Metodo della stima tramite variabili strumentali
• Metodo dei minimi quadrati a due stadi
• Regressione con i minimi quadrati generalizzati
• Regressione nonlineare
• Teorema di Frisch-Waugh-Lovell
• Teorema di Gauss-Markov
• Statistica di Durbin-Watson, una statistica test utilizzata per rilevare la presenza di autocorrelazione dei residui in un'analisi di regressione

• Wikimedia Commons contiene immagini o altri file sulla regressione lineare

• Regressione lineare, in Enciclopedia della Matematica, Istituto dell'Enciclopedia Italiana, 2013.
• (EN) Opere riguardanti Lineare Regression / Linear regression, su Open Library, Internet Archive.
• (EN) Eric W. Weisstein, Linear Regression, su MathWorld, Wolfram Research.
• (EN) Linear regression, su Encyclopaedia of Mathematics, Springer e European Mathematical Society.

V · D · M Statistica
Teoria statistica	Statistica descrittiva Media (aritmetica · geometrica · armonica · di potenza · aritmetico-geometrica · integrale) · Mediana · Moda · Intervallo di variazione · Varianza · Deviazione standard · Scarto medio assoluto · Simmetria · Differenza media (assoluta · logaritmica) · Curtosi Inferenza statistica Test di verifica d'ipotesi · Significatività · Ipotesi nulla/alternativa · Errore del I e del II tipo · Test Q · Test U · Test t · Test Z · Massima verosimiglianza · Standardizzazione · Valore p · Analisi della varianza Analisi di sopravvivenza Tasso di guasto · Stimatore di Kaplan-Meier · Test dei ranghi logaritmici Analisi della regressione Regressione lineare · Regressione nonlineare · Variabili strumentali · Metodo generalizzato dei momenti · Regressione logistica · Modello probit · Modello logit
Statistica economica	Istituti statistici ISTAT · EuroSTAT · Royal Statistical Society · U.S. Census Bureau · ISI · INSEE Siti web statistici Our World in Data · Statista · Bloomberg Terminal · Google Public Data Explorer · World Inequality Database · TradingEconomics · ACLED Software econometrici gretl · EViews

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Regole di associazione · Apprendimento non supervisionato · Apprendimento supervisionato · Apprendimento per rinforzo · Apprendimento profondo
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random fields CRF · Modello di Markov nascosto · K-nearest neighbors · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modelli grafici · Macchine a vettori di supporto
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Selezione delle caratteristiche · Estrazione di caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Rete neurale a base radiale · Rete bayesiana · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · Torch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico

Controllo di autorità	Thesaurus BNCF 15574 · GND (DE) 4167709-2