Chi quadrato: formula del test ed esempio svolto

Il test del chi quadrato (si scrive χ², e molti lo chiamano chi quadro) lavora su conteggi: quante volte compare ciascuna categoria in un campione. Mette a confronto quei conteggi, le frequenze osservate, con quelli che si dovrebbero vedere se valesse un’ipotesi di partenza, le frequenze attese. Lo pubblicò Karl Pearson nel 1900. Secondo MacTutor, l’archivio di storia della matematica dell’Università di St Andrews, il test era per Pearson un modo per scalzare la distribuzione normale dal posto centrale che occupava.

Lo stesso calcolo risponde a due domande. Il test di indipendenza chiede se due criteri con cui si classificano gli stessi elementi sono legati; il test di bontà di adattamento chiede se un campione si comporta come prevede una certa distribuzione.

Ipotesi nulla e ipotesi alternativa del chi quadrato

Il chi quadrato è uno dei punti in cui probabilità e statistica lavorano insieme: un numero calcolato sui dati viene confrontato con una distribuzione di probabilità per decidere tra due ipotesi. La prima, l’ipotesi nulla H₀, è quella che il calcolo mette alla prova.

Nel test di indipendenza, secondo il manuale di metodi statistici del NIST, l’ipotesi nulla dice che le due classificazioni sono indipendenti. In pratica la probabilità di finire in una casella è il prodotto della probabilità della sua riga per quella della sua colonna, la stessa regola che vale per gli eventi indipendenti nel calcolo della probabilità. L’ipotesi alternativa sostiene che in almeno una casella il prodotto non torna, e quindi che le classificazioni dipendono l’una dall’altra.

Nella bontà di adattamento H₀ afferma che i dati seguono la distribuzione indicata; l’alternativa, che se ne discostano.

La formula del chi quadrato

Per ogni casella si prende la frequenza osservata O e quella attesa E, si calcola il quadrato della differenza e lo si divide per E. La statistica è la somma di tutti questi contributi:

χ² = Σ (O − E)² / E

Nel test di indipendenza le attese si ricavano dai totali della tabella. Per una casella:

E = (totale della riga × totale della colonna) / totale generale

Una statistica grande vuol dire osservati lontani dagli attesi. Il corso di statistica di Yale lo legge così nella bontà di adattamento: è il segno che il modello ipotizzato descrive male i dati. Se l’ipotesi nulla è vera, il valore segue in modo approssimato una distribuzione chi quadrato, che il NIST definisce come la somma dei quadrati di ν variabili normali standard indipendenti, dove ν sono i gradi di libertà.

Esempio svolto: i difetti dei wafer nei tre turni

Il NIST, l’istituto federale statunitense per gli standard, usa un caso di fabbrica. In uno stabilimento si registrano 309 difetti su wafer, classificati per tipo (A, B, C, D) e per turno di produzione (1, 2, 3). La domanda è se la composizione dei difetti cambia da un turno all’altro. Le due classificazioni formano una tabella di contingenza da 3 righe e 4 colonne; tra parentesi le frequenze attese.

Turno	Tipo A	Tipo B	Tipo C	Tipo D	Totale
1	15 (22,51)	21 (20,99)	45 (38,94)	13 (11,56)	94
2	26 (22,99)	31 (21,44)	34 (39,77)	5 (11,81)	96
3	33 (28,50)	17 (26,57)	49 (49,29)	20 (14,63)	119
Totale	74	69	128	38	309

Esempio pratico: per la casella «turno 1, tipo A» il totale di riga è 94, quello di colonna 74 e il totale generale 309. L’attesa è 94 × 74 / 309 = 22,51. I difetti osservati sono 15, quindi il contributo di questa casella alla somma è (15 − 22,51)² / 22,51.

Si ripete il conto per le dodici caselle e si somma: il NIST ottiene χ² = 19,18. La tabella ha (3 − 1)(4 − 1) = 6 gradi di libertà, e con un livello di significatività di 0,05 il valore critico per 6 gradi è 12,5916. Il 19,18 lo supera, per cui l’ipotesi di indipendenza si rifiuta: per il NIST i dati danno prove significative che la quota di ciascun tipo di difetto varia con il turno. Il p-value dell’esempio è 0,00387.

Gradi di libertà nel test del chi quadrato

I gradi di libertà contano quante caselle restano libere di variare una volta fissati i totali. Nella bontà di adattamento con k categorie sono k − 1: il corso di Yale fa notare che l’ultimo conteggio è obbligato, perché la somma deve tornare col totale. Se dai dati si stimano d parametri, se ne toglie uno per ciascuno e si arriva a k − 1 − d.

Il NIST scrive la stessa regola come k − c, con k il numero di classi non vuote e c il numero dei parametri stimati più uno. Nel suo esempio sulla normalità i parametri stimati sono due, quindi c vale 3.

Per la tabella di contingenza la formula (r − 1)(c − 1), dove stavolta c indica le colonne, discende dalla stessa logica. Le caselle sono r·c e, tolto il vincolo del totale, ne restano libere rc − 1; da queste si sottraggono i (r − 1) + (c − 1) parametri stimati per i totali di riga e di colonna. Il conto lascia proprio (r − 1)(c − 1).

Test di bontà di adattamento: l’esempio dei semi di pisello

In genetica il chi quadrato di bontà di adattamento serve a controllare se dei conteggi rispettano un rapporto atteso. Il corso di genetica di Phillip McClean alla North Dakota State University prende dei semi di pisello per cui il rapporto previsto è 9:3:3:1, e ne conta 556.

Classe di semi	Osservati	Attesi
Lisci e gialli (9/16)	315	312,75
Lisci e verdi (3/16)	108	104,25
Rugosi e gialli (3/16)	101	104,25
Rugosi e verdi (1/16)	32	34,75
Totale	556	556

Le attese sono le frazioni del rapporto applicate al totale: 9/16 di 556 fa 312,75. Con 4 classi i gradi di libertà sono 3 e la statistica vale 0,47. Nella tavola, a 3 gradi di libertà, il valore critico per 0,05 è 7,82 (7,815 in quella del NIST), e a 0,47 corrisponde una probabilità superiore a 0,90. La pagina conclude che i dati sono compatibili con il rapporto 9:3:3:1.

Il NIST aggiunge un paio di avvertenze per questo uso. Il test lavora su dati raggruppati in classi, e se i dati arrivano sciolti bisogna prima costruire le tabelle di frequenze delle variabili categoriche; il valore della statistica cambia poi a seconda di come le classi vengono scelte. Si applica anche a distribuzioni discrete come la binomiale e la Poisson.

Test di indipendenza e bontà di adattamento a confronto

	Test di indipendenza	Bontà di adattamento
Domanda	Due classificazioni sono legate?	I dati seguono la distribuzione prevista?
Dati	Tabella di contingenza, r righe e c colonne	Una classificazione in k classi
Ipotesi nulla	Le classificazioni sono indipendenti	I dati seguono la distribuzione indicata
Frequenze attese	Totale di riga × totale di colonna / totale	Probabilità prevista × totale
Gradi di libertà	(r − 1)(c − 1)	k − 1, meno i parametri stimati
Esempio	Difetti dei wafer per turno (NIST)	Semi di pisello, rapporto 9:3:3:1

Come si legge il risultato del test

Il test del chi quadrato di Pearson guarda una coda sola, quella superiore: si cerca nella tavola la colonna corrispondente a 1 − α e si rifiuta l’ipotesi nulla se la statistica supera il valore riportato. Alcune soglie della tavola del NIST:

Gradi di libertà	α = 0,05	α = 0,01
1	3,841	6,635
2	5,991	9,210
3	7,815	11,345

La pagina di McClean presenta 0,05 come soglia convenzionale.

Un risultato significativo dice che un’associazione c’è. Bewick, Cheek e Ball, autori di una rassegna sui test di associazione uscita su Critical Care nel 2004, avvertono però che il test da solo non dice quanto sia forte. Per vedere quali caselle pesano di più si guardano i residui standardizzati, costruiti sulla differenza tra osservato e atteso: quelli che in valore assoluto superano 2 sono significativi.

Esempio pratico: nella rassegna di Bewick e colleghi 1706 pazienti con catetere venoso centrale sono classificati per sede del catetere e per esito, tre categorie ciascuno. L’attesa della casella «giugulare interna, nessuna complicanza» è 1305 × 934 / 1706 = 714,5. Sommando i nove contributi si arriva a 51,26; con 4 gradi di libertà il valore critico per P = 0,001 è 18,47, quindi P < 0,001. Gli autori scrivono che il risultato suggerisce un’associazione tra sede del catetere e complicanza infettiva.

Quando il chi quadrato non va bene

La distribuzione chi quadrato è un’approssimazione, e regge solo quando le frequenze attese sono abbastanza grandi. Per il NIST serve un campione abbastanza grande perché l’approssimazione sia valida. Bewick e colleghi danno una soglia precisa, la regola che attribuiscono a Cochran, che vuole nessuna casella con attesa sotto 1 e al massimo il 20% delle caselle con attesa sotto 5. Una via d’uscita, per loro, è unire categorie quando ha senso farlo. Nelle tabelle 2×2 con pochi casi le alternative sono la correzione di Yates per la continuità e il test esatto di Fisher. La correzione di Yates aumenta di 0,5 la frequenza più piccola e ritocca le altre in modo che i totali restino invariati.

Esempio pratico: in un trial sul nitrato per endovena nell’infarto, con 95 pazienti, sono morti 3 dei 50 trattati e 8 dei 45 controlli. Il chi quadrato dà 3,209 con 1 grado di libertà, P = 0,073. Sugli stessi dati il test esatto di Fisher dà un P bilaterale di 0,140; con la correzione di Yates la statistica scende a 2,162 e P sale a 0,141.

Su campioni grandi i risultati di chi quadrato, Fisher e Yates quasi si sovrappongono; su quelli piccoli Fisher e Yates danno P più alti, quindi più prudenti. Su quale preferire non c’è pieno accordo, e Bewick e colleghi riportano che Bland raccomanda Fisher o Yates per un approccio più cauto.

Resta il caso dei dati appaiati, come gli stessi pazienti misurati due volte. Il chi quadrato ignora l’appaiamento, e per queste tabelle si usa il test di McNemar.