La inferència i els tests estadístics: com obtenim conclusions a partir de les premisses

Índex

Mètode estadístic

Tota investigació estadística comença sempre amb una pregunta simple, clara i precisa sobre la població —o univers— a investigar: la hipòtesi de treball. Aquesta pregunta s’ha de basar en les dades recollides i en una exacta definició de l’aspecte investigat:

L’àmbit d’aplicació —la població—.
Les variables a mesurar i controlar.

Els resultats obtinguts són únicament d’aplicació sobre la població definida i la seva validesa dependrà de l’adequada selecció de les variables investigades. Assumint sempre que, a la pràctica, no serà mai possible l’estudi de tota la població en el seu conjunt.

A partir de la investigació estadística s’obté una variable resposta—el resultat de l’estudi— i/o un conjunt de variables explicatives — que expliquen o avalen el resultat de l’estudi— i es construeix un model simplificat de la realitat.

Aquest model pot ser:

univariant, si implica una única variable, o multivariant, si n’explica més d’una —molt més complex—
explicatiu, si implica més d’una variable explicativa —basat principalment en el disseny experimental i la fixació de les variables—
transversal, si s’estudia la variable en un període temporal donat;
longitudinal, si s’estudia la seva evolució en el temps;
extrapolatiu, si utilitza únicament la informació històrica d’un seguit de dades extretes a partir d’un mostreig correcte de la població.

Tanmateix, un model és sempre una aproximació simple de la realitat.

Sovint hi ha variables no observables que afecten aleatòriament al resultat obtingut. El model ha de ser sempre sota una contínua crítica, revisió i anàlisi de la mostra poblacional obtinguda.

El mètode estadístic intervé —dins un cicle continu— en cadascuna de les fases de la metodologia científica emprada:

Observació. Amb la teoria de mostres.
Abstracció d’elements essencials que ens indueixen a establir hipòtesis o teories. Amb l’estadística descriptiva.
Establiment d’hipòtesis o teories, amb capacitat predictiva. Amb la teoria de l’estimació.
Verificació de les prediccions establertes. Amb els mètodes de contrast d’hipòtesis i establiment de noves hipòtesis —si és el cas— a partir de noves observacions.

Els mètodes d’inferència estadística —en anglès statistical inference— ens permeten extreure conclusions generalitzables a la població en el seu conjunt a partir d’una mostra aleatòria prou significativa. S’entén com a mostra aleatòria que totes les mostres de mida n de la població tenen la mateixa probabilitat de ser elegides.

S’ha d’anar, però, molt en compte al interpretar els resultats d’un tractament estadístic informatitzat. Les dades no es poden prendre com a certes de manera automàtica. Han de ser criticades, interpretades i analitzades a consciència segons totes les alternatives possibles. Valorar-ne qualsevol error de mètode o d’origen o de nombre incorrecte de dades. No s’ha de perdre mai el contacte amb la realitat.

No s’ha de ser un fonamentalista dels resultats estadístics. És molt delicat establir relacions de causalitat basant-se únicament en els resultats d’un test estadístic. Una conclusió científica no ha de ser mai precipitada. Ha de venir de la repetició del cicle anterior —observació → abstracció → establiment d’hipòtesis → verificació → ···— per part de diferents equips investigadors que reforcin les conclusions empíriques i la hipòtesi consensuada.

Citant a Karl Popper (1902-1944), “mai es pot demostrar del cert una hipòtesi, la única solució és refutar-ne la hipòtesi contrària”. Segons Popper, el coneixement científic únicament avança al descartar les hipòtesis que contradiuen l'experiència. El que Popper anomena falsabilitat ["La lògica de la investigació científica", 1934].

Malgrat això, cal establir —per tal de que la ciència avanci— determinats coneixements científics com a certs i demostrats. En cas contrari —si es portés a l’extrem el pensament de Popper— la ciència no podria progressar.

Dissenys bàsics de la investigació empírica

La investigació empírica es pot subdividir —segons la seva finalitat— en tres tipus bàsics:

La investigació descriptiva. S’encarrega de la caracterització d’una determinada població. Si forma part d’un estudi d’abast explicatiu, és la fase en que es descriu el procés d’estudi. Resumeix la situació i en ressalta els trets essencials per tal de poder establir hipòtesis que puguin explicar el mecanisme causal desconegut d’un determinat fenomen. Un cas prototípic en epidemiologia és l’estudi de tall o transversal d’una determinada mostra poblacional.
La investigació explicativa. Valora les hipòtesis que expliquen els determinants d’un determinat esdeveniment o fenomen. És la fase posterior a l’experimental. Intenta explicar i identificar les relacions causals del fenomen. També es pot anomenar fase analítica. Dirigida a identificar les possible causes dels esdeveniments. En epidemiologia, aquests tipus d’estudi són sovint observacionals i prenen dues modalitats: estudis de cohorts i estudis de casos i controls.
La investigació predictiva. Es plantegen models capaços de fer prediccions en funció de l’estat del sistema estudiat en un moment donat.

Estudi de casos i controls

Els estudis de casos i controls parteixen de la base de que el desenllaç del procés estudiat o bé ja s’ha manifestat —els casos— o bé el procés a succeït sense el desenllaç esperat —els controls—.

Es comparen casos i controls respecte la característica —el factor de risc $(FR)$— prevalent quan tots els individus no havien manifestat el procés —per exemple, eren sans—.

La finalitat és establir —al llarg del temps— una possible relació de causa-efecte. Sense saber inicialment si els individus de la mostra han estat o no exposats al factor de risc.

Característiques:

No és possible utilitzar el risc relatiu $(RR)$. Només és útil l’odds-ratio $(OR)$. Donat que és l’investigador qui estableix la prevalença dins l’estudi.
És adequat per malalties molt poc freqüents —on $OR \approx RR$—.
En malalties freqüents $OR \neq RR$.

Estudi de cohorts

L’estudi de cohorts comporta el registre de l’ocurrència d’un cert desenllaç —com emmalaltir— dins una o més cohorts. Per cohort s’entén qualsevol grup d’individus que sigui seguit o observat al llarg del temps.

L’estudi de cohorts finalitza generalment amb la comparació de les taxes —o proporcions— d’individus que manifestin el desenllaç dins els diferents grups de la cohort.

Característiques:

És adequat tant la $OR$ com el $RR$.
Poden ser:

Prospectius. L’investigador intervé abans del desenllaç esperat —per exemple, la malaltia—.
Retrospectius. L’investigador intervé posteriorment al desenllaç.

Certesa estadística i intervals de confiança

Quan s’estudia una determinada característica mostral, la seva estimació varia d’una mostra a altra i no representarà —probablement— el seu valor exacte poblacional.

La mitjana mostral $\bar x$ serà sempre una estimació de la mitjana $\mu$ de la població de la qual provingui la mostra. A més del valor estimat, sovint s’indica també un interval de confiança del resultat. Amb un grau determinat $\alpha$ de certesa —el nivell de significació—.

Per exemple, si $\alpha \leq 0.05$ —és $ \leq 5$ %— s’interpretarà el resultat com a cert en el 95 % dels casos i fals en el 5 %. En aquest cas, direm que la seva certesa estadística $(S)$ és del 95 % —o de 0.05—.

Observis que sempre $S + \alpha = 1$ —o bé $S + \alpha = 100$ %—.

Tanmateix, de cada $n$ vegades que s’arribi a la conclusió de que el paràmetre és dins l’interval de confiança —amb probabilitat $\alpha$— serem en un error en un $(\alpha \cdot n)$ dels casos.

Quan es calcula la desviació estàndard $(\sigma)$ d’una població normalment distribuïda —a partir de molts valors mostrals $(n_\sigma \geq 1000)$ — es poden establir diferents intervals de confiança per a la mitjana poblacional $\mu$ en funció de $\bar x$ i de $\sigma$.

A la taula següent, s’indica el valor $k$ de l’interval de confiança $\bar{x} \pm \left( k \cdot \frac{\sigma}{\sqrt{n}} \right)$per a $\mu$, la certesa estadística $S$, i el nivell de significació $\alpha_{bilateral}$:

En conclusió. Quan més precisa és una observació —com més gran és $S$— menys segura és la seva estimació —més ample és l’interval de confiança—.

Les conclusions segures són poc precises i les conclusions precises són poc segures.

Excepte en casos no vitals —amb risc de vides humanes— es solen prendre nivells de significació $\alpha$ de 0.05, 0.01, o 0.001.

En els casos vitals es prenen nivells molt més petits encara.

Moltes de les decisions segueixen la filosofia minimax —descrita per Abraham Wald i John Von Neumann—. Basada en un algorisme recursiu, elaborat per John von Neumann (1928). Emprat en teoria de jocs. Selecciona la millor opció per a tu mateix, suposant que el teu adversari farà el millor per a ell —i, per tant, el pitjor per a tu—.

S’ha de preferir sempre la decisió que fa mínima la màxima pèrdua esperada en el cas més desfavorable.

A la pràctica es segueix un entremig raonable entre el pessimista extrem —que mai decidiria res per por a la pèrdua— i l’optimista extrem —que no considera mai el risc de la pèrdua—.

El test, o contrast, estadístic

Un principi general de la investigació científica és el d’escollir sempre la hipòtesi més simple capaç d’explicar la realitat observada. Una hipòtesi simple és sempre més fàcil d’avaluar.

En un contrast estadístic, normalment, es consideren dues hipòtesis —seguint la terminologia introduïda per Fisher en la seva famosa exposició "The Lady tasting tea" (1935)—:

$H_0$ o hipòtesi nul·la] $\left[ \theta \in \Theta_0 \right]$. La hipòtesi a contrastar.
Inclou sempre un dels operadors matemàtics: $=, \geq, \leq$. Quan l’operador és $=$, el contrast és bilateral. En qualsevol altre cas el contrast és unilateral.
La hipòtesi pot ser o no rebutjada. És neutra, i es manté fins que les dades la falsegin. Per exemple, no es pot demostrar que els elements de dues poblacions molt grans són tots idèntics —pot ser impossible comparar-los tots— però si que es pot demostrar que no ho són només que es trobi un cas de diferent.
$H_1$ o hipòtesi alternativa$\left[ \theta \in \Theta_0 \right]$. La hipòtesi a verificar.
Inclou sempre un dels operadors matemàtics: $\neq, <, >$, en correspondència amb l’operador present a la hipòtesi nul·la.
Pot ser acceptada —en el cas de ser rebutjada la hipòtesi nul·la—.

Un contrast o test d’hipòtesis és una criteri de decisió pel qual s’opta per una o altra hipòtesi. Segons la informació extreta de la mostra poblacional.

Formalment, consisteix en una partició de l’espai mostral $\mathcal{X}$ en dos subconjunts disjunts, $\mathcal{C}$ —la regió crítica o de rebuig— i $\mathcal{C}^*$ —la regió d’acceptació—. Si la mostra $\mathcal{X} \in \mathcal{C}^*$ s’acceptarà la hipòtesi nul·la. Es rebutjarà —en el cas contrari— acceptant-se la hipòtesi alternativa. Sempre seguint una evidència raonable, mai absoluta.

Esquemàticament, la metodologia utilitzada és:

Identificar clarament el paràmetre a estudiar: $\mu, \sigma, \sigma^2, p, \cdots$
Estimar el paràmetre seleccionat, sobre una mostra de mida adequada.
Especificar clarament les hipòtesis: $H_0$ i $H_1$.
Fixar el nivell $\alpha$ de significació .
Aleshores es poden donar dues situacions:

Es realitza la prova estadística oportuna —el contrast d’hipòtesis— que ens retorna el $p$-value.

Si el $p$-value $ \leq \alpha$ es rebutja la hipòtesi nul·la $(H_0)$. S’accepta la hipòtesi alternativa $(H_1)$.
Si el $p$-value $> \alpha$ no es pot rebutjar $H_0$. Però en cap cas es dona com a provada.

Es calcula el valor d’un estadístic —diferent per a cada tipus de contrast—.

Es determinen les regions d’acceptació $\mathcal{C}^*$ i de rebuig $\mathcal{C}$.
Si l’estadístic cau dins la regió d’acceptació $\mathcal{C}^*$, no es pot rebutjar $H_0$.

Finalment cal fer una bona interpretació dels resultats obtinguts.

Totes les proves empíriques són intents de refutació d’hipòtesis, mai de confirmació. S’assumeix sempre la certesa de la hipòtesi nul·la fins que no es demostra el contrari amb un marge d’error raonable.

Com més convençuts estem de que $H_0$ és certa, més evidència caldrà per a rebutjar-la. En tot cas —aquesta evidència— s’ha de fixar sempre abans d’obtenir la mostra. El mètode estadístic estableix un nivell de significació. Planteja una hipòtesi nul·la i aquesta és rebutjada quan el resultat d’un determinat test estadístic mostra que la hipòtesi és prou improbable.

Es planteja la comparació de dos estadístics entre sí, o entre un estadístic i un valor poblacional determinat.

[Observació: Recordem que un estadístic és una funció de varies variables aleatòries. Per exemple, la mitjana de la mostra. Si l’estadístic és menor que $\alpha$ s’accepta $H_0$.]

La comparació permetrà rebutjar o no la hipòtesi nul·la. Si la hipòtesi nul·la no és rebutjada, es continua treballant sota el seu supòsit. Aleshores, cada nova mostra de la població és analitzada i pot ser causa d’una nova decisió.

La metodologia es basa en els treballs de R.A. Fisher, J. Neyman i E.S. Pearson entre 1920 i 1933.

La major part dels tests estadístics són òptims. Molts exigeixen independència de les observacions —mostreig aleatori— i gairebé tots utilitzen un estadístic —la funció que assigna un valor a cada nova mostra—. En funció d’aquest valor s’accepta o es rebutja la hipòtesi nul·la.

Tanmateix,

si es rebutja la hipòtesis nul·la, convé indicar sempre: a) quina és la millor estimació del paràmetre contrastat; b) si la diferència és o no important —en funció de la precisió dels instruments de mesura utilitzats i de la naturalesa del problema en qüestió— c) la presència de factors no controlats;
si s’accepta la hipòtesis nul·la, s’ha de ponderar si a priori és poc probable i la mostra és prou gran, o la població heterogènia. Quan hi ha una informació prèvia forta sobre la hipòtesi nul·la, convé aplicar un enfocament bayesià —la probabilitat condicionada— i el sentit comú.

Suposem, per exemple, una variable $X$ normalment distribuïda de la que se’n coneix la desviació tipus $\sigma_0$ i la mitjana teòrica poblacional $\mu_0$. S’estima la mitjana poblacional $\mu$ a partir de la mostra $\bar x$ i es plantegen dues hipòtesis:

$H_0:\ \mu = \mu_0$
$H_1:\ \mu \neq \mu_0$

Com a estadístic del test s’utilitza \[\left| \hat{Z} \right| = \frac{\left| \bar{x} - \mu_0 \right|}{\sigma_0} \cdot \sqrt{n} \], amb $n$ igual a la mida de la mostra i $\hat z \sim \mathcal{N}(0,1)$

En aquest cas —fixat un nivell de significació $\alpha$— queda fixat també un valor crític $z$ que determina si s’acompleix o no $H_0$ —en funció de quant s’allunya del valor cero la mitjana de $z$̂—.

Si s’acompleix $H_0$, es tindrà $P(|\hat z| \geq z) = \alpha$.

Observis que la hipòtesi nul·la es manté —en tot cas— per manca de proves en contra —mai perquè sigui certa—.

Exemple 1. Test estadístic.

Suposem: $\mu_0 = 20; \alpha_0 = 4; n = 60; \bar x = 19; \alpha = 0.05$. Amb:

$H_0:\ \mu = \mu_0$

$H_1:\ \mu \neq \mu_0$

$Z = \frac{\left| \bar{x} - \mu_0 \right|}{\sigma_0} \cdot \sqrt{n} = \frac{\left| 19 - 20 \right|}{4} \cdot \sqrt{60} = 1.936491673$

$Z_c = 1.959964$. Amb R: qnorm(0.05/2,0,1,lower.tail=F) $\rightarrow$ 1.959964

$-Z_c = -1.959964$. Amb R: qnorm(0.05/2,0,1,lower.tail=T) $\rightarrow$ -1.959964

Per tant $Z \in (1 - \alpha)$ i es manté $H_0$ com a possible hipòtesi de treball.

Observis que només augmentant la mida de la mostra a $n = 62$, s’hauria de rebutjar $H_0$: \[Z = \frac{|19-20|}{4} \cdot \sqrt{62} = 1.968501969 \notin (1 - \alpha)\]

En general, augmentant la mida de la mostra a una mida suficientment gran es pot rebutjar qualsevol hipòtesi nul·la.

El $p$-value ens estalvia haver de consultar les taules estadístiques per tal de comparar l’estadístic de contrast. Ens permet prendre una decisió directa sobre $H_0$. S’ha d’anar, però, en compte. El $p$-value és sempre basat en el supòsit de que $H_0$ és certa. Es poden cometre dos tipus d’error —o risc— fonamentals:

Error de tipus I o fals positiu. Es rebutja $H_0$ tot i ser certa —l’equivalent d’acceptar $H_1$ sent falsa—.
Error de tipus II o fals negatiu. S’accepta $H_0$ tot i ser falsa —l’equivalent de rebutjar $H_1$ sent certa—.

[Observació: Recordis la partició de l’espai mostral $\mathcal {X}$ en dos subconjunts disjunts, $\mathcal {C}$ —la regió crítica— i $\mathcal {C}^*$ —la regió d’acceptació—. Per tant hi haurà tants contrastos possibles com particions possibles d’$\mathcal{X}$. La millor regió crítica serà aquella que, amb el mateix nivell de significació, tingui la major potència —vegis, més endavant, el lema de Neyman-Pearson]

Vegem-ho en un quadre esquemàtic, on $\alpha$ és la probabilitat de cometre l’error de tipus I, i $\beta$ la probabilitat de cometre l’error de tipus II.

(I) : Es defineix $\alpha$ = nivell de significació = P(error tipus I) = P(rebutjar $H_0 \mid H_0$ certa).

(II) : Es defineix potencia del test com $1 - \beta$ = P(rebutjar $H_0 \mid H_0$ falsa).

(III) : Es defineix $\gamma$ = nivell de confiança com $1 - \alpha$ = 1 - P(error tipus I) = P(acceptar $H_0 \mid H_0$ certa).

(IV) : Es defineix $\beta$ = P(error tipus II) = P(no rebutjar $H_0 \mid H_0$ falsa).

Conseqüències:

El nivell de significació $\alpha$ ha de ser sempre major que zero. Sempre existirà un risc d’error. $\alpha = 0$ significaria mantenir indefinidament $H_0$. El valor d'$\alpha$ s’ha de fixar abans d’obtenir la mostra.
Si $\alpha = \beta$, la probabilitat dels dos tipus d’error serà la mateixa.
En moltes ocasions només s’assigna valor a $\alpha$, donat que $H_1$ no és ben determinada —en els tests conservatius—.
Donada una mostra $n$, $\beta$ serà tant més petit quan més petit sigui el nivell de significació $\alpha$.
Només si $n$ pot augmentar il·limitadament —en mostres molt grans— podrem elegir $\alpha$ i $β$ arbitràriament petits.
Si la mostra és petita —i $\alpha$ també ho és— el resultat no és fiable.
Es pot fer la probabilitat d’error de tipus I ($\alpha$) tan petita com es vulgui. El que augmenta —en proporció— la probabilitat de l’error de tipus II ($\beta$).
Un contrast d’hipòtesis pot rebutjar $H_0$ però mai no pot provar-la.
Si no es rebutja $H_0$ és perquè les observacions no han aportat cap evidència per a descartar-la, no perquè sigui necessàriament certa.
Al contrari —si es rebutja $H_0$— és perquè se n’està raonablement segur de que $H_0$ és falsa. En aquest cas, s’accepta $H_1$ —amb la P(rebutjar $H_0 \mid H_0$ certa) $\leq \alpha$—.
Per fixar correctament els valors d'$\alpha$ i de $\beta$ s’haurà de tenir en compte quina mena d’error (I o II) tindria conseqüències més greus.Si l’error de pitjors conseqüències fos el de tipus I, s’escolliria $\alpha = 0.01\ \text{o}\ \alpha = 0.001$. Si l’error de pitjors conseqüències fos el de tipus II, s’escolliria $\alpha = 0.05\ \text{o}\ \alpha = 0.10$.<

Per exemple —redundant en la conseqüència 11— en la fabricació d’una vacuna la decisió de rebutjar un lot complert només tindria conseqüències econòmiques. En canvi aplicar el lot defectuós podria tenir conseqüències molt greus. S’elegiria —per tant— $\alpha = 0.1\ \text{i}\ \beta = 0.001$. En general es segueixen dues estratègies bàsiques:

Preferir un risc petit d’error de tipus II —un risc gran d’error de tipus I— pretenent rebutjar $H_0$ —l’estratègia del descobridor—.
Preferir un risc petit d’error de tipus I —un risc gran d’error de tipus II— encara que es mantingui, erròniament, $H_0$ —l’estratègia del crític—.

Fora de l’àmbit científic sol ser més habitual l’estratègia del descobridor.

Sempre ha de ser més important el fet de no tenir dades suficients per a rebutjar $H_0$ que el fet de que possiblement sigui certa. La hipòtesi nul·la es podrà sempre examinar de nou amb noves observacions.

Contrast d’hipòtesis unilaterals i bilaterals

Es diu que un contrast d’hipòtesis és bilateral —de dues cues o no direccional— si la regió crítica és situada a ambdós costats de la distribució. Tenint en compte dos valors de l’estadístic que marca el valor crític: $\pm T_c$.

Per contra, es diu que és unilateral —d’una cua o direccional— si la regió crítica és situada a un costat de la distribució. Tenint en compte només un dels valors de l’estadístic que marca el valor crític: $+T_c$ o $-T_c$.

Suposis que s’està contrastant el valor del paràmetre poblacional $\mu$ amb el valor de la mostra $\mu_0$. Es poden establir tres tipus d’hipòtesis o de contrast:

El valor d'$\alpha$ variarà segons el tipus de contrast escollit. Es dividirà per dos $\frac{\alpha}{2}$ en el cas bilateral. Amb $\alpha = 0.05$, tenim —respectivament, segons la taula— els valors de $T_c$:

qnorm(0.05/2,0,1,lower.tail=FALSE) $\rightarrow$ 1.959964

qnorm(0.05,0,1,lower.tail=TRUE) $\rightarrow$ -1.644854

qnorm(0.05,0,1,lower.tail=FALSE) $\rightarrow$ 1.644854

Potència del test estadístic

Com s’ha vist anteriorment, durant el contrast d’hipòtesis correm el risc d’error de tipus I o II. Amb la potència del test = P(rebutjar $H_0 \mid H_0$ falsa) $ = 1 - \beta$.

El risc de tipus II, la probabilitat $\beta$, —suficientment petita, de mantenir una hipòtesi nul·la falsa— depèn de:

La mida $n$ de la mostra. Contra més gran sigui $n$ més fàcilment es trobaran diferències per a un nivell $\alpha$ de significació donat —risc de tipus I—.
Del valor $\delta$ de la diferència entre l’estat real i l’estat hipotètic.
De la potència del test —poder de resolució o bondat del test—. Aquesta serà tant més gran quan:

més de profit sigui la informació prèvia —freqüències, rangs, etc. —.
s’imposin quantes més restriccions a les distribucions dels valors. Per exemple, exigir normalitat i homogeneïtat de variàncies.

Podem fer-ne les següents observacions:

Si $H_0$ és certa, interessa una potència el més petita possible ($\to 0$).
Si $H_0$ és falsa, interessa una potència el més gran possible ($ \to 1$).
Com més petita és $\beta$, —per a un $\alpha$ donat— amb més precisió es distingeix entre $H_0$ i $H_1$. Si $H_0$ és certa, la màxima potència és $\alpha$. Donat un $\alpha$ molt petit, els resultats únicament són significatius si $n$ és molt gran o hi ha una diferència molt gran amb $\delta$.
Normalment, ens hem de conformar amb nivells de significació $\alpha = 0.05$ i una potència entre el 70 i el 80 %.
Per augmentar la potència del test s’ha d’augmentar la mida $n$ de la mostra. Sempre amb mostres aleatòries d’observacions independents.
Al passar d’un test unilateral a un test bilateral es disminueix la potència del test.
Per a una mateixa mida mostral, el test unilateral té sempre més potència. Com s’observa en el gràfic següent, la potència d’un test depèn de que el test sigui unilateral o bilateral. Al augmentar $\beta$ disminueix l’àrea $(1 - \beta)$ i es redueix el valor crític de l’estadístic $T_s$ del test ($\alpha$). El triangle que conté a $\alpha$ queda disminuït.

El test unilateral s’utilitza per avaluar una nova alternativa i veure si és millor que l’anterior, que ja funciona. Quan s’han de comparar dues alternatives noves —no provades anteriorment— s’utilitza sempre el test bilateral.
En un test bilateral la probabilitat de rebutjar $H_0$ augmenta conforme creix la distància entre $\mu$ i $\mu_0$.
Com més petits siguin $\alpha$ i $n$, més difícil serà que una hipòtesi alternativa certa sigui acceptada. Si $n$ i $\alpha$ són ambdós petits, es disminueix en molt la potència del test.
Els tests no paramètrics tenen un alt risc d’error de tipus II. Són menys potents que els paramètrics. Tanmateix, en mostres petites —$n < 15$—, són els més efectius.
Sempre s’han d’explicitar les condicions que requereix el test.

Lema de Neyman-Pearson

S’estableixen dues hipòtesis: $\left[H_0:\ \theta = \theta_0\right]$ i $\left[H_1:\ \theta = \theta_1\right]$, sobre el paràmetre $\theta$ d’una funció de densitat $f(x;\theta)$.

Es pren una mostra aleatòria simple $X$ —de mida $n$—, amb funció de versemblança $\mathcal{L}(X;\theta)$, particularitzada per a cadascuna de les dues hipòtesis: $\mathcal{L}(X;\theta_0)$ per a $H_0$ i $\mathcal{L}(X;\theta_1)$ per a $H_1$

Es divideix l’espai mostral $X$ en dos subconjunts disjunts: $\mathcal{C}$, la regió crítica, i $\mathcal{C}^*$, la regió d’acceptació.

Aleshores, si $X \in \mathcal{C}$, es verifica $\frac{L(X;\theta_0)}{L(X;\theta_1)} \leq k$, mentre que, si $X \notin \mathcal{C}^*$, $\frac{L(X;\theta_0)}{L(X;\theta_1)} > k$

El contrast que s’obté és l’òptim. El que proporciona la millor regió crítica. Per tant, si el contrast es realitza amb el nivell de significació $\alpha$, la regió crítica $\mathcal{C}$ té major o igual potència que la de qualsevol altra regió de la mateixa mida. Es diu que es tracta d’un contrast uniforme de màxima potència (CUMP).No necessàriament la única regió. Tampoc té perquè ser una potència elevada, però és la major de totes.

No sempre és possible trobar el CUMP —pot no existir—. En aquest cas, es necessiten altres mètodes —com el contrast de màxima versemblança—.

Corba característica d’un test. Funció de bondat

La funció de bondat d’un test és la funció de potència del test. El complement respecte la unitat —la probabilitat de mantenir una hipòtesi nul·la falsa (error de tipus II)— s’anomena funció o corba característica del test, abreviadament CO (Operating Characteristic Curve). De manera que: \[\text{Funció característica = 1 – funció de bondat}\]

En el cas de la verificació bilateral, la funció de bondat té forma de campana invertida i el seu complement —la corba CO— te forma de campana.

La corba CO indica la probabilitat de descobrir diferències al acabar l’experiència.

Un cop fixat un risc de tipus I petit i una mida mostral $n$ també petita, es d’esperar un risc gran de tipus II. La hipòtesi nul·la s’ha de prendre amb moltes precaucions.

La corba CO és molt important en la planificació d’inspeccions per mostreig —en particular en els controls de qualitat i les verificacions tècniques—.

Exemple 2. La corba CO.

Es suposa: $\mu_0 = 5; \sigma_0 = 2; n = 16; \alpha = 0.05$. Es planteja el contrast unilateral: $\left[H_0:\ \mu_0 = 5\right]$ i $\left[H_1:\ \mu_0 > 5\right]$

[Adaptat de Daniel Peña(2019), p. 388]

Es pren \[\delta = \frac{\left| \bar{x} - 5 \right|}{2} \cdot \sqrt{16} = 2 (\bar{x} - 5) \]

Aleshores, el valor de $\delta_c$ —tal que $P(\delta \geq \delta \mid H_0) = 0.05$— és igual a 1.644854.

qnorm(0.05,0,1,lower.tail=F) $\rightarrow$ 1.644854

Amb $\delta \sim \mathcal{N}(0, 1)$, es manté $H_0$ com a possible hipòtesi de treball si $\delta_c \leq 1.644854 $. El que implica que $\bar x \leq (1.644854 + 10)/2 = 5.822427$

Per tant, si $\delta > 1.644854$ i $\bar x \geq 5.822427$, es rebutja $H_0$.

Suposis que es té una mostra de la mateixa població amb $\bar x = 6$, aleshores, amb:

P(error de tipus I) $= \alpha = 0.05$
$\bar x \sim \mathcal{N}(5,2/\sqrt{16} = 0.5)$, i $\delta \sim \mathcal{N}(0,1)$
$P(\bar x > 6 \mid \bar x \sim \mathcal{N}(5, 0.5) = P(\delta > 2 \sim \delta \sim \mathcal{N}(0, 1)$ = 0.02275013 —el nivell crític del test—.
pnorm(2, 0, 1, lower.tail=F) $\rightarrow$ 0.02275013
P(error de tipus II) $= \beta(6) = P(\delta \leq 1.644854 \mid \mu = 6) = P(\bar x \leq 5.822427 \mid \mu = 6)$
P(error de tipus II) $= P((\bar {x} - 6)/0.5 \leq (5.822427 - 6)/0.5) = P(z \leq -0.355146) = 0.3612401$
pnorm(-0.355146, 0, 1, lower.tail=T) $\rightarrow$ 0.3612401

Si $H_0$ és certa, $\bar x \sim \mathcal{N}(5, 0.5)$ però, si $\mu_0 = 6$, $\bar x \sim \mathcal{N}(6, 0.5)$.

Observis que l’àrea que correspon a aquesta segona opció $\bar x \leq 5.822$ és la probabilitat de que —sent $\mu_0 = 6$— no es rebutgi $H_0$ —l’error de tipus II—.

A la figura s’observa com, al disminuir $\alpha$, augmenta $\beta$. Ambdós errors poden disminuir-se, a la vegada, augmentant la mida $n$ de la mostra —amb el que es redueix la variància de la distribució de $\delta$—.

En general, la potència del test es calcula com $Pot(\theta) = P(\bar x > 5.822 \mid \bar x \sim \mathcal{N}[\theta, 0.5])$. Tipificant $\bar x$ a la $\mathcal{N}(0,1)$ es té $z = (\bar x - \theta)/0.5$, amb \[Pot(\theta) = P( z >(5.822 - \theta)/0.5 \mid z \sim \mathcal{N}[0, 1])\].

Si $\phi$ és la funció de distribució de la $\mathcal{N}(0,1)$, $Pot(\theta) = 1 - \phi(2[5.822 - \theta])$

Exemple 3. Nivell de significació i potència del contrast.

Sigui una població $\mathcal{N}(\mu,1)$.

S’estableixen dues hipòtesis sobre el paràmetre $\mu$: $\left[H_0:\ \mu = 1\right]$ i $\left[H_1:\ \mu = 2\right]$, amb la regió crítica $\mathcal{C}$ dins l’interval $[2.1;\infty]$.

Si $n = 1$, calculis el nivell de significació $\alpha$ i la potència del contrast $1 - \beta$

[Adaptat de L. Ruíz-Maya, F.J. Martín-Pliego (2008), p.177]

$\alpha = P(\text{rebutjar } H_0 \mid H_0 \text{ certa}) = P(X \in \mathcal{C} \mid H_0) = P[x_1 \geq 2.1 \mid X \sim \mathcal{N}(1,1)]$

$\alpha = P(\xi + 1 \geq 2.1) = P(\xi \geq 2.1 - 1 = 1.1) = 0.1356661$

pnorm(1.1,0,1,lower.tail=F) $\rightarrow$ 0.1356661

El nivell de significació és: 0.14.

Anàlogament,

$1 - \beta = P(\text{rebutjar } H_0 \mid H_0 \text{ falsa}) = P(X \in \mathcal{C} \mid H_1) = P[x_1 \geq 2.1 \mid X \sim \mathcal{N}(2,1)]$

$1 - \beta = P(\xi + 2 \geq 2.1) = 0.4601722$

pnorm(0.1,0,1,lower.tail=F) $\rightarrow$ 0.4601722

La potència del contrast és aproximadament: 0.46.

Exemple 4. Contrast d’hipòtesis. Tipus d’error.

Es disposa de la informació sobre el sou mensual de 20 treballadors elegits a l’atzar dins una empresa:

sous = { 1520, 1145, 2314, 1023, 1152, 1657, 1247, 1854, 1212, 1798, 1724, 1354, 980, 889, 624, 1035, 1584, 1447, 1614, 1363 }

Si es sap que el sou de l’empresa es distribueix normalment amb una desviació típica de 400 €, aleshores:

Pot admetre’s un valor de 1500 € pel sou mitjà mensual de l’empresa?
Quin és el $p$-valor associat al contrast anterior?
Relacioni’s el contrast bilateral anterior amb l’interval de confiança al 95 % per a la mitjana.
Quina seria la probabilitat de l’error de tipus II d’aquest contrast si el veritable valor de la mitjana poblacional fos 1400 €?
Obtinguis la funció de potència d’aquest contrast i representi’s gràficament, tot relacionant-la amb els errors de l’apartat anterior.

[Basat en OCW Curso Práctico de Inferencia Estadística con R, F. Arnaldos, M.T. Díaz, L. Molera, U. Faura, I. Parra, Proyecto de Innovación Educativa – Universidad de Murcia.]

Es planteja el contrast bilateral: $\left[H_0:\ \mu = 1500\right]$ i $\left[H_0:\ \mu \neq 1500\right]$

a) Pot admetre’s un valor de 1500 € pel sou mitjà mensual de l’empresa?

Amb R:

S’utilitza l’estadístic: \[Z =\frac{\bar x - \mu_0}{\sigma} \cdot \sqrt n\]

Com $(-1.959964 < -1.377418 < 1.959964)$, no es pot rebutjar $H_0$ amb un nivell de significació $\alpha = 0.05_{bilateral}$.

b) Quin és el p-valor associat al contrast anterior?

Donada la forma del regle del rebuig i la simetria de la distribució normal, el $p$-valor d’aquest contrast es calcula segons la condició: \[P(\mathcal{N}(0,1) < -1.443) + P(\mathcal{N}(0,1) > 1.443) = 2 \cdot P(\mathcal{N}(0,1) < -1.443) = 2 \cdot P(\mathcal{N}(0,1) > 1.443)\]

pvalor <- 2 * pnorm(abs(estadístic), lower.tail = FALSE); pvalor $\rightarrow$ 0.1683831<`/p>

Com $p$-valor $= 0.1683831 > \alpha = 0.05$, no es pot rebutjar $H_0$.

c) Relacioni’s el contrast bilateral anterior amb l’interval de confiança al 95 % per a la mitjana.

Amb R:

Com $(1201.495 < 1500 < 1552.105)$ no es pot rebutjar $H_0$ al 95 % de nivell de confiança.

d) Quina seria la probabilitat de l’error de tipus II d’aquest contrast si el veritable valor de la mitjana poblacional fos 1400 €? I si fos de 2000 €?

Per tal de calcular probabilitats corresponents a errors de tipus II, s’expressa, en primer lloc, el regle de rebuig aïllant de $T$ la mitjana mostral.

Es rebutja $H_0$, sí, $\bar x < \mu_0 - z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}$ o, $\bar x > \mu_0 + z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}$

Amb R:

Per tant, es rebutja $H_0$, sí, $\bar x < 1324.695$ o $\bar x > 1675.305$, la probabilitat d’error de tipus II —no rebutjar $H_0$ sent falsa— amb $\mu = 1400$ és: \[P(1324.695 < \bar x < 1675.305 \mid \mu =1400)\]

La probabilitat d’error de tipus II si $\mu = 2000$ —força més lluny del veritable valor— és, en canvi, molt més petita, igual a 0.0001416006

e) Obtinguis la funció de potència d’aquest contrast i representi’s gràficament, tot relacionant-la amb els errors de l’apartat anterior.

La funció de potència assigna a cada valor possible del paràmetre la probabilitat de rebutjar $H_0$ quan el paràmetre pren aquest valor.

Per tant, la funció de potència calculada sobre els valors del paràmetre a $H_0$ —en aquest cas, $\mu = 1500$— mesura la probabilitat d’error de tipus I —en aquest cas, 0.05—. Sobre els valors del paràmetre a $H_1$ correspon a 1 menys la probabilitat d’error tipus II —per exemple, la potència amb $\mu=1400$ és $0.200954 = 1 – 0.799046$—.

Amb R:

Observis que no seria fàcil detectar desviacions de 100 € respecte 1500 —la potència de 1400 és encara baixa— en canvi, una desviació de 250 € —per exemple, 1250— ens dona una potència molt alta, superior a 0.8, i la desviació és molt fàcil de detectar.

Exemple 5. Contrast d’hipòtesis. Regió crítica i regió d’acceptació.

Sigui la variable aleatòria amb funció de densitat $\theta e^{-\theta x}$, per a $\theta > 0$ i $ x \geq 0$. Es contrasten les hipòtesis: $\left[H_0:\ \theta = 1\right]$ i $\left[H_1:\ \theta = 5\right]$

Sobre una mostra aleatòria de mida, $n = 1$.

[Adpatat de L. Ruíz-Maya, F.J. Martín-Pliego (2008), p.162]

Siguin,

La regió crítica, $\mathcal{C} = \{0 \leq x_1 \leq k\}$
La regió d’acceptació, $\mathcal{C}^* = \{x_1 > k\}$

Amb $\mathcal{C} \cup \mathcal{C}^* = \{x_1 \geq 0\}$ i aleshores,

\[\alpha = P(x_1 \leq k | H_0) = \displaystyle\int_0^k e^{-x_1} dx_1 = 1 - e^{-k} \implies k = -\ln(1-\alpha)\] S’observa, doncs, com ja s’ha comentat prèviament, que la regió crítica depèn del nivell de significació.
\[1 - \beta = P(x_1 \leq (-\ln(1-\alpha)) | H_1) = \displaystyle\int_0^{-\ln(1-\alpha)} 5 e^{-5x_1} dx_1 = 1 - (1 - \alpha)^5\] I aleshores, $\beta = (1 - \alpha)^5$.

Es representa la relació entre el nivell de significació i la potència del contrast:

Amb R:

S’observa que la relació entre la potència del test $(1 - \beta)$ i el nivell de significació $(\alpha)$ és directa. Quan disminueix $\alpha$ —situació desitjable— disminueix també $(1 - \beta)$ —situació indesitjable—.

Tipus de tests estadístics

Es poden distingir diferents tipus de tests estadístics, en funció de quin és el seu objectiu. En general el que es pretén és que el test sigui molt sensible en front de $H_0$ i molt estable en front d’altres condicions —amb resultats prou exactes—.

Tipus de test estadístic:

De significació. Únicament s’estableix $H_0$. L’objectiu del test és rebutjar-la o no.
Paramètric. Es pretén verificar un paràmetre determinat. Per exemple: $H_0:\ \mu = \mu_0$.
D’ajust. S’examina si la distribució observada s’ajusta a una determinada distribució teòrica, com la distribució normal. Tests no paramètrics.
Unilaterals i bilaterals. Suposis un experiment que té per objecte descobrir diferències entre dues poblacions causades per dos tractaments diferents —per exemple, entre les dues mitjanes $\mu_1$ i $\mu_2$, amb $H_0:\ \mu_1 = \mu_2$—.
Si la hipòtesis alternativa és $H_1:\ \mu_1 \neq \mu_2$ —no es sap, d’antuvi, quin dels dos paràmetres és major— direm que el test és bilateral.
En cas contrari, $\left[H_0:\ \mu_1 \leq \mu_2\right]$ o $\left[H_0:\ \mu_1 \geq \mu_2\right]$ i la hipòtesi alternativa és $\left[H_1:\ \mu_1 > \mu_2\right]$ o $\left[H_1:\ \mu_1 < \mu_2\right]$ —direm que el test és unilateral—. El test unilateral sempre té més potència que el bilateral a l’hora de rebutjar $H_0$.
Si no es té clar quin tipus de tests aplicar, s’opta sempre pel test bilateral.

Contrast d’hipòtesis paramètrics

Es pretén inferir informació a partir de les dades d’una mostra representativa de la població. Es planteja inicialment una hipòtesi estadística de treball. La proposició d’una característica concreta sobre la població en estudi. Proposició que pot ser —o no— paramètrica i que determina totalment —o en part— la distribució de probabilitat d’una —o més d’una— variable aleatòria.

En el cas dels contrastos paramètrics, la hipòtesi de treball es refereix a valors de paràmetres poblacionals. Es suposa una distribució d’un cert tipus conegut, una mostra aleatòria prou gran i l’estudi previ de variàncies i mitjanes. Distingint clarament entre variables contínues i discretes. Freqüentment, es suposa una distribució normal de les dades.

Formalment, la funció de probabilitat d’una variable aleatòria $\xi, f(x;\theta)$ —discreta o contínua— depèn d’un paràmetre determinat —$\theta$— que pren valors dins l’espai paramètric —$\Theta$—.

Si $\theta$ és un vector integrat per $k$ paràmetres, l’espai paramètric $\Theta$ és $k$-dimensional.

En tot cas, la funció $f(x;\theta)$ és diferent per a cada valor $\theta \in \Theta$. Una hipòtesi estadística sobre el paràmetre $\theta$ és una conjectura sobre els valors concrets que pot prendre.

$\Theta$ queda dividit —en conseqüència— en dues parts —com una partició—:

$\Theta_0$. El conjunt de valors $\theta$ que sí satisfan la hipòtesi estadística.
$\Theta_1$. El conjunt de valors $\theta$ que no satisfan la hipòtesi estadística

De manera que $\Theta_1 = \Theta_0^c$ i $\Theta = \Theta_0 \cup \Theta_1$.

Es poden considerar diferents tipus d’hipòtesis:

Les hipòtesis que especifiquen un valor concret o un interval de valors per als paràmetres de la variable —per exemple, la seva mitjana—. Hipòtesis molt relacionades amb els intervals de confiança i l’estimació.
Les hipòtesis que estableixen igualtat de distribució de dues o més variables poblacionals —per exemple, igualtat de mitjanes en poblacions normals d’igual variància—. Hipòtesis que requereixen un disseny experimental que garanteixi l’homogeneïtat de les comparacions.
Les hipòtesis que determinen la forma de la distribució de la variable —per exemple, la distribució d’una variable normal—. Hipòtesis basades en un contrast no paramètric que s’ha de fer dins la fase de validació del model —consistència amb les dades, observacions independents, mostres homogènies—.

Contrast dins una població

Contrast de la mitjana dins una poblacio

Contrast de la mitjana dins una poblacio, amb distribució normal

D’una variable aleatòria poblacional —amb distribució normal i paràmetres desconeguts— es vol contrastar que la seva mitjana és igual a $\mu_0$.

Es planteja el contrast bilateral: $\left[H_0:\ \mu = \mu_0\right]$ i $\left[H_1:\ \mu \neq \mu_0\right]$

Amb variància coneguda:

L’error relatiu d’estimació de $\mu_0$, a partir de la mitjana mostral $\bar x$ \[z = \frac{\bar x -\mu_0}{sigma} \cdot \sqrt{n}\] és $\mathcal{N}(0,1)$ i aleshores \[P(-z_{\alpha/2} \leq z \leq +z_{\alpha/2}) = 1 - \alpha\]

Amb $z_{\alpha/2}$ el valor de distribució normal estàndard, tal que \[P(z >z_{\alpha/2}) = \frac{\alpha}{2}\].

Per tant, l’estadístic $z$ ens permet construir l’interval de nivell de confiança $(1-\alpha)$ —el més curt possible—. \[\begin{align*} &\bar{x} - z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} \leq \mu \leq \bar{x} + z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} \\ &\mu = \bar{x} + z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} \end{align*} \]

Com $n$ és constant i $\bar x$ es suposa constant —al variar $\alpha$—, la única variable aleatòria és $z$ i la distribució generada és $\mathcal{N} \left(x ,\frac{\sigma}{\sqrt{n}} \right)$.

Amb variància desconeguda:

Si $H_0$ és certa, la mitjana $\bar x$ d’una mostra $n$ ve d’una distribució normal amb mitjana $\mu_0$ i variància desconeguda i l’estadístic \[t = \frac{\bar x - \mu_0}{sigma} \cdot \sqrt{n}\], amb $\sigma$̂ la desviació típica mostral corregida, segueix una distribució $t$ de Student amb $(n - 1)$ g.l.

L’interval de confiança $(1 - \alpha)$ és ara \[\begin{align*} &\bar{x} - t_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}} \leq \mu \leq \bar{x} + t_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}} \\ &\mu = \bar{x} + t_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}} \end{align*} \]

Una regió d’acceptació per a $\bar x$ —amb un nivell $\alpha$ de significació— és \[\left| \bar{x} - \mu_0 \right| \leq t_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}}\], on $t_{\alpha/2}$ representa el valor de la distribució $t$ tal que l’interval $(-t_{\alpha/2}, t_{\alpha/2})$ conté la probabilitat $(1 - \alpha)$.

És a dir, si \[\bar{x} \in \left( \mu_0 \pm t_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}} \right)\] s’accepta $H_0$, amb un nivell $\alpha$ de significació. En cas contrari, es rebutja $H_0$.

El nivell crític del test ve donat per \[p = P\left( |t| > \left| \frac{\bar{x} - \mu_0}{\hat{\sigma}} \cdot \sqrt{n} \right| \right)\], on $t$ és una variable de Student amb $(n-1)$ g.l.

Amb el contrast unilateral —per exemple, $H_1:\ \mu > \mu_0$— la regió de rebuig és \[\bar{x} > \mu_0 + t_{\alpha} \cdot \frac{\hat{\sigma}}{\sqrt{n}}\] Es rebutja $H_0$ només per a valors elevats de $\bar x$.

El nivell crític del test és, en aquest cas, \[p = P\left( t > \frac{\bar{x} - \mu_0}{\hat{\sigma}} \cdot \sqrt{n} \right)\]

Contrast de la mitjana dins una poblacio, cas general

En el cas general, quan la distribució de la població és desconeguda —amb $n >30$— s’utilitza que la distribució de $\bar X$ és asimptòticament normal \[\left( \mu, \frac{\hat{\sigma}}{\sqrt{n}} \right)\]

Pel teorema central del límit, per a cada valor d'$\alpha$ és possible trobar dos valors crítics, $a$ i $b$. Amb la regió d’acceptació definida com $a < \bar x < b$ i la regió crítica definida com $\bar x < a$ i $\bar x \geq b$. La regió d’acceptació és doncs també \[\left| \bar{x} - \mu_0 \right| \leq t_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}}\], amb un interval de confiança $(1 - \alpha)$ per a la mitjana de \[\left( \bar{x} - z_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}} \leq \mu \leq \bar{x} + z_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}} \right) \]

Amb $\hat \sigma$ és utilitzat com estimador de $\sigma$

Exemple 6. Contrast bilateral de $\mu$. Variància coneguda.

En un bosc de Pinus sylvestris es vol contrastar la hipòtesi de que la mitjana poblacional de la longitud de les acícules és de 63 mm amb una desviació estàndard poblacional de 32 mm sabent que —sobre una mostra aleatòria de 200 pins— la longitud mitjana mostral de les acícules va ser de 58 mm. Utilitzis un nivell de significació de 0.01.

$\alpha = 0.01 \quad \mu_0 = 63 \text{ mm} \quad \sigma = 32 \text{ mm} \quad n = 200 \quad \bar x = 58$

Es planteja el contrast bilateral: $\left[H_0:\ \mu = \mu_0\right]$ i $\left[H_1:\ \mu \neq \mu_0\right]$

Es calcula l’estadístic de contrast \[z = \frac{\bar{x} - \mu_0}{\sigma} \cdot \sqrt{n} = \frac{58 - 63}{32} \cdot \sqrt{200} \approx -2.2097\], amb $-z_{\alpha/2} = -2.575829$ i $z_{\alpha/2} = 2.575829$.

qnorm(0.01/2,0,1,lower.tail=TRUE) $\rightarrow$ -2.575829

qnorm(0.01/2,0,1,lower.tail=FALSE) $\rightarrow$ 2.575829

La regió d’acceptació és l’interval $(-2.575829, 2.575829)$ i, per tant —com $z$ hi pertany— no es pot rebutjar $H_0$.

Altra solució alternativa, és contrastar la mitjana poblacional $\mu_0$ segons l’interval de confiança \[\left( \bar{x} - z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}, \bar{x} + z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} \right) = (52.1715, 63.8284)\]

S’observa que $\mu_0$ cau també dins la regió d’acceptació i tampoc es pot rebutjar $H_0$.

Exemple 7. Contrast bilateral de $\mu$. Variància coneguda.

S’avalua un procés de fabricació de làmpades que —sota condicions normals d’ús— tenen una vida mitjana de 10000 hores, amb una desviació típica de 200 hores. S’introdueixen canvis i es pretén contrastar si afecten a la mitjana de vida de les làmpades fabricades.

Es pren una mostra de 10 làmpades que resulten amb una vida de 9075, 8025, 9040, 9036, 10001, 9060, 8056, 8072, 8100 i 9010 hores.

Es pot afirmar alguna evidència sobre la vida mitjana de les làmpades fabricades amb el nou procés de fabricació?

Sigui $X$ la variable aleatòria que recull la vida de les 10 làmpades de la mostra.

$\alpha = 0.05 \quad \mu_0 =10000 \text{ h} \quad \sigma = 200 \text{ h} \quad n = 10$

Es calcula $\bar x$:

X <- c( 9075, 8025, 9040, 9036, 10001, 9060, 8056, 8072, 8100, 9010)

mean(X) $\rightarrow$ 8747.5

Es planteja el contrast bilateral: $\left[H_0:\ \mu= \mu_0\right]$ i $\left[H_1:\ \mu \neq \mu_0\right]$

Es calcula l’estadístic de contrast \[Z = \frac{\bar{x} - \mu_0}{\sigma} \cdot \sqrt{n} = \frac{8747.5 - 10000}{200} \cdot \sqrt{10} \approx -19.804 \], amb $-Z_{\alpha/2} = -2.575829$ i $Z_{\alpha/2} = 2.575829$ —tal com s’ha vist a l’exercici anterior—.

La regió d’acceptació és l’interval $(-2.575829, 2.575829)$. Com $Z$ no hi pertany, es rebutja $H_0$.

En conclusió, la mitjana poblacional no és igual a 10000 h. —és inferior—. Si $H_0$ és certa, es pot preveure que \[\left| \bar{x} - \mu_0 \right| \leq Z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}} = 1.959964 \cdot \frac{200}{\sqrt{10}} \approx 123.96\]

Amb una probabilitat del 95 %, no s’espera que la mitjana $\bar x$ de la mostra es separi de la $\mu$ poblacional en més de 123.96 hores.

La mitjana poblacional $\mu$ ha de ser dins l’interval $\left( \bar{x} - 123.96, \bar{x} + 123.96 \right) = (8623.54, 8871.46) $.

Com $\mu \notin (8623.54, 8871.46)$, es rebutja $H_0$, amb una certesa del 95 %. S’accepta que $\bar x$ ve d’una $\mu < 10000$ h. Els canvis afecten la vida mitjana de les làmpades.

Amb R:

Amb les mateixes conclusions: es rebutja $H_0$ i es constata que els canvis afecten la vida mitjana de les làmpades.

Exemple 8. Contrast del valor de $\mu$. Variància desconeguda.

El nombre mitja de préstecs per usuari en una biblioteca és de 6 llibres a l’any. Es fa una campanya de promoció i es vol veure quin efecte ha tingut —amb un nivell de $\alpha = 0.05$—.

Es disposa d’una mostra aleatòria X = { llibres prestats per usuari i any }, representativa de 500 usuaris.

Amb: $\bar x = 6.12 \quad \hat\sigma = 2.8 \quad X \sim \mathcal{N}(6.12, 2.8)$.

Es planteja el contrast unilateral: $\left[H_0:\ \mu = \mu_0\right]$ i $\left[H_1:\ \mu > \mu_0\right]$, amb $\mu_0 = 6$ i $\sigma$ desconeguda.

Si $H_0$ és certa, com $n = 500$ és prou gran, es calcula l’estadístic de contrast \[t = \frac{\bar{x} - \mu_0}{\hat{\sigma}} \cdot \sqrt{n} = \frac{6.12 - 6}{2.8} \cdot \sqrt{500} \approx 0.9583\], amb $t \sim \mathcal{N}(0,1)$.

Com $0.9583 < z_{0.05} = 1.644854$, la mostra pertany a la regió d’acceptació $(\mathcal{C}^*)$ i no es pot rebutjar $H_0$.

qnorm(0.05,0,1,lower.tail=F) $\rightarrow$ 1.644854

La distribució de probabilitat de l’estadístic de contrast $t$ és:

Com el test és unilateral, només es té en compte la part dreta $(t_c)$.

Contrast de proporcions.

R.A. Fisher va començar el seu llibre "Disseny d’experiments" (1935) ^[1] amb la seva famosa anècdota “The Lady tasting tea”. Una senyora afirma que es capaç de distingir el sabor d’una tassa de té segons s’hagi afegit primer la llet o el té. La qual cosa és estadísticament poc probable.

Per exemple, amb deu tasses hi ha 252 combinacions diferents de seleccionar-ne cinc. La probabilitat d’encert —a l’atzar— és de $1/252 \approx 0.4$ %.

(1/choose(10,5))*100 $\rightarrow$ 0.3968254

Per tal de verificar-ho, es dissenya l’experiment de presentar la meitat de tasses preparades d’una manera, i l’altra meitat de l’altra. Totes indistingibles excepte pel sabor.

Es planteja el contrast unilateral: $\left[H_0:\ p \leq 0.5\right]$ i $\left[H_1:\ p > 0.5\right]$, amb $p$ la probabilitat d’encert. Si $H_0$ és certa, el mètode de preparació no afecta el sabor. En cas contrari, la senyora és capaç de detectar la diferència de manera significativa.

És evident que com més gran sigui la mostra $n$, més significatiu serà el resultat del test. Per exemple, si $X$ és la variable aleatòria que recull el nombre d’encerts,

amb $n = 10$, $P(x > 7) = 0.0546875$
amb $n = 100$, $P(x > 70) \approx 0.0000161$

1- pbinom(7,10,0.5) $\rightarrow$ 0.0546875

1- pbinom(70,100,0.5) $\rightarrow$ 1.608001e-05

En un contrast de proporcions es planteja el contrast unilateral: $\left[H_0:\ p \leq p_o\right]$ i $\left[H_1:\ p > p_o\right]$, amb $p$ la proporció —la freqüència relativa— d’elements amb un determinat atribut dins una determinada població i $p_0$ un valor conegut.

Si $H_0$ és certa, en una mostra aleatòria $n$ la probabilitat de trobar una proporció $\hat p = r/n$ d’elements $(r)$ amb aquest atribut és \[P\left( \hat{p} = \frac{r}{n} \right) = \binom{n}{r} \cdot p_0^r \cdot (1 - p_0)^{n - r}\], distribució binomial, en mostres petites i normal, en mostres grans.

Per a mostres petites la mesura de discrepància és \[\left| p_0 - \hat{p} \right| \iff \left| n \cdot p_0 - r \right|\] i es fixa un nivell de significació $\alpha$, amb distribució binomial.

Per a mostres grans s’utilitza que \[\hat{p} \sim N\left( p_0, \sqrt{\frac{p_0 \cdot q_0}{n}} \right)\] —amb $q_0 = 1 - p_0$ — i la regió d’acceptació ve donada per \[\left| \hat{p} - p_0 \right| \leq z_{\alpha} \cdot \sqrt{\frac{p_0 \cdot q_0}{n}}\], on $z_\alpha$ és el valor corresponent a la distribució $\mathcal{N}(0,1)$.

Exemple 9. Èxit d’un tractament mèdic. Contrast per a una proporció.

Se sap que l’èxit d’un determinat tractament mèdic no supera el 76 %. Es testa un nou tractament amb un resultat de 784 pacients curats, sobre un total de 1000 pacients. Es pot afirmar, amb un nivell de confiança del 99 %, que el nou tractament millora l’anterior?

Es planteja el contrast unilateral: $\left[H_0:\ p \leq 0.76\right]$ i $\left[H_1:\ p > 0.76\right]$, amb:

$p_0 = 0.76 \quad q_0 =1 - 0.76 = 0.24 \quad n = 1000 \quad \hat p = 784/1000 = 0.784$

El nivell de confiança és $0.99 \rightarrow \alpha = 1 - 0.99 = 0.01$

La regió d’acceptació ve donada per l’interval \[\left( -\infty, p_0 + z_{\alpha} \cdot \sqrt{\frac{p_0 \cdot q_0}{n}} \right] = \left( -\infty, 0.791419 \right]\]

$z_\alpha$ = qnorm(0.01,0,1,lower.tail=FALSE) $\rightarrow$ 2.326348

Observem que $|\hat p - p_0| \approx 2.33 < 0.791419$, per tant no es pot rebutjar $H_0$ i s’ha de concloure que el tractament nou no millora els resultats.

Amb R:

El valor de l’estadístic $\chi^2$ és inferior a $\chi^2_0.01$, per tant no es pot rebutjar $H_0$.

El valor de $p$-value és superior a $\alpha = 0.01$, per tant no es pot rebutjar $H_0$.

Contrast de variàncies en poblacions normals

Es planteja el contrast bilateral: $\left[H_0:\ \sigma^2 = \sigma_0^2\right]$ i $\left[H_1:\ \sigma^2 \neq \sigma_0^2\right]$

S’utilitza que l’estadístic \[(n - 1) \cdot \frac{\sigma^2}{\sigma_0^2}\], que segueix una distribució $khi$-quadrat amb $(n-1)$ g.l. i determinem els valors $\left(\chi^2_{1-\alpha/2}\right)$ i $\left(\chi^2_{\alpha/2}\right)$ tals que —si $H_0$ és certa— cobreixin el $(1 - \alpha)$ de la distribució.

La regió d’acceptació és \[\chi^2_{1-\alpha/2} \leq (n - 1) \cdot \frac{\sigma^2}{\sigma_0^2} \leq \chi^2_{\alpha/2, (n-1)}\]

Si el contrast fos unilateral $\left[H_1:\ \sigma^2 > \sigma_0^2\right]$, la regió d’acceptació seria \[(n - 1) \cdot \frac{\sigma^2}{\sigma_0^2} \leq \chi^2_{\alpha, (n-1)}\]

Exemple 10. Contrast de variàncies en poblacions normals.

Un fabricant especifica que la resistència a la ruptura d’un cable d’acer es distribueix normalment amb una mitjana de 4 Tm i una desviació típica de 0.1 Tm.

Es pren una mostra de 10 cables i s’obtenen uns valors de ruptura de $\{3.92, 4.25, 4.45, 3.78, 3.95, 4.15, 3.68, 4.25, 4.32, 3.88 \}$ Tm.

Es demana contrastar les hipòtesis:

La mostra ve d’una població amb $\mu_0 = 4$ i $\sigma_0$ qualsevol.
La mostra ve d’una població amb $\mu_0$ qualsevol i $\sigma_0 = 0.1$ Tm.

a) La mostra ve d’una població amb $\mu_0 = 4$ i $\sigma_0$ qualsevol.

X <- c(3.92,4.25,4.45,3.78,3.95,4.15,3.68,4.25,4.32,3.88)

mean(X) $\rightarrow$ 4.063

sd(X) $\rightarrow$ 0.2553451

El contrast de la mitjana és bilateral: $\left[H_0:\ \mu_0 = 4\right]$ i $\left[H_1:\ \mu_0 \neq 4\right]$. L’estadístic \[t = \frac{4.063 - 4}{0.2553451} \cdot \sqrt{10} = 0.780213\], segueix una distribució $t$ de Student amb $(10 - 1)$ g.l.

Aleshores, si \[\bar{x} \in \left( \mu_0 \pm t_{\alpha/2} \cdot \frac{\hat{\sigma}}{\sqrt{n}} \right)\], s’acceptarà $H_0$, amb un nivell $\alpha$ de significació.

pt(0.05/2, 9)*(sd(X)/sqrt(9)) $\rightarrow$ 0.04338311

Observem que $\bar x$ cau fora de l’interval de confiança calculat: $\bar x = 4.063 \notin (4 \pm 0.04338311)$

Per tant s’ha de rebutjar $H_0$ al nivell de significació $\alpha = 0.05$.

b) La mostra ve d’una població amb $\mu_0$ qualsevol i $\sigma_0 = 0.1$ Tm.

El contrast de la variància és unilateral: $\left[H_0:\ \sigma^2 = 0.1^2\right]$ i $\left[H_1:\ \sigma^2 > 0.1^2\right]$

Es calcula \[(n - 1) \cdot \frac{\sigma^2}{\sigma_0^2} = (10 - 1) \cdot \frac{0.2553451^2}{0.1^2} \approx 58.681\] que segueix una distribució $\chi^2_{\alpha,9}$.

Es calcula $\chi^2_{\alpha,9}$

qchisq(0.95,9) $\rightarrow$ 16.91898

Com $58.681 > 16.91898$, s’ha de rebutjar $H_0$ al nivell de significació $\alpha = 0.05$.

Contrast entre dues poblacions

Contrast de proporcions entre dues poblacions.

Quan s’està interessat en la proporció entre dues poblacions al respecte d’una determinada característica —amb mostres grans—, es segueix el següent procediment:

Es fixa un nivell $\alpha$ de significació.
Es seleccionen dues mostres aleatòries independents i separades —una de cada població—. Sent $n_1$ i $n_2$ les seves mides respectives —amb $n_1 \geq 50$ i $n_2 \geq 50$—.
Es compten els elements de cada mostra amb la característica d’interès $(e_1 \text{i} e_2)$ i es calculen les proporcions de cada població $\hat {p}_i = e_i/n_i$ —amb $\hat {p}_i$ la proporció d’elements de la mostra i que posseeixen la característica d’interès—.
Es calcula $\hat p = (e_1 +e_2)/(n_1 + n_2)$ —la proporció d’elements de la mostra combinada que posseeixen la característica d’interès—.
Es verificar que $\hat p (n_1 + n_2) > 5$ i que $(1 - \hat p )(n_1 + n_2) > 5$.
Es calcula l’estadístic de contrast \[z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\hat{p}(1 - \hat{p}) \left( \frac{1}{n_1} + \frac{1}{n_2} \right)}}\]
Es calcula el valor $p$. El valor d’assolir —o superar— el valor de $z$ a la distribució $\mathcal{N}(0,1)$, o a una $t$ de Student amb infinits graus de llibertat.

Si $p \geq \alpha$ es rebutja la hipòtesi nul·la.

A més $\hat {p}_1 - \hat {p}_2$ té com a mitjana cero i com a variància la suma de les variàncies respectives \[VAR(\hat{p}_1 - \hat{p}_2) = \frac{\hat{p}_1 \cdot \hat{q}_1}{n_1} + \frac{\hat{p}_2 \cdot \hat{q}_2}{n_2}\]

Suposant que es donen totes les condicions prèvies, la regió d’acceptació és \[\left| \hat{p}_1 - \hat{p}_2 \right| \leq z_{\alpha/2} \cdot \sqrt{\frac{\hat{p}_1 \cdot \hat{q}_1}{n_1} + \frac{\hat{p}_2 \cdot \hat{q}_2}{n_2}}\]

Exemple 11. Efecte secundari d’un fàrmac. Contrast per a dues proporcions.

27 dels 374 individus d’una mostra varen patir un determinat efecte secundari al prendre un determinat fàrmac, en front de 8 dels 209 individus als que se’ls va subministrar un placebo.

Es pot afirmar, amb $\alpha = 0.05$, que el fàrmac provoca l’efecte secundari?

Es planteja el contrast bilateral: $\left[H_0:\ \hat {p}_ 1 = {p}_ 2\right]$ i $\left[H_1:\hat {p}_ 1 \neq {p}_ 2\right]$

Es calcula $z$:

$n_1 = 374; \quad n_2 = 209; \quad \hat{p}_ 1 = 27/374 = 0.0722; \quad \hat{p}_2 = 8/209 = 0.0383; \quad \hat {p} = (27 + 8)/(374 + 209) = 0.0600$
\[z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\hat{p}(1 - \hat{p})\left( \frac{1}{n_1} + \frac{1}{n_2} \right)}} = 1.6531\]
$Z_c = 0.0492$: pnorm(1.6531, mean = 0, sd = 1, lower.tail = F) = 0.04915526 = pt(1.6531, Inf, lower.tail = F)

El valor de $Z_c$ és molt proper a $\alpha$, per tant, el resultat és marginal i no es pot ni acceptar ni rebutjar $H_0$ amb segurat.

Exemple 12. Plantació de Rosa hybrida L. Contrast per a dues proporcions.

En una plantació de Rosa hybrida L., es volen comparar les proporcions de plantes de tija mitjana (35 cm) i de plantes de tija llarga (50 cm). Es pren una mostra de 200 plantes i s’observa que 40 són de tija mitjana i 57 són de tija llarga. Trobis l’interval de confiança per a la diferència de proporcions al nivell de confiança del 95 %.

Es planteja el contrast bilateral: $\left[H_0:\ p_1 = p_2\right]$ i $\left[H_1:\ p_1 \neq p_2\right]$

Amb: $p_1 = 40/200 = 0.20$ i $p_2 = 57/200 = 0.285$

Siguin,

$X_1$ = 'Nombre de plantes de tija mitjana'. Amb $X_1 \sim \mathcal{B}(200,0.2)$.
$X_2$ = 'Nombre de plantes de tija llarga'. Amb $X_2 \sim \mathcal{B}(200,0.285)$.

Es demana l’interval de confiança per a la diferència de proporciones, amb $n_1 = n_2 \geq 30$.

La regió d’acceptació ve donada per l’interval de confiança: \[\begin{align*} &\left( (\hat{p}_1 - \hat{p}_2) \pm z_{\alpha/2} \cdot \sqrt{\frac{\hat{p}_1 \cdot \hat{q}_1}{n_1} + \frac{\hat{p}_2 \cdot \hat{q}_2}{n_2}} \right) \\ &z_{\alpha/2} = \texttt{qnorm}(0.05 / 2, 0, 1, \texttt{lower.tail} = F) = 1.959964 \\ &\left( (0.2 - 0.285) \pm 1.959964 \cdot \sqrt{\frac{0.2 \cdot 0.8}{200} + \frac{0.285 \cdot 0.715}{200}} \right) \\ &\left( -0.085 \pm 0.08358907538 \right) \end{align*}\]

Per tant, l’interval de confiança és $(-0.168589075, -0.001410925)$.

El problema es resol ràpidament utilitzant la funció prop.test —test per a dues mostres per a la igualtat de proporcions sense correcció de continuïtat de Yates—.:

Amb R:

També es podria calcular el valor de l’estadístic $\chi^2$ de Pearson amb la funció chisq.test:

Amb R:

En els dos casos, es rebutja $H_0$ amb $p$-value < 0.05

Exemple 13. Control de qualitat. Contrast de proporcions entre dues poblacions.

El 86 % de la producció d’un lot de 350 unitats d’un proveïdor $A$ passa un determinat control de qualitat. En un proveïdor $B$ el 86.25 % de la producció d’un lot de 400 unitats passa el mateix control de qualitat.

Hi ha evidència suficient de diferències entre els proveïdors $A$ i $B$?

Es planteja el contrast bilateral: $\left[H_0:\ \hat {p}_ 1 - \hat {p}_2 = 0\right]$ i $\left[H_1:\ \hat {p}_ 1 - \hat {p}_2 \neq 0\right]$

, amb:

$\hat {p}_1 = 0.86; \quad \hat {p}_2 = 0.8625; \quad n_1 = 350 \geq 30; \quad n_2 = 400 \geq 30$

$n_1 \cdot \hat {p}_1 = 350 \cdot 0.86 = 301 \geq 5; \quad n_2 \cdot \hat{p}_2 = 400 \cdot 0.8625 = 345 \geq 5$

\[Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\frac{\hat{p}_1 \cdot (1 - \hat{p}_1)}{n_1} + \frac{\hat{p}_2 \cdot (1 - \hat{p}_2)}{n_2}}} = \frac{0.86 - 0.8625}{\sqrt{\frac{0.86 \cdot 0.14}{350} + \frac{0.8625 \cdot 0.1375}{400}}} \approx -0.0987838\]

qnorm(0.05/2,0,1,lower.tail=F) $\rightarrow$ 1.959964

La regió crítica per acceptar o rebutjar $H_0$ és: $Z \leq -z_{\alpha/2} = -1.959964, Z \geq z_{\alpha/2} = 1.959964$

Com $-1.959964 \leq -0.0987838 \leq 1.959964$, s’accepta $H_0$. No hi ha diferències entre els proveïdors. Amb un $p$-value de:

2*(1 - pnorm(0.0987838, 0,1)) $\rightarrow$ 0.9213099amb $0.9213099 > \alpha = 0.05$

El problema es resol ràpidament utilitzant la funció prop.test (test per a dues mostres per a la igualtat de proporcions sense correcció de continuïtat):

Amb R:

Com $p$-value = 0.9213 > 0.05, no es rebutja H_0.

Mitjanes en mostres independents i igual variància

Es disposa de dues mostres independents —$n_1$ i $n_2$— de cada població, amb mitjanes $\bar {x}_1$ i $\bar {x}_2$ i desviacions típiques estimades $\hat {s}_1$ i $\hat {s}_2$.

La variabilitat comuna a les dues poblacions s’estima com \[\hat{S}_T^2 = \frac{(n_1 - 1) \cdot \hat{s}_1^2 + (n_2 - 1) \cdot \hat{s}_2^2}{n_1 + n_2 - 2}\] —l’estimació centrada de $\sigma^2$, de variància mínima—.

Suposant que $\mu_1$ i $\mu_2$ són les mitjanes poblacionals, es planteja el contrast bilateral: $\left[H_0:\ \mu_1 = \mu_2\right]$ i $\left[H_1:\ \mu_1 \neq \mu_2\right]$

Mitjanes en mostres independents i igual variància a dues poblacions qualsevol

Si la mostra és prou gran i $H_0$ és certa, l’estadístic \[\frac{\bar{x}_1 - \bar{x}_2}{\hat{S}_T \cdot \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}\] segueix una distribució$\mathcal{N}(0,1)$.

Per tant, la regió d’acceptació del contrast bilateral és \[\left| \bar{x}_1 - \bar{x}_2 \right| \leq z_{\alpha/2} \cdot \hat{S}_T \cdot \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}\]

Mitjanes en mostres independents i igual variància en poblacions normals

Si les poblacions segueixen una distribució normal i $H_0$ és certa, l’estadístic de l'apartat anterior anterior segueix una distribució $t$ de Student amb $(n_1 + n_2 - 2)$ g.l. i la zona d’acceptació és: \[\left| \bar{x}_1 - \bar{x}_2 \right| \leq z_{\alpha/2} \cdot \hat{S}_T \cdot \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}\]

Exemple 14. Mitjanes mostres independents, igual variància. Poblacions normals.

Es volen comparar els temps de dos processos de fabricació —A i B—. Es disposa de les següents mesures, en minuts:

Trobis un interval de confiança del 95% per a la diferència entre les mitjanes dels temps de procés, suposant que les desviacions típiques poblacionals són iguals.

Hi ha evidència de que el procés $A$ sigui més ràpid que el procés $B$?

Es planteja el contrast bilateral: $\left[H_0:\ \bar a - \bar b = 0\right]$ i $\left[H_1:\ \bar a - \bar b \neq 0\right]$

A <- c(12, 13, 12, 12, 14, 11, 12, 11)

B <- c(13, 12, 12, 13, 11, 13, 13, 12, 13, 12)

mean(A) $\rightarrow$ 12.125

mean(B) $\rightarrow$ 12.4

var(A) $\rightarrow$ 0.9821429

var(B) $\rightarrow$ 0.4888889

\[\hat{S}_T^2 = \frac{(8 - 1) \cdot 0.9821429 + (10 - 1) \cdot 0.4888889}{8 + 10 - 2} = 0.704687525\]

Amb $\alpha = 0.05$, tenim $t_{\alpha/2,n1 + n2 -2} = t_{0.05/2,8 + 10 -2} = t_{0.025, 16}$

qt(0.025,16,lower.tail=F) $\rightarrow$ 2.119905

Per tant, l’interval bilateral de confiança del 95% per a la diferència de mitjanes amb variàncies desconegudes i iguals és: \[\left( 12.125 - 12.4 \pm 2.119905 \cdot \sqrt{0.704687525} \cdot \sqrt{\frac{1}{8} + \frac{1}{10}} \right) = (-1.119123, 0.569123)\]

No hi ha doncs evidència de que un procés sigui més ràpid que l’altre —el cero és dins l’interval de confiança—.

El problema es resol ràpidament utilitzant la funció t.test:

Amb R:

Com $p$-value $= 0.4997 > 0.05$, no es pot rebutjar $H_0$ —a més, el 0 cau dins l’interval de confiança—.

Mitjanes en mostres dependents aparellades

Al realitzar una prova d’hipòtesis utilitzant dues mostres aleatòries, és clar que les mostres són dependents quan els valors d’una mostra afecten els valors de l’altra.

Si un laboratori farmacèutic vol comprovar l’eficiència d’un nou medicament ho pot fer de dues maneres:

Prenent les dades de les mateixes persones abans i desprès de l’administració del medicament. En aquest cas les mostres són dependents.
Prenent les dades administrant el medicament a un grup de persones i un placebo a un altra grup diferent. En aquest cas les mostres són independents.

L’últim cas no sempre és possible. Si es vol avaluar la vida mitjana d’un neumàtic, no es poden posar neumàtics falsos en uns vehicles i autèntics en altres. Sí és possible posar dos neumàtics de cada tipus en cada vehicle, amb les mateixes condicions respecte a totes les altres variables a controlar —estat de la pista, conductor, velocitat, etc. —. En aquest cas seran mostres dependents aparellades.

Suposem que s’han elegit 2n unitats homogènies per parells, amb $x_{1i}, x_{2i}$ els valors del parell d’objectes i d’ambdues variables.

Sigui $y_i = x_{1i} - x_{2i}$, amb $i = 1,2,\cdots, n$ la diferència en el parell $i$.

Si no hi ha diferències entre les mitjanes, l’esperança de la diferència serà cero. \[E(y_i) = \mu_1 - \mu_2 = 0\] A més, \[Var(y_i) = \sigma_1^2 + \sigma_2^2 - 2\rho \cdot \sigma_1 \cdot \sigma_2\], amb $\rho$ el coeficient de correlació entre $x_1$ i $x_2$.

Suposant igualtat de variàncies tenim \[Var(y_i) = 2\sigma^2(1 - \rho)\] Aleshores —si les mesures comparades són molt semblants— $\rho$ serà positiu i molt proper a 1 i la variabilitat observada serà molt menor que l’observada en mostres independents.

Es planteja el contrast bilateral: $\left[H_0:\ \mu_1 - \mu_2 = \mu_y = 0\right]$ i $\left[H_1:\ \mu_1 \neq \mu_2; \mu_y \neq 0\right]$, estimant $Var(y_i)$ amb \[\hat{S}_y^2 = \frac{\displaystyle\sum (y_i - \bar{y})^2}{n - 1}\]

La regió d’acceptació d’$H_0$ serà \[\left| \bar{y} \right| \leq t_{\alpha/2} \frac{\hat{S}_y}{\sqrt{n}}\], que segueix una $t$ de Student amb $(n - 1)$ g.l. amb \[t_{\alpha/2} \geq \frac{\left| \bar{y} \right|}{\hat{S}_y / \sqrt{n}}\]

Exemple 15. Mitjanes en mostres dependents aparellades i en mostres independents.

Es vol comparar la velocitat de càlcul de dos ordinadors. S’executen els mateixos processos en cadascun d’ells i s’obtenen els següents temps, en mil·lisegons:

Hi ha diferències entre els dos ordinadors? Consideris els casos de mostres dependents i de mostres independents.

Es planteja el test bilateral: $\left[H_0:\ \overline {O1} - \overline {O2} = 0\right]$ i $\left[H_1:\ \overline {O1} - \overline {O2} \neq 0\right]$

Suposant les mostres dependents —aparellades—:

O1 <- c(110,125,141,113,182)

O2 <- c(102,120,135,114,175)

D <- O1-O2 $\rightarrow$ 8 5 6 -1 7

mean(D) $\rightarrow$ 5

sd(D) $\rightarrow$ 3.535534

$t_{\alpha/2,n-1} = t_{0.05/2,5 - 1} = t_{0.025,4}$

qt(0.025,4,lower.tail=F) $\rightarrow$ 2.776445

Com \[t_{0.025, 4} = 2.776445 < \frac{\left| \bar{y} \right|}{\hat{S}_y} \cdot \sqrt{n} = \frac{5}{3.535534} \cdot \sqrt{5} = 3.162277576\] es rebutja $H_0$.

L’interval de confiança per a la diferència de mitjanes amb variància desconeguda i mida de la mostra < 30 és \[y = \bar{D} \pm t_{\alpha/2, n-1} \cdot \frac{\sigma_D}{\sqrt{n}}\]

Per tant, l’interval de confiança de la diferència de temps, al 95%, és \[5 \pm 2.776445 \cdot \frac{3.535534}{\sqrt{5}} = \left[0.610055, 9.389945\right]\]

Com l’interval de confiança no inclou el cero, es rebutja $H_0$.

El problema es resol ràpidament utilitzant la funció t.test per mostres aparellades:

Amb R:

Com $p$-value = $0.03411 < 0.05$, es rebutja $H_0$.

Suposant les mostres independents —no aparellades—:

mean(O1) $\rightarrow$ 134.2

mean(O2) $\rightarrow$ 129.2

var(O1) $\rightarrow$ 29.37176

var(O2) $\rightarrow$ 28.22587

\[\hat{S}_T = \sqrt{\frac{29.37176^2 + 28.22587^2}{2}} = 28.80451373\]

Com \[t_{0.025, 4} = 2.776445 > \frac{5}{28.80451373 \cdot \sqrt{\frac{1}{5} + \frac{1}{5}}} = 0.2744602538\], no es pot rebutjar $H_0$.

El problema es resol ràpidament utilitzant la funció t.test —Welch Two Sample t-test— per mostres no aparellades:

Amb R:

Com $p$-value $= 0.7907 > 0.05$, no es pot rebutjar $H_0$.

Exemple 16. Mitjanes en mostres dependents aparellades. Interval de confiança.

Es volen comparar dos mètodes de producció i muntatge d’un producte en una determinada empresa. Es seleccionen aleatòriament set empleats que efectuen la producció i muntatge del producte pels dos mètodes diferents i n’anoten el temps utilitzat —en segons— obtenint-se els següents valors mitjans:

Suposant mostres aparellades i distribució normal, trobis un interval de confiança per a la diferència dels temps mitjans de muntatge, al 95%.

Es planteja el test bilateral: $\left[H_0:\ \overline {M1} - \overline {M2} = 0\right]$ i $\left[H_1:\ \overline {M1} - \overline {M2} \neq 0\right]$

M1 <- c(38,32,41,35,42,32,45)

M2 <- c(30,32,34,37,35,26,38)

D <- M1-M2 $\rightarrow$ 8 0 7 -2 7 6 7

mean(D) $\rightarrow$ 4.714286

sd(D) $\rightarrow$ 3.988077

Es demana un interval de confiança per a la diferència de mitjanes amb variància desconeguda i mida de la mostra < 30: \[\begin{align*} &\bar{D} \pm t_{\alpha/2, n-1} \cdot \frac{\sigma_D}{\sqrt{n}} \\ &t_{\alpha/2, n-1} = t_{0.05/2, 7-1} = t_{0.025, 6} \end{align*}\]

qt(0.025,6,lower.tail=F) $\rightarrow$ 2.446912

Per tant, l’interval de confiança de la diferència de temps, amb un 95%, és \[\left( 4.714286 \pm 2.446912 \cdot \frac{3.988077}{\sqrt{7}} \right) = (1.025929, 8.402642)\]

El problema es resol ràpidament utilitzant la funció t.test per mostres aparellades:

Amb R:

Com $p$-value $= 0.02039 < 0.05$, es rebutja $H_0$

L’interval de confiança de la diferència de temps, amb $\alpha = 0.05$, és $(1.025929, 8.402642)$.

Comparació de variàncies

Es planteja el contrast bilateral sobre la igualtat de variàncies de dues poblacions normals: $\left[H_0: \sigma_1^2 = \sigma_2^2\right]$ i $\left[H_1: \sigma_1^2 \neq \sigma_2^2\right]$.

Es disposa de dues mostres independents i variàncies mostrals corregides $s_1^2$ i $s_2^2$. El quocient \[\frac{\hat{S}_1^2 \cdot \sigma_2^2}{\hat{S}_2^2 \cdot \sigma_1^2}\] compara dues distribucions $\chi^2$ partides pels seus g.l., donat que \[\frac{(n_1 - 1) \cdot \hat{S}_1^2}{\sigma_1^2}\] és $\chi^2_{(n_1 -1)}$ i \[\frac{(n_2 - 1) \cdot \hat{S}_2^2}{\sigma_2^2}\] és $\chi^2_{(n_2 -1)}$.

Per tant es distribueix com una $F$ de Fisher a $H_0$.

L’estadístic \[d = \frac{\hat{S}_1^2}{\hat{S}_2^2} = F_{(n_1 - 1; n_2 - 1)}\] és, doncs, una $F$ de Fisher amb $(n_1 - 1)$ i $(n_2 - 1)$ g.l.

Es cerquen els valors de $F_a$ i $F_b$ tals que $P(F_a \leq F \leq F_b) = 1 - \alpha$.

L’interval $(F_a, F_b)$ és una regió d’acceptació d'$H_0$ amb el nivell $\alpha$ de significació.

Aquest test també és freqüent com a contrast unilateral: $\left[H_0:\ \sigma_1^2 \leq \sigma_2^2\right]$ i $\left[H_1:\ \sigma_1^2 > \sigma_2^2\right]$.

Aleshores es defineix el mateix estadístic amb la nova regió d’acceptació $P(F \leq F_c) = 1 - \alpha$ i $F$ es calcula com $F = (s_1^2 / s_2^2)$.

Es rebutja la hipòtesi d’igualtat de variàncies quan $F > F_c$.

Exemple 17. Comparació de variàncies. F de Fisher.

En un determinat experiment es pretén avaluar l’efecte d’una determinada dieta saludable i l’exercici físic en relació al nivell de colesterol en sang. Es mesura el nivell de colesterol sanguini, abans i després de l’experiment, obtenint-se els següents resultats, en mg/dL:

Es pot afirmar, amb un nivell de significació $\alpha = 0.05$ que la dieta i l’exercici físic disminueixen el nivell de colesterol sanguini?

X1 <- c(265,240,258,295,251,245,287,314,260,279,283,240)

X2 <- c(229,231,227,240,238,241,234,256,247,239,246,218)

mean(X1) $\rightarrow$ 268.0833

mean(X2) $\rightarrow$ 237.1667

var(X1) $\rightarrow$ 555.5379

var(X2) $\rightarrow$ 103.7879

$n_1 = n_2 = 12$

$F = s_1^2/s_2^2 = 555.5379 / 103.7879 = 5.352626848$

La regió crítica de la prova és $F_{(\alpha/2, n_1 - 1, n_2 - 1)} \leq F \leq F_{(1 - \alpha/2, n_1 - 1, n_2 - 1)}$

Aleshores, amb $\alpha = 0.05$: $F_{(1-\alpha/2,n_1-1,n_2-1)} = F_{0.975,11,11} = 3.473699$ i $F_{(\alpha/2,n_1-1,n_2-1)} = F_{0.025,11,11} = 0.2878776$

qf(0.975,11,11) $\rightarrow$ 3.473699

qf(0.025,11,11) $\rightarrow$ 0.2878776

L’interval de la regió crítica és doncs $(0.2878776, 3.473699)$.

L’estadístic $F$ és fora de l’interval i —per tant— es rebutja la igualtat de variàncies. Es conclou que la dieta i l’exercici influeixen sobre el nivell de colesterol en sang —disminuint-lo— segons les mitjanes $\bar X_2 < \bar X_1$. S’hauria de fer ara el contrast sobre diferències de mitjanes amb diferents variàncies desconegudes (apartat següent).

El problema es resol ràpidament utilitzant la funció var.test —test de Fisher per a la comparació de variàncies—:

Amb R:

Com $p$-value $= 0.009753 < 0.05$, es rebutja la igualtat de variàncies.

Mitjanes en mostres independents i diferent variància

Es vol inferir sobre la diferència de dues mitjanes poblacionals $(\mu_1 - \mu_2)$ de dues poblacions $X_1$ i $X_2$ a partir de la informació de dues mostres.

De la població $X_1$ se n’extreu una mostra de mida $n_1$. De la població $X_2$ se n’extreu una mostra de mida $n_2$. Al no compartir cap element, ambdues mostres són independents.

Si les poblacions $X_1$ i $X_2$ són normals —o les mostres són grans— es tindrà que les mesures mostrals de cada població segueixen les distribucions: \[\begin{align*} &\bar{X}_1 \sim \mathcal{N}\left(\mu_1, \frac{\sigma_1^2}{n_1}\right) \\ &\bar{X}_2 \sim \mathcal{N}\left(\mu_2, \frac{\sigma_2^2}{n_2}\right) \end{align*}\]

La inferència sobre $(\mu_1 - \mu_2 )$ —tant els intervals de confiança com els contrastos d’hipòtesis— es fa tractant aquesta diferència de paràmetres com si fos un nou paràmetre $\delta = \mu_1 - \mu_2$, d’estimador $\hat \delta = \bar X_1 - \bar X_2$.

Com la combinació lineal d’elements normals també segueix una distribució normal —es veurà més endavant— i les mostres són independents es té que: \[\left( \bar{X}_1 - \bar{X}_2 \right) \sim N\left[ \left( \mu_1 - \mu_2 \right), \frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2} \right]\]

I, tipificant es té \[Z = \frac{\left( \bar{X}_1 - \bar{X}_2 \right) - \left( \mu_1 - \mu_2 \right)}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}}\]

Amb $Z \sim \mathcal{N}(0,1)$, l’estadístic bàsic per a la inferència sobre $(\mu_1 - \mu_2)$.

Exemple 18. Mitjana de mostres independents amb diferent variància.

Amb les dades de l’exercici anterior —5-16—, efectuïs el contrast sobre diferències de mitjanes amb variàncies desconegudes i diferents.

Es planteja el contrast: $\left[H_0:\ \mu_1 -\mu_2 = 0\right]$ i $\left[H_0:\ \mu_1 -\mu_2 > 0\right]$

Es calcula l’estadístic \[t = \frac{\bar{X}_1 - \bar{X}_2}{\sqrt{\frac{\hat{S}_1^2}{n_1} + \frac{\hat{S}_2^2}{n_2}}} = \frac{268.0833 - 237.1667}{\sqrt{\frac{555.5379}{12} + \frac{103.7879}{12}}} = \frac{30.9166}{\sqrt{54.94381667}} = \frac{30.9166}{7.41240964} \approx 4.171\]

La regió crítica de la prova és $t >t_{(\alpha,\vartheta)}$, amb els g.l.

Calculem: \[\vartheta = \frac{\left( \frac{\hat{S}_1^2}{n_1} + \frac{\hat{S}_2^2}{n_2} \right)^2}{\left( \frac{\hat{S}_1^2}{n_1} \right)^2 \frac{1}{n_1 - 1} + \left( \frac{\hat{S}_2^2}{n_2} \right)^2 \frac{1}{n_2 - 1}} \approx 14.972\]

Per tant, amb $\alpha = 0.05$, $t_{(\alpha,\vartheta)} = t_{(0.05, 14.972)} = 1.753266$

qt(0.05,14.972, lower.tail=F) $\rightarrow$ 1.753266

Com $t = 4.171 > 1.753266$, es rebutja $H_0$. S’accepta la hipòtesi alternativa. Hi ha evidències significatives de que la dieta i l’exercici físic disminueixen el nivell de colesterol en sang.

El problema es resol ràpidament utilitzant la funció t.test —Welch Two Sample t-test— per a mostres no aparellades:

Amb R:

Com $p$-value = 0.0008228<0.05, es rebutja H_0.

Exemple 19. Mitjana de mostres no aparellades amb diferent variància.

Es vol comparar la tensió de trencament de dos tipus de material tèxtil, $M_1$ i $M_2$.

Es mesura la tensió de trencament de cintes de prova, de la mateixa mida i gruix —pels dos materials— i s’obtenen els resultats següents, expressats en kg/mm²:

M1 = { 88.60, 83.54, 84.49, 86.23, 90.16, 83.76, 88.21, 88.12, 88.65, 92.21, 86.11, 87.84, 90.76, 84.53, 89.47, 89.90, 87.19, 88.02, 85.14, 87.09, 86.66, 85.21, 87.13, 87.89 }

M2 = { 75.32, 78.74, 71.92, 75.12, 75.99, 78.70, 75.39, 72.81, 75.13, 74.98, 74.24, 72.34, 80.35, 74.35, 76.16, 72.63, 74.42, 75.81, 76.02, 76.41, 76.21, 73.38, 75.43, 72.45, 80.95, 75.53, 77.26, 76.23, 78.32, 71.50 }

Suposis que les tensions de trencament es distribueixen normalment i que les variàncies poblacionals són diferents.

Es planteja el contrast bilateral: $\left[H_0:\ \overline M1 - \overline M2 = 0\right]$ i $\left[H_0:\ \overline M1 - \overline M2 \neq 0\right]$

M1 <- c( 88.60, 83.54, 84.49, 86.23, 90.16, 83.76, 88.21, 88.12, 88.65, 92.21, 86.11, 87.84, 90.76, 84.53, 89.47, 89.90, 87.19, 88.02, 85.14, 87.09, 86.66, 85.21, 87.13, 87.89)

M2 <- c(75.32, 78.74, 71.92, 75.12, 75.99, 78.70, 75.39, 72.81, 75.13, 74.98, 74.24, 72.34, 80.35, 74.35, 76.16, 72.63, 74.42, 75.81, 76.02, 76.41, 76.21, 73.38, 75.43, 72.45, 80.95, 75.53, 77.26, 76.23, 78.32, 71.50)

mean(M1) $\rightarrow$ 87.37125

mean(M2) $\rightarrow$ 75.46967

var(M1) $\rightarrow$ 5.048046

var(M2) $\rightarrow$ 5.539403

Es calcula l’estadístic \[t = \frac{\bar{X}_1 - \bar{X}_2}{\sqrt{\frac{\hat{S}_1^2}{n_1} + \frac{\hat{S}_2^2}{n_2}}} = \frac{87.37125 - 75.46967}{\sqrt{\frac{5.048046}{24} + \frac{5.539403}{30}}} = \frac{11.90158}{\sqrt{0.6284759476}} = \frac{11.90158}{0.7939628256} = 18.93720841 \]

L’interval de confiança és \[IC(1 - \alpha): \mu_1 - \mu_2 \in \left[ (\bar{X}_1 - \bar{X}_2) \pm t_{\alpha/2, \vartheta} \sqrt{\frac{\hat{S}_1^2}{n_1} + \frac{\hat{S}_2^2}{n_2}} \right]\], amb els g.l. \[\vartheta = \frac{\left( \frac{5.048046}{24} + \frac{5.539403}{30} \right)^2}{\left( \frac{5.048046}{24} \right)^2 \frac{1}{24 - 1} + \left( \frac{5.539403}{30} \right)^2 \frac{1}{30 - 1}} \approx 50.33924653\]

qt(0.025, 50.33924653, lower.tail=F) $\rightarrow$ 2.008224

Per tant, l’interval de confiança del 95 % serà, usant que $t_{(\alpha/2,50.33924653)} = 2.008224$, \[IC(0.95): \mu_1 - \mu_2 \in \left[ (87.37125 - 75.46967) \pm 2.008224 \sqrt{\frac{5.048046}{24} + \frac{5.539403}{30}} \right] \\ IC(0.95): \mu_1 - \mu_2 \in \left( 11.90158 \pm 1.262120482 \right) \\ (10.63945952, 13.16370048)\]

La regió crítica de la prova és $t = 18.93720841 > t_{(\alpha,\vartheta)} = 2.008224$. S’evidencia més resistent el material $M_1$. Sent l’interval de confiança del 95 % al voltant dels 12 kg/mm² d’avantatge respecte al material $M_2$.

El problema es resol ràpidament utilitzant la funció t.test —Welch Two Sample t-test— per mostres no aparellades:

Amb R:

Com $p$-value $< 2.2e-16<0.05$, es rebutja —molt clarament— $H_0$.

Anàlisi de la variància (ANOVA)

La tècnica ANOVA, és molt utilitzada en l’anàlisi de dades biològiques, sent un important suport estadístic matemàtic del disseny experimental. Va ser desenvolupada per Ronald Fisher (1933) ^[2] i compara la variabilitat dins les poblacions amb la variabilitat entre les poblacions. Si aquesta última és prou gran en relació a la primera, es conclou que els grups són diferents respecte la variable d’estudi.

La tècnica és coneguda també com anàlisi factorial perquè estudia l’efecte d’un o més factors —amb dos o més nivells cadascun— sobre la mitjana d’una variable contínua.

És considerat el millor test estadístic per a comparar les mitjanes de dos o més grups. Es pot generalitzar també per estudiar la influència dels factors sobre la variància d’una variable. En general, s’investiga com es diferencien els nivells del factor subjecte d’estudi —el factor tractament— tenint en compte la incidència de factors qualitatius o quantitatius —els factors ambientals—, dels que s’elimina la seva influència sobre la variable observable mediant una adequada descomposició de la variància.

Generalment, es plantegen les hipòtesis:

$H_0$: “Tots els grups tenen igual mitjana sobre la variable estudiada”.
$H_1$: “Hi ha, com a mínim, dues mitjanes diferents de manera significativa”.

La tècnica ANOVA permet també comparar múltiples mitjanes, mediant l’estudi de les variàncies. Bàsicament, es calcula la mitjana de cadascun dels grups i —a continuació— es compara la variància d’aquestes mesures la —intervariància— amb la variància mitjana dins els grups —la intravariància—.

Aleshores, sota la hipòtesi nul·la de que totes les observacions pertanyen a la mateixa població —igual mitjana i variància—, la variància ponderada entre grups serà la mateixa que la variància mitjana dins els grups. A mesura que les mitjanes dels grups s’allunyen entre sí, més s’incrementa la variància entre les mitjanes i més s’allunyarà de la variància mitjana dins els grups.

L’estadístic utilitzat és $F_{ratio}$.

Siguin $S_1^2$ i $S_2^2$ dues mostres independents —de mides $N_1$ i $N_2$— extretes de dues poblacions normals de variàncies respectives $\sigma_1^2$ i $\sigma_2^2$.

El quocient \[F = \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\] es distribueix com una $F$ de Fisher-Snedecor amb $N_1$ i $N_2$ g.l.

En cas de ser certa $H_0$, $F = 1$ —la intervariància és igual a la intravariància—.

Com més diferents siguin les mitjanes dels grups, més gran serà la intervariància en comparació a la intravariància i —per tant— $F > 1$ i la probabilitat de que la distribució tingui aquests valors serà menor. L’estadístic $F$ es pot calcular també com la relació entre la intervariància i la intravariància.

Exemple 20. Variància entre poblacions. Intervariància i intravariància.

La taula següent recull la concentració màxima d’ozó —en parts per cent milions— registrada en deu dies d’estiu en tres jardins públics de la ciutat

Es vol determinar si hi ha diferències entre els jardins.

[Adaptació de l’exemple, MA. Mirás i E. Sánchez, 2018, p.61, 367]

Amb R:

La prova ANOVA ens mostra que no es pot rebutjat la igualtat de mitjanes $(p = 0.113 > 0.05)$.

El test de Tukey ens mostra els intervals de confiança al 95 % per a la diferència de mitjanes —els valors entre $lwr$ i $upr$—. Amb tots els valors de $p > 0.05$.

Es representa el gràfic de mitjanes —considerant les desviacions típiques per les barres d’error— i els diagrames de caixa:

Amb R:

Per tal d’estudiar si el factor jardí té influència sobre la concentració d’ozó, es calculen la inter i intra variància entre jardins:

variancia <- function(x) { ((length(x)-1)/length(x))*var(x) }

variancia(J1) $\rightarrow$ 1.2

variancia(J2) $\rightarrow$ 1.2

variancia(J3) $\rightarrow$ 12.8

variancia(ozo) $\rightarrow$ 5.955556

Es calcula la intravariància M(V): \[M(V) = \frac{(1.2 + 1.2 + 12.8) \cdot 10}{30} \approx 5.07\]

Es calculen les mitjanes pels tres jardins:

mean(J1) $\rightarrow$ 3

mean(J2) $\rightarrow$ 5

mean(J3) $\rightarrow$ 5

mean(ozo) $\rightarrow$ 4.333333

Es calcula la intervariància V(M): \[V(M) = \frac{[(3 - 4.33)^2 + (5 - 4.33)^2 + (5 - 4.33)^2] \cdot 10}{30} \approx 0.09\]

La variabilitat entre jardins representa un $0.09/5.96 × 100 = 1.51$ %. S’ha de concloure que la concentració d’ozó en els tres jardins és similar.

Segons siguin les dades tindrem diferents tipus de disseny ANOVA, amb requeriments i mètodes diferents.

Disseny d’un factor. ANOVA d'una via.

El disseny d’un factor —o ANOVA d’una via o model factorial d’un sol factor— s’utilitza en dades no aparellades quan es vol estudiar si hi ha diferències significatives entre les mitjanes d’una variable aleatòria contínua en els diferents nivells d’altra variable qualitativa o factor. És en realitat una extensió dels $t$-test independents per a més de dos grups.

Es contrasten les hipòtesis —sent $\mu$ la mitjana teòrica general—: $\left[H_0:\ \mu_1 = \mu_2 = \cdots = \mu_k = \mu ()\right]$ i $H_1$: “Hi ha, almenys, dues mitjanes significativament diferents”

Es tracta —com idea general— de detectar la diferència entre les mitjanes comparant la variància entre els grups amb la variància dins els grups. La variabilitat total és igual a la suma de la variabilitat causada pels diferents nivells del factor —la variabilitat explicada pel propi factor— i la variabilitat residual —la variabilitat no explicada pel factor—. El que és equivalent a la suma de la intervariància i la intravariància.

Suposem $\{n_1, n_2,\cdots, n_k \}$ observacions independents sobre una variable aleatòria $X$ en $k$ poblacions normals diferents, de manera que $X$ segueix la distribució $\mathcal{N}(\mu_i, \sigma_i^2)$ en la població $i$, amb $i = \{1, 2, \cdots, k \}$.

[Observació: en el cas en que la distribució sigui marcadament no normal es recomana el test no paramètric de Kruskal-Wallis.]

Es disposa de $k$ mostres aleatòries simples de mida $\{n_1, n_2, \cdots, n_k \}$ respectivament sobre cadascuna de les $k$ poblacions normals diferents: \[\begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1n_1} \\ x_{21} & x_{22} & \cdots & x_{2n_2} \\ \vdots & \vdots & \ddots & \vdots \\ x_{k1} & x_{k2} & \cdots & x_{kn_k} \end{pmatrix}\]

Es calcula:

La mitjana de la població $i$: \[\bar{x}_i = \frac{1}{n_i} \displaystyle\sum_{j=1}^{n_i} x_{ij}\]
El nombre total d’observacions: \[n = \displaystyle\sum_{i=1}^{k} n_i\]
La mitjana global: \[\bar{x} = \frac{1}{n} \displaystyle\sum_{i=1}^{k} \bar{x}_i\]

Suposant homoscedasticitat amb $\sigma_i^2 = \sigma_2^2 = \cdots = \sigma_k^2 = \sigma^2$ —igual variància per a les diferents rèpliques—, totes les observacions provenen de la mateixa població.

[Observació: Si no es pot assegurar l’homoscedasticitat, s’ha de recórrer a la correcció de Welch (Welch test), en R: oneway.test(). L’homoscedasticitat és tant més important com més reduïts són els grups.]

Es verifica $x_{ij} = \mu_i + e_{ij}$, amb \[\begin{align*} i &= \{1, 2, \dots, k\} \\ j &= \{1, 2, \dots, n_i\} \end{align*}\] $\forall i,j, e_{ij}$ independent i distribució $\mathcal{N}(0,\sigma^2)$.

Es considera la hipòtesi nul·la $\left[H_0:\ \mu_1 = \cdots = \mu_k\right]$ i es té que $Q_t = Q_e + Q_d$. Amb:

La suma de quadrats total. La suma dels quadrats de les diferències de cada observació respecte la mitjana general de totes les observacions. \[Q_t = \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{n_i} (x_{ij} - \bar{x})^2\]
La suma dels quadrats de les desviacions de la mitjana de cada grup respecte la mitjana general, ponderant cada diferència al quadrat pel nombre d’observacions de cada grup. \[Q_e = \displaystyle\sum_{i=1}^{k} n_i (\bar{x}_i - \bar{x})^2\]
La suma de quadrats dins els grups. La suma dels quadrats de les desviacions de cada observació respecte la mitjana del nivell al que pertany. \[Q_d = \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{n_i} (x_{ij} - \bar{x}_i)^2\]

Es calcula aleshores l’estadístic \[F = \frac{Q_e / (k - 1)}{Q_d /(n - k)}\] i donat \[F_\alpha \mid P(F > F_\alpha) = \alpha\], amb $\alpha$ el nivell de significació. El criteri de decisió és rebutjar $H_0$ si $F > F_\alpha$.

És a dir \[F_{ratio} = \frac{V(M)}{M(V)} \approx F_{k-1, n-k}\], amb $V(M)$ la intervariància i $M(V)$ la intravariància.

Tot el procés de calcul es sol expressar en forma de taula:

$Q_e$ mesura la variabilitat associada a l’efecte del factor sobre la mitjana —la diferència de les mitjanes entre els diferents nivells o grups—.

$Q_d$ mesura la variabilidad dins cada nivell —la variabilitat que no es deu al factor—. És l’error residual, donat que es considera estadísticament que la variabilitat prové dels errors de mesura. Des d’un punt de vista biològic, té més sentit anomenar-ho suma de quadrats dins els grups. Donat que la variabilitat observada pot ser deguda a molts altres factors, desconeguts a priori.

$Q_t$ mesura la variabilitat total de les dades.

A més —sent $\alpha_i$ l’efecte del nivell $i$ — les hipòtesis inicials són equivalents a: $\left[H_0:\ \alpha_1 = \alpha_2 = \cdots = \alpha_i = 0\right]$ i $\left[H_1:\ \exists i, \alpha_i \neq 0 \right]$, donat que $\mu_i = \mu + \alpha_i$.

Exemple 21. Tractament de la hipertensió arterial. ANOVA d’un factor.

Es vol avaluar l’eficàcia d’un fàrmac antihipertensiu comparada amb una dieta sense sal. Es seleccionen aleatòriament 25 hipertensos —amb pressions equivalents— distribuïts a l’atzar en 5 grups de cinc individus.

Al primer grup no se’ls subministra cap tractament. El segon grup segueix una dieta pobre en sal. El tercer grup segueix una dieta sense sal. El quart grup rep el medicament a una determinada dosi. El cinquè grup rep el medicament a altra dosi.

Al final del tractament es mesura la pressió arterial dels 25 individus —en mm Hg—:

Hi ha diferències estadísticament significatives en els resultats? (amb $\alpha = 0.05$).

Sigui $X$ la variable aleatòria que recull els resultats. Es planteja $H_0$: “Tots els resultats pertanyen a la mateixa població”

Segons l’enunciat: $n = 25; \quad k = 5; \quad n_i = 5; \quad (1 \leq i \leq k) $

\[ \begin{align*} &\bar{x} = \frac{1}{n} \sum_{i=1}^{k} \bar{x}_i = \frac{180 + 172 + 163 + \cdots + 170 + 155 + 160}{25} = 163.72 \\ &\bar{x}_i = \frac{1}{n_i} \sum_{j=1}^{n_i} x_{ij} \end{align*}\]

Per exemple, \[ \begin{align*} &\bar{x}_1 = \frac{180 + 173 + 175 + 182 + 181}{5} = 178.2 \\ \vdots \\ &\bar{x}_5 = \frac{147 + 152 + 143 + 155 + 160}{5} = 151.4 \\ &Q_e = \sum_{i=1}^{k} n_i (\bar{x}_i - \bar{x})^2 = 5[(178.2 - 163.72)^2 + \cdots + (151.4 - 163.72)^2] = 2010.64 \\ &Q_d = \sum_{i=1}^{k} \sum_{j=1}^{n_i} (x_{ij} - \bar{x}_i)^2 = (180 - 178.2)^2 + \cdots + (160 - 151.4)^2 = 894.4 \\ &Q_t = \sum_{i=1}^{k} \sum_{j=1}^{n_i} (x_{ij} - \bar{x})^2 = (180 - 163.72)^2 + \cdots + (160 - 163.72)^2 = 2905.04 \\ &\bar{Q}_e = \frac{Q_e}{k - 1} = \frac{2010.64}{5 - 1} = 502.66 \\ &\bar{Q}_d = \frac{Q_d}{n - k} = \frac{894.4}{25 - 5} = 44.72 \\ &F_{ratio} = \frac{\bar{Q}_e}{\bar{Q}_d} = \frac{502.66}{44.72} = 11.240161 \end{align*}\]

qf(0.05,4,20, lower.tail=F) $\rightarrow$ 2.866081

$F_{ratio} =11.240161 >F_{(\alpha,(n-k))} = 2.866081$

Com $F_{ratio} >F_{(\alpha,(n-k))}$, es pot rebutjar $H_0$ i concloure que els resultats són significativament diferents.

Amb R:

S’observa que el valor de $Pr(>F)$ és totalment significatiu i es pot rebutjar $H_0$. De fet amb una probabilitat inferior a 0.0001 d’equivocar-nos ($F_{0.0001,20} = 10.41472 < F$).

En cas de que el valor de $F$ sigui significatiu, el test ens indica que —almenys— dues de les mitjanes comparades són diferents però no ens indica quines són. És necessari doncs un test post-hoc.

Es pot contrastar —per exemple— la hipòtesi parcial de la igualtat entre dos nivells determinats ($\alpha_i = \alpha_j$) utilitzant l’estadístic [El t.test de R, o similar. \[t = \frac{\bar{x}_i - \bar{x}_j}{\sqrt{\frac{Q_d}{n - k}}} \sqrt{\frac{n_i n_j}{n_i + n_j}}\] que segueix la distribució $t$ de Student amb $(n-k)$ g.l.

L’estudi post-hoc pot precisar de determinades correccions del nivell de significació per tal d’evitar l’error de tipus I —els falsos positius—. Contra més comparacions es fan més augmenta la probabilitat de trobar diferències significatives —per a $\alpha = 0.05$, de cada 100 comparacions se n’esperen 5 significatives només per atzar—. Si els tests són independents, la probabilitat de que almenys 1 dels 100 tests rebutgi incorrectament la hipòtesi nul·la és del 99.4%:

1-dbinom(x=0,size=100,prob=0.05) $\rightarrow$ 0.9940795

En el cas de comparacions múltiples s’utilitzen molts tests estadístics i s’incrementa per tant la probabilitat de l’error de tipus I. El family-wise error rate $(\bar \alpha = FWER)$. Amb $k$ comparacions independents, el FWER ve donat per l’equació: $\bar \alpha = 1 - (1 - \alpha)^k$. En l’exemple, $\bar \alpha = 1 - (1 - 0.05)^100 = 0.9940795$.

Per contra —si s’és massa estricte amb el nivell de significació— es poden arribar a generar errors de tipus II (els falsos negatius).

El nivell correcte de significació s’ha d’estudiar cas per cas. Vegem ara els principals mètodes de comparació post-hoc —amb i sense correcció—.

Intervals LSD de Fisher

El mètode dels intervals LSD de Fisher —Least Significance Method— genera intervals de confiança per a totes les diferències aparellades entre les mitjanes dels nivells dels factors —al temps que es controla la tassa d’error individual d’un nivell especificat—. Posteriorment, s’utilitza la tassa d’error individual i més comparacions per a calcular el nivell de confiança simultània per a tots els intervals de confiança com la probabilitat de que tots ells continguin la verdadera diferència. Al realitzar múltiples comparacions, augmenta la probabilitat de cometre un error de tipus I. Pel que és important considerar la tassa d’error per família.

Es tracta —bàsicament— de generar un conjunt de $t$-test individuals. Amb la diferència de que es calcula la pooled SD a partir de tots els grups. Com més s’allunyen els intervals de dos grups, més diferents són les seves mitjanes. La diferència serà significativa si els intervals no es solapen.

És important destacar-ne dos punts: a) els intervals LSD no representen l’interval de confiança per a cadascuna de les mitjanes; b) el mètode LSD no es pot utilitzar per a determinar significància, únicament per a identificar quins grups tenen les mitjanes més allunyades.

Sigui $\bar x_i$ la mitjana mostral d’un grup, aleshores —Assumint homoscedasticitat i normalitat en els diferents grups— la desviació típica estimada de $\bar x_i$ és igual a l’arrel quadrada de $Q_d/(n-k)$ —els quadrats mitjans de l’error, l’estimació de la intravariància o variància de l’error— dividida pel nombre n d’observacions i l’interval LSD es defineix com: \[\bar{x}_i \pm \frac{\sqrt{2}}{2} t_{\alpha, (n-k)} \sqrt{\frac{Q_d / (n - k)}{n}}\]

Com més s’allunyen els intervals de dos grups més allunyades són les seves mitjanes. La diferència és significativa si els intervals no es solapen.

Exemple 22. Tractament de la hipertensió arterial. LSD de Fisher.

Continuant amb l’exercici anterior:

Amb R:

Sembla ser que el millor tractament és el del grup 5 —medicament a altra dosi— i que els resultats dels grups 2 i 3 —dieta pobre en sal i sense sal— són força semblants.

A l’exemple s’utilitza l’ajustament —o correcció— de Bonferroni ^[3], que consisteix en dividir el nivell de significança $\alpha$ entre el nombre de comparacions —dos a dos— realitzades. S’assegura així que la probabilitat d’almenys un fals positiu entre totes les comparacions (el family-wise error rate) és $\leq \alpha$, un dels més utilitzats. Aquesta correcció, pot portar a errors d’interpretació dels resultats —els errors de tipus I— especialment en l’àmbit biomèdic. S’ha d’anar molt en compte.

Sense entrar en més detall, alternatives a la correcció de Bonferroni són: la de Holm-Bonferroni, el Tukey-Kramer HSD —Honest Significant Difference— i el test de Dunnett.

Aquests mètodes es dirigeixen tots a corregir la inflació de l’error de tipus I. La probabilitat de rebutjar la hipòtesi nul·la tot i ser certa. Són tots aproximacions útils quan s’implementen un nombre limitat de comparacions. En escenaris [Large-scale multiple testing] en els que es poden realitzar milers de tests simultanis, el seu resultat és massa conservatiu i no es poden detectar les diferències reals.

En aquests casos l’alternativa és el FDR. [False discovery rate] Controlar la probabilitat de que la hipòtesi nul·la sigui certa tot i haver estat rebutjada pel test estadístic.

El FDR es pot definir també com:

La proporció esperada de tests en els que la hipòtesi nul·la és certa. Entre tots els considerats significatius.
La proporció esperada de tests considerats significatius en els que la hipòtesi nul·la és certa.
La proporció de tests significatius que realment no ho són.
La proporció esperada de falsos positius d’entre tots els tests considerats significatius.

El FDR estableix un límit de significança per a un conjunt de tests tal que —d’entre tots els considerats significatius— la proporció de falsos positius no superi un determinat valor.

Un FDR del 5% ens indica així que —com a molt— un 5% dels resultats significatius no ho són realment —són falsos positius—.

Exemple 23. Inconvenients de la correcció de Bonferroni.

Un investigador realitza 20 contrasts d’hipòtesis, amb $\alpha = 0.05$ Tots resulten en un $p$-value de 0.001.

Aplica la correcció de Bonferroni i resulta: $\hat \alpha = 0.05/20 = 0.0025$, de manera que conclou que els 20 tests són significatius $(0.0025 > 0.001)$.

Un segon investigador reprodueix uns resultats similars en altre laboratori amb les mateixes conclusions però —per més seguretat— n’efectua 80 tests més. Aplica la correcció de Bonferroni i resulta: $\hat \alpha = 0.05 / 100 = 0.0005$, de manera que conclou que els 80 tests no són significatius $(0.0005 <0.001)$.

Una taxa baixa de falsos positius no té perquè traduir-se en una baixa taxa de falsos negatius (FDR). Aquesta depèn de la freqüència amb que la hipòtesi nul·la contrastada sigui realment certa. Per tant, la proporció de falsos positius depèn de la quantitat d’hipòtesis nul·les que són certes. En la realitat —molt sovint— l’investigador te poc o cap coneixement a priori de la proporció d’hipòtesis nul·les certes d’entre tots els contrastos realitzats. Si no fos així es podria ajustar amb precisió el límit adequat de significació per a cada escenari.

El FDR es sol utilitzar en escenaris amb cents o milers de comparacions. Encara que també es pot utilitzar en estudis de menor volada.

Una primera aproximació per a controlar el FDR és descrita per Benjamini i Hochberg (1995) ^[4].

Segons Benjamini-Hochberg, si es vol controlar que en un estudi amb $n$ comparacions el FDR no superi un cert percentatge $q$ s’ha de seguir el següent procediment:

S’ordenen els p-value dels n tests en ordre ascendent $(p_1, p_2, \cdots ,p_n)$.
S’assigna el rang corresponent a cada p-value de la llista resultant.
Es calcula el valor crític de Benjamini-Hochberg per a cada $p$-value. Segons la fórmula $(r_i /n)q$. On $r_i$ és el rang corresponent al $p$-value $p_i$.
Es comparen els p-value inicials amb els valors crítics del punt anterior, seleccionant el major $p$-value que sigui més petit que el seu corresponent valor crític.
Es consideren significatius tots els p-value fins la posició en que s’acompleix el punt anterior.

El mètode de Benjamini-Hochberg assumeix —per tal d’estimar el nombre de falsos negatius— que totes les hipòtesis nul·les són certes. Conseqüentment, l’estimació del FDR és inflacionària i —per tant— conservativa.

Altres mètodes més sofisticats estimen la freqüència d’hipòtesis nul·les certes a partir de la distribució dels $p$-values.

És pot trobar informació més detallada sobre comparacions múltiples a:

"Joaquín Amat Rodrigo (2016) "Comparaciones múltiples: corrección de $p$-value y FDR", available under a Attribution 4.0 International (CC BY 4.0)
"John H. McDonald (2014) "Handbook of Biological Statistics" (3rd ed.). Sparky House Publishing, Baltimore, Maryland. pp. 254-260.

Mida de l’efecte $(\eta^2)$

Quan es vol mesurar quanta variància de la variable dependent és el resultat de la influència de la variable qualitativa independent, la influència de la variable independent —el factor— sobre la variable dependent, s’utilitza la mida de l’efecte $(\eta^2)$. Definida com la relació entre la suma de quadrats entre grups i la suma de quadrats total: $\eta^2 = Q_e / Q_t$

La mida de l’efecte es classifica com a petita (0.01) – mitjana (0.06) – gran (0.14).

Exemple 24. Mida de l’efecte $(\eta^2)$.

Continuant amb l’exercici 21, calculem-hi la mida de l’efecte.

$\eta^2 = Q_e / Q_t = 2010.64 / 2905.04 = 0.6921212789$

Amb R:

Potència del test

Es defineix la potència d’un test estadístic —o poder estadístic— com la probabilitat d’acceptar la hipòtesi alternativa quan aquesta es certa —rebutjar la hipòtesi nul·la sent falsa—. És a dir, la probabilitat de no cometre un error de tipus II. Si $\beta$ és igual a la taxa de falsos negatius, la potència del test és $1 - \beta$.

La potència d’un test estadístic depèn dels següents factors:

La mida $n$ de la mostra.
La mida de l’efecte —la diferència entre els grups—.
El nivell $\alpha$ de significació.

Exemple 25. Potència del test.

Amb les dades de l’exercici 5-21, quina mida de la mostra es necessitaria per a obtenir una potència del 80 % amb $\alpha = 0.001$?

Amb R:

Es necessitarien, doncs, 12 pacients per grup.

Segons el tipus d’estudi el càlcul de la potència és diferent. Es pot trobar tota la informació a la documentació de la llibreria pwr:

Dues proporcions —igual mida—: pwr.2p.test( h=, n=, sig.level=, power=NULL, alternative=)
Dues proporcions —diferent mida—: pwr.2p2n.test( h=, n1=, n2=, sig.level=, power=NULL, alternative=)
ANOVA d’un factor: pwr.anova.test(k=, n=, f=, sig.level=, power=NULL)
Test chi-quadrat: pwr.chisq.test(w=, N=, df=, sig.level=, power=NULL)
Model estadístic lineal: pwr.f2.test(u=, v=, f2=, sig.level=, power=NULL)
Proporció —una mostra—: pwr.p.test( h=, n=, sig.level=, power=NULL, alternative =)
Correlació: pwr.r.test( n=, r=, sig.level=, power=NULL, alternative =)
t-test —1, 2 mostres, aparellades—: pwr.t.test( n=, d=, sig.level=, power=NULL, type=c("two.sample","one.sample","paired", alternative=)
Dues mostres, t-test mitjanes: pwr.t2n.test(n1=, n2=, d=, sig.level=, power=NULL, alternative=)

Disseny de dos factors. ANOVA de dues vies.

El disseny de dos factors —o ANOVA de dues vies— estudia la relació entre una variable dependent quantitativa i dues variables independents qualitatives —el factors—. Cadascuna amb més d'un nivell.

Suposis —per exemple— que es pretén estudiar l’efecte d’un fàrmac per a regular el nivell de colesterol en sang —la variable quantitativa dependent— en funció del sexe i de l’activitat física del pacient. Amb dos nivells en el sexe —home, dona— i tres en l’activitat física —sedentari, actiu, esportista— —es marquen en lletra cursiva les variables de l’estudi—.

Es disposa de dos models:

El model additiu permet visualitzar la influència de cada factor per separat sobre la variable dependent. S’analitza cóm varia l’efecte del fàrmac dependent del sexe sense diferenciació per l’edat. O cóm varia l’efecte del fàrmac dependent de l’activitat sense diferenciar pel sexe.
El model amb interacció permet visualitzar la influència de les combinacions —les interaccions— que es poden donar entre les variables. S’analitza si la influència d’un dels factors varia en funció dels nivells de l’altre factor. Si la influència del factor sexe sobre l’activitat del fàrmac varia segons l’edat —si el fàrmac actua de diferent forma segons l’edat o l’activitat—.

Vegem amb més detall els diferents models d’ANOVA de dues vies.

Model additiu ANOVA de dues vies. Blocs aleatoritzats

Es suposa que l’observació d’una variable aleatòria $X$ és influenciada per dues fonts de variabilitat o factors: un factor fila —amb $a$ nivells— i un factor columna —amb $b$ nivells—. Es suposa també que l’efecte dels dos factors és additiu i que es disposa de $n = a \cdot b$ observacions úniques: \[\begin{array}{|c|c|c|c|c|c|c|} \hline x_{11} & x_{12} & \cdots & x_{1b} & x_{1.} \\ x_{21} & x_{22} & \cdots & x_{2b} & x_{2.} \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ x_{a1} & x_{a2} & \cdots & x_{ab} & x_{a.} \\ \hline x_{.1} & x_{.2} & \cdots & x_{.b} & x \\ \hline \end{array} \]

, amb \[x_{i.} = \frac{1}{b} \sum_{j=1}^{b} x_{ij} \quad \quad x_{.j} = \frac{1}{a} \sum_{i=1}^{a} x_{ij} \quad \quad \bar{x} = \frac{1}{ab} \sum_{i=1}^{a} \sum_{j=1}^{b} x_{ij} \]

En aquestes condicions es defineix el model de disseny de dos factors amb una observació per casella com: $x_{ij} = \mu + \alpha_i + \beta_j + e_{ij}$

Aquest model és l’utilitzat pel disseny en blocs aleatoritzats, molt emprat en investigacions agrícoles. Per exemple, es comparen $a$ tractaments —els fertilitzants— en $b$ blocs —les parcel·les) — repartint aleatòriament els a tractaments en cada bloc. S’analitza si hi ha diferències entre els tractaments $(\alpha_i)$ i entre els blocs $(\beta_j)$. Per tal de que l’efecte bloc sigui el mateix per a tots els tractaments, els blocs han de ser totalment homogenis.

En aquest model:

$\mu$: la mitjana general.
$\alpha_i$: l’efecte nivell $i$ del factor fila.
$\beta_j$: l’efecte nivell $j$ del factor columna.
$e_{ij}$: la desviació aleatòria, amb distribució $\mathcal{N}(0, \sigma^2)$. Es suposa que totes les desviacions són estocàsticament independents.

Es plantegen les hipòtesis nul·les —segons es pretengui demostrar l’absència d’efecte fila o d’efecte columna—:

$\left[H_{0_{fila}}:\ \alpha_1 = \alpha_2 = \cdots = \alpha_a = 0\right]$ —no hi ha efecte fila—
$\left[H_{0_{columna}}:\ \beta_1 = \beta_2 = \cdots = \beta_b = 0\right]$ —no hi ha efecte columna—

Es defineixen: \[\begin{align*} Q_t &= \sum_{i=1}^{a} \sum_{j=1}^{b} (x_{ij} - \bar{x})^2 \\ Q_f &= b \sum_{i=1}^{a} (x_{i.} - \bar{x})^2 \\ Q_c &= a \sum_{j=1}^{b} (x_{.j} - \bar{x})^2 \\ Q_r &= \sum_{i=1}^{a} \sum_{j=1}^{b} (x_{ij} - x_{i.} - x_{.j} + \bar{x})^2 \end{align*}\]

i s'acompleix la igualtat: $Q_t = Q_f + Q_c + Q_r$

Si $H_{0_{fila}}$ és certa, \[\begin{align*} &Q_f / (a - 1) \\ &Q_r / (a - 1)(b - 1) \end{align*}\], estimacions centrades i independents de $\sigma^2$. El quocient de les dues estimacions segueix una distribució $F_{((a-1),(a-1)(b-1))}$·

Si $H_{0_{columna}}$ és certa: \[\begin{align*} &Q_c / (b - 1) \\ &Q_r / (a - 1)(b - 1) \end{align*}\], estimacions centrades i independents de $\sigma^2$. El quocient de les dues estimacions segueix una distribució $F_{((b-1),(a-1)(b-1))}$·

En tots dos casos es rebutja la hipòtesi nul·la si la $F$ calculada és significativa. Tot el procés de càlcul es sol expressar en forma de taula:

Si es desitja contrastar la hipòtesi parcial de que dos efectes fila són iguals: $\left[H_0:\ \alpha_i = \alpha_j\right]$, es calcula l’estadístic \[t = \frac{x_{i.} - x_{.j}}{\sqrt{\frac{\bar{Q_r}}{b/2}}}\] que segueix una $t$ de Student amb $(a-1)(b-1)$ g.l.

Exemple 26. Fertilitzants i parcel·les. Blocs aleatoritzats.

Es pretén estudiar l’efecte de 4 fertilitzants sobre la producció d’un determinat vegetal. Es disposa de 5 finques, dividida cadascuna en 4 parcel·les d’igual mida i característiques del sòl.

Es distribueixen aleatòriament els fertilitzants entre les parcel·les de cada finca i es recull la producció del vegetal en Tm. Els resultats es recullen a la taula següent:

Hi ha diferències entre fertilitzants?

Hi ha diferències entre finques, independentment del fertilitzant?

Calculem les variables de l’estudi i les representem sobre la taula de l’enunciat:

\[\begin{align*} &Q_r = \sum_{i=1}^{a} \sum_{j=1}^{b} (x_{ij} - x_{i.} - x_{.j} + \bar{x})^2 = 0.45 \\ &Q_t = \sum_{i=1}^{a} \sum_{j=1}^{b} (x_{ij} - \bar{x})^2 = 2.25 \end{align*}\]

qf(0.05,4,12,lower.tail=F) $\rightarrow$ 3.259167

Com 2.64 < 3.26, es conclou que no hi ha diferències significatives entre les parcel·les.

qf(0.05,3,12,lower.tail=F) $\rightarrow$ 3.490295

Com 12.58 > 3.49, es conclou que hi ha diferències força significatives entre els fertilitzants.

Amb R:

L’efecte parcel·la és mitjà. L’efecte fertilitzant és molt gran.

Model amb interacció ANOVA de dues vies.

Es suposa que sobre una variable observable $X$ actuen dos factores —$fila$ i $columna$—, amb $a$ i $b$ nivells. Per a cadascuna de les $a \cdot b$ condicions experimentals, s’han fet $r$ rèpliques. Amb un total d’observacions $n = a \cdot b \cdot r$.

Es considera el model: \[x_{ijh} = \mu + \alpha_i + \beta_j + \gamma_{ij} + e_{ijh}\], on $1 \leq i \leq a$, $1 \leq j \leq b$ i $1 \leq h \leq r$.

Amb les restriccions:

\[\begin{align*} &\displaystyle\sum_{i=1}^{a} \alpha_i = \displaystyle\sum_{j=1}^{b} \beta_j = 0 \\ &\displaystyle\sum_{i=1}^{a} \gamma_{ij} = 0, \ \forall j \\ &\displaystyle\sum_{j=1}^{b} \gamma_{ij} = 0, \ \forall i \end{align*}\]

En aquest model:

$\mu$: la mitjana general.
$\alpha_i$: l’efecte nivell i del factor fila.
$β_j$: l’efecte nivell j del factor columna.
$γ_{ij}$: l’efecte de la interacció entre el nivell i del factor fila i el nivell j del factor columna. Mesura la desviació respecte el model additiu: \[\gamma_{ij} = E(x_{ijh}) - \mu - \alpha_i - \beta_j\], on $E(x_{ijh})$ és el valor esperat de l’observació $x_{ijh}$. Observis que si $γ_{ij} = 0$ $\forall i,j)$ hi ha additivitat complerta. Si $r > 1$ es pot estudiar la interacció. Si $r = 1$ som en el cas dels blocs aleatoritzats, sense interacció.
$e_{ij}$: desviació aleatòria, amb distribució $\mathcal{N}(0, \sigma^2)$. Es suposa que totes les desviacions són estocàsticament independents.

Es plantegen les hipòtesis a contrastar:

$\left[H_{{0}_{fila}}:\ \alpha_1 = \alpha_2 = \cdots = \alpha_a = 0 \right]$ —no hi ha efecte fila—.
$\left[H_{{0}_{columna}}:\ \beta_1 = \beta_2 = \cdots = \beta_b = 0 \right]$ —no hi ha efecte columna—.
$\left[H_{{0}_{interacció}}:\ \gamma_{11} = \gamma_{12} = \cdots = \gamma_{ab} = 0 \right]$ —no hi ha efecte interacció—.

Aleshores, si es defineixen: \[\begin{align*} &\bar{x} = \frac{1}{abr} \sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{h=1}^{r} x_{ijh} \\ &x_{i..} = \frac{1}{br} \sum_{j=1}^{b} \sum_{h=1}^{r} x_{ijh} \\ &x_{.j.} = \frac{1}{ar} \sum_{i=1}^{a} \sum_{h=1}^{r} x_{ijh} \\ &x_{ij.} = \frac{1}{r} \sum_{h=1}^{r} x_{ijh} \\ &Q_t = \sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{h=1}^{r} (x_{ijh} - \bar{x})^2 \\ &Q_f = br \sum_{i=1}^{a} (x_{i..} - \bar{x})^2 \\ &Q_c = ar \sum_{j=1}^{b} (x_{.j.} - \bar{x})^2 \\ &Q_i = r \sum_{i=1}^{a} \sum_{j=1}^{b} (x_{ij.} - x_{i..} - x_{.j.} + \bar{x})^2 \\ &Q_r = r \sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{h=1}^{r} (x_{ijh} - x_{ij.})^2 \end{align*}\], s'acompleix la igualtat: $Q_t = Q_f + Q_c + Q_i +Q_r$·

En cas de que la interacció sigui clarament no significativa, es pot afegir $Q_i$ a $Q_r$ per a formar un nou residu, amb $(a - 1)(b - 1) + ab(r - 1)$ g.l., i calcular de nou els quocients $F$ per tal d’estudiar-hi l’efecte fila i l’efecte columna.

Tot el procés de càlcul es sol expressar en forma de taula:

Exemple 27. Tractament de la hipertensió. ANOVA dos factors amb interacció.

Es pretén estudiar l’efecte de dos fàrmacs antihipertensius ($A$ i $B$). Es disposa de 80 malalts, de característiques similars, escollits aleatòriament i distribuïts en 8 grups homogenis —4 de dones i 4 d’homes, amb 10 rèpliques per grup—.

Se’ls administra a l’atzar un tractament diferent: un placebo, una dosi del fàrmac $A$, una dosi equivalent del fàrmac $B$ o una combinació d'ambdós dos fàrmacs.

Un mes després es registra el descens observat de la pressió arterial sistòlica (en mm Hg):

Hi ha diferències entre els tractaments?

Hi ha diferències entre sexes?

S’observa interacció entre el tractament i el sexe?

Amb R:

El resultat ens indica una diferència clara respecte als tractaments (trac).

qf(0.05,3,72,lower.tail=FALSE) $\rightarrow$ 2.731807

Clarament $24.9037 > 2.731807$.

No hi ha diferència estadísticament significativa respecte a sexe. No s’observa interacció entre els factors.

La manca d’interacció ens indica que els efectes dels dos factores no són additius. Dos factors són additius si, quan es donen junts, el seu efecte és la suma dels efectes que tenen per separat Si en un estudi s’observa interacció entre dos factors, no té ja sentit estimar-hi els efectes dels factors per separat.

En Biologia s’anomena sinèrgia o potenciació a la interacció positiva —quan l’efecte dels factors actuant junts és major que la suma d’efectes actuant per separat— i s’anomena inhibició a la interacció negativa —quan l’efecte dels factors actuant junts és menor que la suma d’efectes actuant per separat—.

Amb R:

S’observa que el factor tractament té un efecte molt gran.

Gràficament, s’observa amb claredat que la combinació dels dos fàrmacs obté millors resultats, tant en dones com en homes. Tanmateix, a la figura, sembla clar que el fet de ser dona potencia l’efecte dels fàrmacs.

Exemple 28. Quadrat llatí.

Es pretén comparar la producció de quatre varietats d’arròs: A, B, C i D.

Per tal de fer-ho, es divideix aleatòriament una finca en 16 parcel·les, disposant-se les llavors de les quatre varietats d’acord amb un disseny de quadrats llatins. Es registra la producció obtinguda a la següent collita (en $q$).

[Adaptació de l’exemple, C. M. Cuadras, 2016, Vol.2, p.197]

Hi ha diferències estadísticament significatives entre la producció de les quatre varietats d’arròs?

Hi ha diferències estadísticament significatives entre les parcel·les (files x columnes)?

Es tracta d’una distribució en quadrat llatí.

Amb R:

S’observen diferències significatives entre les quatre varietats. No s’observen diferències significatives entre files ni entre columnes.

Exemple 29. ANOVA dos factors. Factors niats.

Un geòleg pretén estudiar el contingut en traces radioactives de 5 tipus diferents de sòl: $A, B, C, D, E$.

Recull 16 mostres per a cada tipus de sòl, distribuïdes en 20 localitats diferents —4 localitats per tipus de sòl—. Els resultats es registren a la taula següent:

Hi ha diferències estadísticament significatives entre els diferents tipus de sòl?

Hi ha diferències estadísticament significatives entre les diferents localitats?

[Adaptació de l’exemple, C. M. Cuadras, 2016, Vol.2, p.201]

Es tracta d’un disseny niat.

Amb R:

S’observa que, amb $\alpha = 0.05$, no hi ha diferències estadísticament significatives ni entre tipus de sòl ni entre localitats:

qf(0.05,4,60,lower.tail=F) $\rightarrow$ 2.525215 > 1.053

qf(0.05,15,60,lower.tail=F) $\rightarrow$ 1.836437 > 1.762

S’observa que, amb $\alpha = 0.1$, sí que hi ha diferències estadísticament significatives entre localitats.

qf(0.1,15,60,lower.tail=F) $\rightarrow$ 1.603368 < 1.762

Per a veure les diferències per nivell es calculen primer les sumes per localitat i tipus de sòl:

dades <- data.frame(cbind(rad,tp_sol, loc)

Suma per localitat: tapply(dades$rad,dades$loc,sum)

Suma per tipus de sòl: tapply(dades$rad,dades$tp_sol,sum)

Suma total: 402

Es calcula el contrast per a cada nivell —tipus de sòl— de manera individual:

Per exemple, per al nivell A.

$\text{Sum } S_{qA} = \frac{1}{4}(16^2 + 33^2 + 17^2 + 27^2) - \frac{1}{16} 93^2 = 50.2$

De la mateixa manera es calcula el contrast per als altres nivells i es registren els resultats en la següent taula:

S’observen diferències estadísticament significatives en els nivells $B$ i $C$: respecte als tipus de sòl $B$ i $C$, les localitats tenen valors de radioactivitat significativament diferents.

qf(0.1,3,60,lower.tail=F) $\rightarrow$ 2.177411. Amb $2.177411 < 3.93$ i $2.177411 < 2.33$

Exemple 30. Resultats acadèmics. ANOVA d’un factor.

Es vol saber si hi ha variabilitat en la preparació de les proves d’accés a la universitat entre diferents centres de batxillerat d’una mateixa comarca educativa.

Es seleccionen a l’atzar 5 centres i 10 alumnes de cada centre que hagin cursat el mateix currículum. Posteriorment es recull la nota d’accés a la universitat de cada alumne:

Determinis si hi ha variabilitat entre centres i quina és aquesta variabilitat (amb $\alpha=0.01$).

Sigui $\sigma_c^2$ la variabilitat entre centres. Aleshores la hipòtesi nul·la és: $\left[H_0:\ \sigma_c^2 = 0\right]$, és a dir, que no hi ha variabilitat entre centres.

Amb R:

Com $7.065 > 3.767427$, s’ha de concloure que sí que hi ha diferències significatives entre els centres. Gràficament, s’observa que el centre número 2 és el que treu millors resultats i el centre número 4 és el que els treu pitjors.

Igualant els quadrats mitjans observats amb els quadrats mitjans esperats, es té:

$\sigma^2 = 1.157$

$ 7.065 = 1.157 +10 \cdot \sigma_c^2 \implies \sigma_c^2 =(7.065 - 1.157)/10 = 0.5908$

La variabilitat estimada entre centres és doncs: $\sigma_c = \sqrt {0.5908} \approx 0.77$ punts.

Contrast de la raó de versemblança

El test de raó de versemblança és un test estadístic per a comparar la bondat de l'ajust de dos models. Un dels quals —el model nul o hipòtesi nul·la— és un cas especial de l'altre —el model alternatiu o hipòtesi alternativa—.

La prova es basa en la raó de versemblança. Expressa quantes vegades és més probable que les dades estiguin en un model que en l'altre. Aquesta raó de versemblança —o, equivalentment, el seu logaritme— es pot utilitzar per calcular un valor p; o comparar-la amb un valor crític per decidir si es rebutja el model nul a favor del model alternatiu. Quan s'utilitza el logaritme de la raó de versemblança, diem que l'estadístic és un estadístic de raó de $log$-versemblança. La distribució de probabilitat d'aquest test estadístic —suposant que el model nul sigui cert— es pot aproximar emprant el teorema de Wilks (1938).

En un contrast estadístic de la raó de versemblança, la mesura de la discrepància no és definida en termes de diferència entre el valor assignat al paràmetre de la hipòtesi nul·la $H_0$ i el que s’obté a partir d’un estimador del mateix. Es basa en la comparació per quocient de la raó de versemblança —avaluada en $\left[H_0:\ \theta = \theta_0\right]$— i la funció de versemblança en un punt màxim.

En el cas de distingir entre dos models —on cap dels dos no té cap paràmetre— es pot justificar l'ús del test de raó de versemblança —segons el lema de Neyman-Pearson (1933), que demostra que un tal test té el poder més gran de tots els competidors—.

En el cas d’hipòtesi simple en front d’alternativa simple, el lema de Neyman-Pearson afirma que aquest procediment és òptim. Uniformement més potent que qualsevol altre test.

Aquest mètode presenta els següents avantatges:

proporciona un procediment de disseny i comparació de nous contrastos,
col·loca la funció de versemblança com a centre de qualsevol inferència,
proporciona contrastos asimptòtics d’aplicació en múltiples situacions en les que no es disposa de contrastos exactes,
permet la construcció d’hipòtesis per vectors de paràmetres.

Teoremes

Si per a un contrast d'hipòtesis simple existeix un contrast de raó de versemblança, aquest és equivalent al contrast òptim de Neyman-Pearson.
Si existeix un estadístic suficient per al paràmetre $\theta$, el contrast de raó de versemblança és funció de l’estadístic suficient.
Si el contrast d’hipòtesis es refereix només a un únic paràmetre $\theta$, es verifica —sota condicions de regularitat— la propietat asimptòtica: $-2 \cdot \ln \lambda(X) \xrightarrow{d} \chi^2(1)$.
És a dir: la transformació $-2 \cdot \ln \lambda(X)$ convergeix a una distribució $\chi^2$ de Pearson amb 1 g.l.
Si el contrast d’hipòtesis es construeix sobre el vector paramètric $\theta$ —on existeixen $r$ paràmetres independents inclosos en $H_0$— la convergència s’obté cap a una $\chi^2 (r)$.

Contrast d’hipòtesis simple versus alternativa simple

Es planteja el contrast: $\left[H_0:\ \theta = \theta_0\right]$ i $\left[H_1:\ \theta = \theta_1\right]$

Donada una mostra, sigui $L(\theta \mid Χ)$ la funció de versemblança per a $\theta$.

Si $L(θ_1 \mid Χ) > L(θ_0 \mid Χ)$, les dades reforcen $H_1$ en front de $H_0$ que pot ser rebutjada quan el quocient $\lambda = L(θ_1 )/L(θ_0 )$ és prou gran.

El contrast es pot dissenyar prenent com a mesura de discrepància l’estadístic $\lambda$. Si la distribució de l’estadístic és coneguda, quan $H_0$ és certa el contrast queda automàticament determinat al fixar $\alpha$. Prenent-se com a regió crítica:

El conjunt: $\lambda > \lambda_c$, amb $\lambda_c$ determinat per $P(\lambda > \lambda_c \mid H_0) = \alpha$.
O bé $\ln \lambda = L(\theta_1) - L(\theta_0)$

Exemple 31. Raó de versemblança. Hipòtesi simple versus alternativa simple.

Es vol contrastar que la proporció de peces defectuoses d’un determinat procés de fabricació és $p = 0.04$, en front de la hipòtesi alternativa $p = 0.06$.

Dissenyi’s un contrast de raó de versemblança per a un nivell de significació $\alpha = 0.05$ i $n = 100$.

Es planteja el contrast: $\left[H_0:\ p = 0.04 = p_0\right]$ i $\left[H_1:\ p = 0.06 = p_1\right]$

A la mostra $n$, tenim \[\begin{align*} &L(p,x) = p^{r = \sum x_i} \\ &\lambda = \frac{p_1^r \cdot q_1^{n - r}}{p_0^r \cdot q_0^{n - r}} = \frac{6^r \cdot 94^{n - r}}{4^r \cdot 96^{n - r}} = \left( \frac{6}{4} \right)^r \left( \frac{94}{96} \right)^{n - r} \end{align*}\]

La condició $\lambda > \lambda_c$ equival a $r > k$, que serà el contrast de la raó de versemblança.

La constant $k$ es determina fixant el nivell de significació $\alpha = P(r > k \mid p_0)$, o bé utilitzant l’aproximació de la distribució normal de la distribució binomial per a $n$ gran \[\alpha = P \left( r > k \mid r \sim N(np_0, \sqrt{np_0 q_0}) \right)\]

Per a $n = 100$ i $p_0 = 0.04$, tenim $r \sim \mathcal{N}(4, 1.9596)$ amb $P((r - 4) / 1.9596>(k - 4) / 1.9596) = 0.05$.

Es calcula k: qnorm(0.05,0,1,lower.tail=F) $\rightarrow$ 1.644854\[(k -4) / 1.9596 = 1.644854 \implies k = 7.223242\]

Per tant, es rebutjarà $H_0$ si $k \geq 8$.

El test més proper a $\alpha = 0.05$ és amb $k > 8$. Rebutjant $H_0$ amb un 8 % o més de peces defectuoses. Aleshores, el nivell de significació del test serà 95 %. \[P(k \geq 8)=P(r > 7.223242) = P(z \geq 1.644847) \approx 0.95\]

pnorm(1.644847,0,1) $\rightarrow$ 0.9499993

Per tant $\alpha = 0.05$. El test sol·licitat és:

si $r < 8$, s’accepta $p = 0.04$
si $ \geq 8$, s’accepta $p = 0.06$.

Exemple 32. Raó de versemblança. Hipòtesi simple versus alternativa simple.

Una variable aleatòria discreta pren els valors 0, 1 i 2 amb funció de densitat \[f(0, p) = p^2 \quad \quad f(1, p) = p(1 + p) \quad \quad f(2, p) = p(1 + p)^2\]sent $0 < p < 1$ un paràmetre desconegut.

Estimis $p$ a partir d’una mostra $n = 100$ en la que s’ha presentat 12 cops el 0, 35 cops l’1 i 53 cops el 2.

[Adaptació de l’exemple, C. M. Cuadras, 2016, Vol.2, p.59]

La funció de versemblança de la mostra és \[\begin{align*} L &= (p^2)^{12} \cdot \left[ p \cdot (1 + p) \right]^{35} \cdot \left[ p \cdot (1 + p)^2 \right]^{53} = p^{112} \cdot (1 + p) \\ &\frac{\partial \ln L}{\partial p} = \frac{112}{p} - \frac{141}{1 - p} = 0 \implies p = \frac{112}{253} \approx 0.44 \end{align*}\]

L’estimació de màxima versemblança és, aproximadament, $p = 0.44$.

Contrast d’hipòtesis compostes

Es considera el contrast bilateral: $\left[H_0:\ \theta = \theta_0\right]$ i $\left[H_1:\ \theta \neq \theta_0\right]$

En aquest cas no es pot aplicar el mètode anterior. La funció de versemblança queda indeterminada. La raó de versemblança $\partial (\theta_0)$ és ben definida, però $\partial (\theta_1)$ no ho és.

El que ens porta a una major versemblança es representar $H_1$ prenent el seu valor compatible més favorable. L’estimador màxim-versemblant $(\hat{\theta}_{MV})$, que fa màxima la funció $\partial(\theta)$.

El contrast és \[\lambda = \frac{\max_{\theta \neq \theta_0} L(\theta)}{L(\theta_0)}\]

Observis que sempre $\lambda > 1$.

Es rebutja $H_0$ sempre que $\lambda > \lambda_c$, amb \[P(\lambda > \lambda_c \mid H_0) = \alpha\]

La màxima probabilitat de cometre un error de tipus I —quan $H_0$ és certa— és igual a $\alpha$.

Habitualment, la distribució $f(\lambda \mid H_0)$ no es coneix directament. Sí que es coneix $log ⁡\lambda$. O altra funció de $\lambda$ amb la que es podrà determinar $k$.

Aleshores, si $g$ és una funció biunívoca de $λ$, el contrast serà \[g(\lambda) = g\left[ \frac{L(\hat{\theta}_{MV})}{L(\theta_0)} \right] > k\]

Es mesura la discrepància relativa entre $\hat \theta_{MV}$ i $\theta_0$. A més, $g(\lambda)$ es pot escriure com $g(\hat \theta_{MV} \cdot \theta_0)$.

Si $H_0$ és composta i el contrast és \[\begin{align*} H_0: &\ \theta \in (a, b) \\ H_1: &\ \theta \notin (a, b) \end{align*}\]

i es pren, com a valor representatiu de $H_0$, el màxim de la funció de versemblança de cadascuna de les zones. [És molt important el cas en que $\theta$ és un vector] \[\lambda = \frac{\max_{\vartheta \notin (a, b)} L(\vartheta)}{\max_{\vartheta \in (a, b)} L(\vartheta)} = \frac{\max L(H_1)}{\max L(H_0)}\]

Exemple 33. Raó de versemblança. Hipòtesis compostes.

En una població normal de $\sigma$ coneguda, es demana dissenyar un contrast de raó de versemblances per a les hipòtesis: $\left[H_0:\ \mu = \mu_0\right]$ i $\left[H_1:\ \mu \neq \mu_0\right]$

\[L(\mu) = k \cdot e^{-n \frac{(\bar{x}-\mu)^2}{2\sigma^2}}\] Per tant, \[\begin{align*} &L(\mu_0) = k \cdot e^{-n \frac{(\bar{x} - \mu_0)^2}{2\sigma^2}} \\ &L(\hat{\mu}_{MV} = \bar{x}) = k \\ &\lambda = \frac{\partial(\bar{x})}{\partial(\mu_0)} = e^{n \frac{(\bar{x} - \mu_0)^2}{2\sigma^2}} \end{align*}\]

La distribució de $\lambda$ no és immediata. Es pren $g = 2 \cdot ln \lambda$, resultant \[g(\lambda) = 2 \ln \lambda = n \frac{(\bar{x} - \mu_0)^2}{2\sigma^2}\]

Funció que —si $H_0$ és certa— segueix una distribució $\chi^2_1$. El contrast és doncs:

Rebutjar $H_0$ si \[\left( \frac{\bar{x} - \mu_0}{\sigma \sqrt{n}} \right) > c \equiv -c' < \left( \frac{\bar{x} - \mu_0}{\sigma \sqrt{n}} \right) < c'\], on $c'= \sqrt {c}$ es determina imposant que la discrepància relativa $\left( \frac{\bar{x} - \mu_0}{\sigma \sqrt{n}} \right)$ és $\mathcal{N}(0,1)$.

Contrast per a més d’un paràmetre

És freqüent que en una hipòtesi s’utilitzi un vector de paràmetres. En una població normal —per exemple— s’estimen dos paràmetres desconeguts: $\mu$ i $\sigma^2$.

$\left[H_0:\ \mu = \mu_0 \quad \sigma^2 > 0\right]$ i $\left[H_1:\ \mu \neq \mu_0 \quad \sigma^2 > 0\right]$

S’utilitza el vector de paràmetres: $\theta' = \left(\mu,\sigma^2\right)$. Amb espai paramètric de $\theta$ l’espai de dues dimensions que inclou tots els seus possibles valors. Definit com $\left(-\infty < \mu < \infty\right)$ i $\left(\sigma^2 > 0\right)$

$H_0$ especifica un espai unidimensional —la recta $\mu = \mu_0$—, mentres que $H_1$ no estableix restriccions sobre els possibles valors de $\theta$.

Es té un vector tridimensional $\theta' = \left(\mu_1, \mu_2, \sigma^2\right)$, en el cas del contrast d’igualtat de mitjanes:

$\left[H_0:\ \mu_1 - \mu_2 = 0 \quad \sigma^2 > 0\right]$ i $\left[H_0:\ \mu_1 - \mu_2 \neq 0 \quad \sigma^2 > 0\right]$

$H_0$ especifica un espai bidimensional —un plànol— per $\theta$. $H_1$ permet qualsevol valor en l’espai paramètric. Vegem-ho amb alguns exemples.

Exemple 34. Raó de versemblança. Vector de paràmetres.

Efectuïs el contrast per a la mitjana d’una població normal, amb $\sigma$ desconeguda.

$\left[H_0:\ \mu_1 - \mu_2 = 0 \quad \sigma^2 > 0\right]$ i $\left[H_0:\ \mu_1 - \mu_2 \neq 0 \quad \sigma^2 > 0\right]$

$L(\mu, \sigma^2) = -\frac{n}{2} \ln \sigma^2 - \frac{1}{2} \frac{\sum (x_i - \mu)^2}{\sigma^2}$

Es derivan respecte $\sigma^2$ i es substitueix $\mu_0$: \[\frac{\partial L(\mu_0, \sigma^2)}{\partial \sigma^2} = 0 = -\frac{n}{2} \cdot \frac{1}{\sigma^2} + \frac{1}{2} \frac{\sum (x_i - \mu)^2}{\sigma^4}\]

D’on es dedueix $\hat{\sigma}^2_0 = \frac{1}{n} \sum (x_i - \mu)^2$ i, per tant, \[L(\hat{\Omega}_0) = -\frac{n}{2} \ln \hat{\sigma}^2_0 - \frac{n}{2}\]

Anàlogament, es substitueixen els estimadors màxim-versemblants \[L(\hat{\Omega}) = -\frac{n}{2} \ln \hat{s}^2 - \frac{n}{2}\] resultant que \[2 \ln \lambda = -n \ln \hat{s}^2 + n \ln \hat{\sigma}_0^2 = n \ln \frac{\hat{\sigma}_0^2}{\hat{s}^2}\], per a $n$ gran, serà una $\chi^2$ amb 1 g.l. Contrast asimptòtic que coincideix amb el contrast de la mitjana. Amb \[\frac{\hat{\sigma}_0^2}{\hat{s}^2} = \frac{\sum (x_j - \mu_0)^2}{n \hat{s}^2} = \frac{\sum (x_j - \bar{x})^2 + (\bar{x} - \mu_0)^2}{n \hat{s}^2} = 1 + \left( \frac{\bar{x} - \mu_0}{\hat{s}} \right)^2\]

Com la variància de $\bar x$ és $\sigma^2/n$, el quocient $\left( \frac{\bar{x} - \mu_0}{\hat{s}} \right)^2$ —quan $H_0$ és certa— serà petit. Fins i tot per a mostres petites. Aleshores $ln⁡(1 + x) \approx x$.

En conclusió \[2 \ln \lambda = n \ln \left[ 1 + \left( \frac{\bar{x} - \mu_0}{\hat{s}} \right)^2 \right] = \frac{n(\bar{x} - \mu_0)^2}{\hat{s}^2}\] O —equivalentment— el test es pot fer utilitzant l’estadístic: \[\frac{\sqrt{n} (\bar{x} - \mu_0)}{\hat{s}}\] que —si $H_0$ és certa— es distribueix com una $t$ de Student.

El contrast general de la raó de versemblances —contrast asimptòtic— serà proper —amb $n$ gran— al contrast exacte de la $t$ de Student.

Si $n$ és gran, com $\hat s^2$ és un estimador consistent de $\sigma^2$: \[t = \frac{\sqrt{n} (\bar{x} - \mu_0)}{\hat{s}} \approx \frac{\sqrt{n} (\bar{x} - \mu_0)}{\sigma} = z\], amb —aproximadament— $t \sim \mathcal{N}(0,1)$.

Exemple 35. Raó de versemblança. Vector de paràmetres.

Dedueixis el contrast de versemblances de les hipòtesis: $\left[H_0:\ \mu_1 =\mu_2 = \cdots = \mu_k \quad \sigma^2 >0\right]$ i $\left[H_1:\ \text{mitjanes qualsevol} \quad \sigma^2 > 0\right]$

Amb $k$ mostres de mida $\{n_1, n_2, \cdots ,n_k \}$, de $k$ poblacions normals amb la mateixa variància.

La funció suport serà \[L(\mu_1, \mu_2, \cdots, \mu_k, \sigma^2) = -\frac{1}{2} \sum n_j \ln \sigma^2 - \frac{1}{2 \sigma^2} \sum \sum (x_{ij} - \mu_j)^2\], on $x_{ij}$ representa l’observació $j$ —amb $j = \{1,\cdots ,n_{j}\}$— de la població $i$.

Aleshores —amb $n = \sum n_j$ — es té que \[L(\hat{\Omega}_0) = -\frac{n}{2} \ln \hat{\sigma}_0^2 - \frac{n}{2}\]

Amb \[\begin{align*} &\hat{\sigma}_0^2 = \frac{\sum \sum (x_{ij} - \bar{x})^2}{n} \\ &\bar{x} = \frac{\sum \sum x_{ij}}{n} \end{align*}\]

Mentre que \[L(\hat{\Omega}) = -\frac{n}{2} \ln \hat{\sigma}_j^2 - \frac{n}{2}\]

Amb \[\begin{align*} &\hat{\sigma}_j^2 = \frac{\sum_i \sum_j (x_{ij} - x_i)^2}{n} \\ &\bar{x}_i = \frac{\sum x_{ij}}{n_i} \end{align*}\]

I, per tant, \[2 \ln \lambda = n \cdot \ln \frac{\hat{\sigma}_0^2}{\hat{\sigma}_1^2}\] és $\chi^2$, amb $k - 1$ g.l.

Contrast d’hipòtesis no paramètric.

Els tests no paramètrics no exigeixen la condició prèvia de normalitat de les dades ni cap altra distribució coneguda. Es disposa de dues variables aleatòries —$X, Y$— amb distribució contínua. Es considera el contrast d’hipòtesis: $\left[H_0:\ F_x = F_y\right]$ i $\left[H_1:\ F_x \neq F_y\right]$, amb $F_x$ i $F_y$ les funcions de distribució de $X, Y$.

No s’imposa cap condició més que la de que les dades provinguin de la mateixa població i s’obtinguin aleatòriament de manera independent. Es requereix saber-ne ben poc de la funció de distribució de la població —únicament que sigui de distribució de probabilitat contínua—.

Els tests no paramètrics són fàcils d’aplicar, en especial quan es treballa amb rangs i dades qualitatives —amb magnituds amb un cero absolut definit—. Per contra —els tests no paramètrics— són menys potents que els tests paramètrics. Aquests obtenen els mateixos resultats amb una mostra de població més petita.

La distribució no es pot definir a priori. Són les dades observades les qui la determinen.

Els mètodes no paramètrics es recomanen especialment en els casos de distribució normal dubtosa de les dades. També quan el nivell de mesura utilitzat no és —almenys— d'interval. En general s’utilitzen:

en condicions de no-normalitat;
amb dades d’escala nominal o per rangs —ordinal o interval—
com a control d’un test paramètric;
com a test ràpid, amb pocs càlculs —i poca potència— en:

l’avaluació aproximada de la significació de sèries de mesures —si el resultat és significatiu, caldrà corroborar-lo amb un test més potent—
l’estudi de la significació de dades anteriors;
la determinació definitiva de la significació, sempre que n sigui molt gran (amb n>100).

Stevens (1964) distingeix quatre tipus d’escala:

Escala nominal. Amb numeració arbitrària. Per exemple, la matrícula dels automòbils o les professions. Podem estudiar-ne les freqüències i aplicar els tests de $\chi^2$, distribució binomial i Poisson. Com a mesura de posició s’utilitza la moda. Únicament s’apliquen tests no paramètrics.
Escala de rangs. Per exemple, les qualificacions acadèmiques. Es podem aplicar els tests de rangs (test de la U de Mann-Whitney, test de la H de Kruskal-Wallis), l’anàlisi de la variància de rangs i la correlació entre rangs. Com a mesures de posició s’utilitzen els decils i la mediana. Únicament s’apliquen tests no paramètrics.
Escala d’intervals. Per exemple, temperatures centígrades o Fahrenheit. S’apliquen els típics valors paramètrics: mitjana aritmètica, desviació típica, coeficients de correlació i de regressió, així com els tests més usuals —$t$ de Student i $F$ de Fisher—.
Escala de proporcionalitat. Per exemple, la temperatura en graus Kelvin —amb un cero absolut real— i altres unitats de la física. S’apliquen les mesures de l’escala d’intervals i a més la mitjana geomètrica i el coeficient de variació de Pearson.

Podem fer-ne la següent classificació de les proves no paramètriques ^[5]:

A la taula anterior les proves paramètriques alternatives són: la $t$ de Student, per a dues mostres, i el test ANOVA, per a més de dues mostres —siguin relacionades o no les mostres, en ambdós casos—.

Vegem-ne a continuació els tests no paramètrics més utilitzats.

Test dels signes

Siguin dues variables aleatòries $X, Y$ amb distribució contínua. Encara que el test es pot aplicar en el cas de variables aleatòries mesurades en una escala ordinal. On tingui sentit la interpretació de la mitjana.

Es disposa la mostra $\{(x_1 , y_1), (x_2, y_2), \cdots, (x_n, y_n)\}$ sobre $n$ parells d’individus, el més homogenis possible.

Es planteja el contrast bilateral: $\left[H_0:\ F_x = F_y\right]$ i $\left[H_1:\ F_x \neq F_y\right]$

Si $H_0$ és certa i la distribució de $X-Y$ és simètrica en l’origen, es verifica que $P(X > Y) = P(X - Y > 0) = 1/2$ i el nombre de cops que $(x_i - y_i) > 0$ —la freqüència de signes "$+$"— segueix una distribució binomial de paràmetres $n,p = 1/2$.

Es rebutja $H_0$ si la freqüència observada de signes "$+$" es desvia significativament de $(n/2)$. Els parells tals que $(x_i = y_i)$, són ignorats.

Exemple 36. Colesterol en sang. Dieta i exercici físic.

En un determinat experiment es pretén avaluar l’efecte d’una determinada dieta saludable i l’exercici físic en relació al nivell de colesterol en sang. Amb $\alpha = 0.05$.

Es mesura el nivell de colesterol sanguini —abans i després de l’experiment— obtenint-se els següents resultats, en mg/dL:

[Observació: Aquest exemple s’ha resolt anteriorment (Exemple 17) amb el test de la $F$ de Fisher]

Es pot afirmar que la dieta i l’exercici físic disminueixen el nivell de colesterol sanguini?

Amb R:

Com $p$-value $= 0.0002441 < 0.05$, s’accepta la hipòtesi alternativa. L’exercici físic i la dieta disminueixen el nivell de colesterol en sang. En una mitjana de 33.5 mg/dL.

Exemple 37. Reg i producció agrària.

Es valora l’efecte d’un determinat fertilitzant sobre la producció de blat.

La prova es fa sobre 20 parcel·les diferents en dos grups de 10 parells.

Tots els parells —de parcel·la— tenen igual extensió i altres condicions, excepte el reg —amb o sense reg—.

Es registren els Qm de blat produït, tal com es recull en la taula següent:

Es pot acceptar que el fertilitzant aplicat amb reg supera a l’aplicat sense reg? ($\alpha= 0,06$).

[Adaptació de l’exemple, C. M. Cuadras, 2016, Vol.2, p.269]

Es planteja el contrast: $\left[H_0:\ \text{“El reg no té efecte sobre la producció agrícola“} \right]$ i $\left[H_1:\ \text{“El reg augmenta la producció agrícola“} \right]$

Com els parells són diferents entre sí, no es pot aplicar una $t$ de Student —assumint una distribució normal—.

S’aplica el test del signes a la diferència $(X-Y)$.

En cas de ser cert que la producció és la mateixa, la freqüència $Z$ de signes positius seguirà una distribució binomial —amb $n \geq 50$, es podria aproximar a una distribució normal— de paràmetres $n = 10, p = 1/2$.

La regió crítica és $W = [8, 9, 10]$, perquè: \[P(Z \geq 8) = \sum_{i=8}^{10} \binom{10}{i} \left( \frac{1}{2} \right)^{10} = 0.0547 < \alpha = 0.06\]

Com la freqüència observada és 8 —que pertany a la regió crítica— es pot acceptar la hipòtesi de que la producció amb reg és superior.

Amb R:

Com $p$-value $= 0.05469 < 0.06$, s’accepta la hipòtesi alternativa. La producció amb reg és superior en una mitjana de 4 Qm.

Test de McNemar

El test de McNemar ^[6] és una variant del test dels signes. Alternativa als test $\chi^2$ de Pearson i al test exacte de Fisher quan les dades són aparellades.

Per exemple, es classifiquen $n$ individus —abans i després d’un cert estímul, en "$+$" o “$-$"— segons la resposta a l’estímul. Resultant-ne una taula de freqüències $(2 × 2)$:

Amb $(a + b + c + d) = n$ i $(b + c)$ el nombre d’individus que han canviat el seu estat inicial.

Es planteja el contrast bilateral: $\left[H_0:\ p_b = p_c\right]$ i $\left[H_1:\ p_b \neq p_c\right]$

Aleshores, suposant que $P("+" \rightarrow "-") = P("-" \rightarrow "+") = 1/2$, es té que $(p_c + p_d = p_b +p_d )\leftrightarrow p_b = p_c$, la hipòtesi nul·la.

L’estadístic del test de McNemar —sempre i quan es doni la condició mínima d’esdeveniments— segueix una distribució $\chi^2$ amb 1 g.l. $\chi^2 = (b - c)^2 /((b + c))$.

[Observació: $\chi^2 = (|b-c| - 1)^2/((b + c))$, amb la correcció de Yates per a freqüències esperades reduïdes.]

Si $(b +c) < 25$, s’utilitza una distribució binomial amb $x = c \quad n =b + c \quad p = 0.5$

Exemple 38. Pàncrees automatitzat vs sistema estàndard en pacients diabètics tipus I.

En un grup de pacients amb diabetis tipus I, es vol comparar l’eficàcia d’un pàncrees artificial automatitzat $(P_a)$ —que controla la glucèmia i subministra insulina en continu— respecte a un sistema estàndard de control $(P_c)$. ^[7]

Durant dues nits diferents s’assaja cadascun dels dos mètodes en tots els pacients i es recull la variable resposta —si en algun moment s’ha patit hipoglucèmia durant la nit— obtenint-se els resultats següents:

Es disposa d’una variable dicotòmica —tenir o no hipoglucèmia— sobre dues mostres relacionades —els dos procediments s’apliquen als mateixos pacients—. Es pot, doncs, aplicar el test de McNemar.

Es planteja el contrast bilateral: $\left[H_0: P_a = P_c\right]$ i $\left[H_1: P_a \neq P_c\right]$

Ens fixem en els valors en que hi ha diferències entre les dues tècniques —en el nostre cas, 22 i 7— i es calcula l’estadístic de McNemar: $\chi^2 = (22 - 7)^2 /((22 + 7)) \approx 7.75862$

Amb $\alpha = 0.05$, es calcula a partir de quin valor l’àrea de la corba és igual a $\alpha$.

qchisq(0.95,1) $\rightarrow$ 3.841459

Com $7.76 > 3.84$, es pot rebutjat $H_0$ i afirmar que hi ha diferències significatives entre els dos mètodes. Amb un $p$-value inferior a 0.05. El pàncrees automatitzat sembla ser un millor sistema de control nocturn en pacients amb diabetis tipus I.

Amb R:

Amb les mateixes conclusions —s’observa el $p$-value $= 0.005346 < 0.05$—.

Força d’associació (mida de l’efecte)

El test de McNemar contrasta si les variables són relacionades entre sí. S’anomena força d’associació a la mida d’aquesta relació. Hi ha més d’una mesura de la força d’associació. En destaquen: $\phi$, el coeficient de contingència i la V de Cramer.

El coeficient $\phi$ és el valor de la $\chi^2$ entre el nombre d’observacions. El coeficient de contingència també es basa en la $\chi^2$. La V de Cramer és molt utilitzada i menys susceptible a valors mostrals.

Valors propers a 0 indiquen independència entre els factors. Valors propers o superiores a 1 impliquen relació entre els factors. Habitualment valors superiors a 0.30 ja ens indiquen una possible relació entre les variables.

Exemple 39. Tractament de l’artritis vs placebo.

La llibreria "vcd" de R disposa de la base de dades Arthritis, on es recull la millora de la malaltia sobre una població de 84 persones —59 dones i 25 homes—.

A 43 malalts se’ls proporciona un placebo i a 41 un tractament específic.

Amb R:

La hipòtesi nul·la seria que el tractament no influeix en la millora de la malaltia més que el placebo. Els resultats semblen rebutjar-la i avalar que el tractament millora la malaltia.

Amb $\chi^2$ Pearson $= 13.055 > 5.991465$, $p$-value $= 0.0014626 < 0.05$.

S'observa que de fet podriem escollir el nivell de significació 0.002, molt més petit que 0.05, amb $\chi^2$ Pearson $= 13.055 > 12.42922$

Test del signe-rang de Wilcoxon

Com els dos anteriors, el test del signe-rang de Wilcoxon ^[8] s’utilitza també per a comparar dades aparellades. És una versió no paramètrica del test $t$ de Student per a dades aparellades.

Normalment, la variable és de naturalesa contínua. El test es pot aplicar també a variables amb escala de mesura —com a mínim d’escala ordinal—.

La mostra ha de venir d’una població distribuïda simètricament —amb la mitjana igual a la mediana—. La hipòtesi sobre la mediana s’aplica també sobre la mitjana —el test treballa amb les medianes—. A més, les dades han de ser dependents.

A diferència de la prova del signe, no només considera la posició de l’observació —els rangs— sinó també la magnitud de les diferències —el que la fa ser una prova més sensible que el test dels signes—.

Les diferències, $d_i = (x_i - y_i)$ —amb $i =\{1, 2,\cdots, n\}$— s’ordenen de major a menor —prescindint-ne del signe— i se’ls atorga un rang —$\{1, 2,\cdots, n\}$—.

Es considera l’estadístic $W = min(W^+, W^-)$, sent $W^+$ la suma dels rangs amb diferència positiva i $W^-$ la suma dels rangs amb diferència negativa.

Si les mostres provenen de la mateixa població, és d’esperar que les diferències entre cada parell d’observacions es distribueixin simètricament al voltant del cero. És a dir, que la mediana de les diferències $(Me_d)$ sigui cero.

Es planteja el contrast bilateral: $\left[H_0:\ Me_d = 0\right]$ i $\left[H_1:\ Me_d \neq 0\right]$

L’estadístic $W$ calcula la probabilitat de que hi hagi un valor igual o més extrem de l’observat.

Amb $n \leq 25$. Es rebutja $H_0$ si $W$ cau dins l’interval corresponent a la taula Wilcoxon —que depèn del nivell de significació i de la mida $n$ de la mostra—.
Amb $n > 25$. Es pot fer l’aproximació a la distribució normal: $\mathcal{N}(\mu = n(n + 1)/4, \sigma = \sqrt {(n(n + 1)(2n + 1)/24)})$.

Observacions:

Els valors $(d_i = 0)$ són ignorats.
Si dos o més $d_i$ són iguals, se’ls assigna com a rang la mitjana dels seus rangs ordenats.

Exemple 40. Signe-rang de Wilcoxon. Pre i post test. Temps de resposta.

S’avalua el temps de resposta correcte a un determinat estímul en 26 ratolins abans i després d’un entrenament, amb els següents resultats:

PRE = {12.0, 11.0, 13.5, 13.0, 12.0, 18.0, 13.0, 12.0, 12.5, 15.5, 14.0, 14.0, 16.0, 10.0, 12.5, 9.5, 12.0, 13.5, 16.5, 14.0, 13.5, 16.5, 10.0, 8.5, 9.0, 12.0}

POST = {9.0, 10.0, 8.5, 7.0, 9.0, 12.0, 13.0, 12.0, 11.5, 13.0, 14.0, 15.0, 16.0, 10.5, 12.0, 9.0, 8.0, 9.5, 10.5, 11.0, 11.5, 12.0, 9.5, 8.5, 8.0, 7.0}

Hi ha evidència estadística de que l’entrenament modifica el temps de resposta a l’estímul?

Es planteja el contrast bilateral: $\left[H_0:\ Me_d = 0\right]$ i $\left[H_1:\ Me_d \neq 0\right]$, amb $\alpha = 0.05$.

Amb R:

Es calculen les diferències DIF = PRE - POST i es verifica,amb els tests de Shapiro i de Lilliefors (Kolmogórov-Smirnov), que no segueixen una distribució normal. En els dos tests, $p$-value $< 0.05$. S'aplica doncs el test de Wilcoxon i es comprova que podem rebutjar $H_0$. Hi ha evidència estadística de que l’entrenament modifica la resposta a l’estímul — $p$-value $= 0.0002219 < 0.05$—. S’observa una reducció de gairebé tres segons en la resposta a l’estímul.

També s'aprecia el mateix a la gràfica. L’entrenament sembla disminuir el temps de resposta.

Exemple 41. Signe-rang de Wilcoxon. Fibrinògen en sang.

En un assaig clínic es mesura el fibrinògen en sang a 15 individus i s’obtenen els valors següents —en mg/dL—:

{294.60, 310.80, 287.50, 293.20, 302.60, 285.00, 295.90, 298.20, 301.60, 294.60, 292.00, 304.30, 299.20, 293.50, 305.80}

Es pot asegurar —amb $\alpha=0.05$— que la mediana és de 300 mg/dL?

Es proposa el contrast bilateral: $\left[H_0:\ Med = 300\right]$ mg/dL i $\left[H_1:\ Med \neq 300\right]$ mg/dL

Amb R:

Com $W=34 > W_c = 25$, no es pot rebutjar la hipòtesi nul·la. No es disposa d’evidència estadística de que la mediana no sigui 300 mg/dL.

No es pot rebutjar $H_0$, donat que $p$-value $= 0.1475 > \alpha = 0.05$.

Test U de Mann-Whitney

El test $U$ de Mann-Whitney —o contrast de la $U$ de Wilcoxon-Mann-Whitney—^[9] ens permet comparar dues mostres independents i contrastar si les mostres provenen de poblacions equidistribuïdes.

Les dades s’han de poder agrupar —com a mínim— en una escala ordinal. Ha d’haver igualtat de variàncies —homoscedasticitat— entre grups.

Es disposa de dues mostres: $X=\{x_1, \cdots , x_{n_1}\}$ —de mida n_1— $Y = \{y_1, \cdots , y_{n_2}\}$ —de mida $n_2$— La mostra es considera petita si tant $n_1$ com $n_2$ no superen els 10 elements. Per a mostres amb $n_1$ o $n_2 > 10$, la $U$ de Mann-Whitney s’aproxima a una distribució \[ \mathcal{N} \left( \mu = \frac{n_1 n_2}{2}, \sigma = \sqrt {\frac{n_1 n_2 (n_1 + n_2 + 1)}{12}}\right)\].

Si $H_0$ és certa, $P(X < Y) = 1/2$.

Com es poden formar $(n_1 \cdot n_2)$ parells $(x_i, y_j)$, el nombre esperat de parells en els que $(x_i < y_j)$ és $\left[(n_1 \cdot n_2 )/2\right]$. L’estadístic $U$ de Mann-Whitney és el nombre observat de parells en que s’acompleix aquesta desigualtat.

Una desviació significativa de $U$ respecte el valor esperat $\left[(n_1 \cdot n_2)/2\right]$ ens indica que s’ha de rebutjar $H_0$. Consultant la taula de Mann-Whitney-Wilcoxon, en función del nivel de significación de les mides de les mostres, es rebutja $H_0$ si el valor de $U$ és menor o igual al valor crític de la taula.

Per a calcular la U de Mann-Whitney s’assignen rangs a cadascun dels valors de la llista ordenada. Aleshores, el valor de $U$ és igual al mínim de la suma dels rangs de cada categoria.

Exemple 42. U de Mann-Whitney. Eficàcia d’un tractament mèdic.

S’assagen dos tractaments de la migranya crònica diària distribuïts aleatòriament sobre dos grups de 10 i 22 pacients respectivament.

Es registra el nombre d’hores sense símptomes a partir de l’administració del tractament.

Hi ha diferències estadísticament significatives entre els dos tractaments?

Es planteja el contrast: $H_0:\ \text{“No hi ha diferències en els resultats”}$ i $H_1:\ \text{“El tractament Y obté millors resultats”}$.

Amb R:

Com $0.2028 > 0.05$, no es pot rebutjar la hipòtesi nul·la del test de Levene —l’homogeneïtat de variàncies en els dos grups— per tant es pot aplicar la prova de la $U$ de Mann-Whitney. Es sumen els rangs del grup menys nombrós i es calcula la $U$ de Mann-Whitney, amb un valor de 57.5

Es pot rebutjar $H_0$. El resultat del test indica evidència estadística de que el tractament millora els símptomes de la migranya, donat que $p$-value $= 0.03436 < 0.05$.

Assumint-se una distribució normal de paràmetres, es tipifica el valor de $U$, calculat sobre el grup més nombrós i resulta 162.5. Es calcula $z = 2.134429$. Com $z > z_{alpha/2}$ es rebutja $H_0$.

(1- pnorm(z,0,1))*2 $\rightarrow$ 0.03280772

[Observació:En el test unilateral dreta s’accepta $H_0$ si $z_p \leq z_{\alpha}$; a l’unilateral esquerra s’accepta $H_0$ si $z_p \geq -z_{\alpha}$]

A $z = 2.134$ li correspon una probabilitat de $0.03280772 < 0.05$ —a la taula de distribució de dues cues—. És raonable rebutjar $H_0$.

El segon tractament obté millors resultats, tal com s'observa al gràfic.

Exemple 43. U de Mann-Whitney. Tractament de l’ansietat.

Es disposa de dos grups de pacients de TAG —Trastorn d’Ansietat Generalitzada—. Un dels grups —el grup experimental— és tractat amb música de fons i l’altre —el grup de control— sense música de fons.

Posteriorment, se’ls passa —a ambdós grups— un test amb una escala de l’1 al 5 on el valor 5 indica “molt relaxat” i el valor 1 “gens relaxat”.

Es registren els següents resultats:

Hi ha evidència estadística de diferències en el nivell de relaxació entre els dos grups?

Es planteja el contrast unilateral: \[\left[H_0:\ \text{“No hi ha diferències en el nivell de relaxació dels dos grups”}\right]\] \[\left[H_1:\ \text{“El nivell de relaxació és més gran en el grup experimental”}\right]\]

S’observa d’antuvi que els resultats semblen millors en el grup experimental.

Es comprova l’homogeneïtat de variàncies —ara amb el test de Fligner-Killeen— i s’observa que no hi ha evidència estadística en contra.

Amb R:

el grup experimental—.

el test de Wilcox també ens permet rebutjar la hipòtesi nul·la, $p$-value $= 0.9971 > 0.05$.

Test de Kolmogórov-Smirnov

L'estadístic de Kolmogórov-Smirnov ^[10]^[11] —o prova K-S— quantifica la distància entre les funcions de distribució acumulada empíriques de dues mostres, o entre una distribució empírica i una funció de distribució acumulada teòrica de referència.

És una prova no paramètrica que avalua si hi ha diferències significatives entre una distribució de freqüències teòriques i una distribució de freqüències observades. En cas de voler verificar la normalitat de la distribució, són més potents les proves de Lilliefors, Shapiro-Wilk o Anderson-Darling.

Exemple 44. Distància de Kolmogórov-Smirnov.

Es suposa la mostra de la distribució $X$:

Calculis l’estadístic de Kolmogórov-Smirnov.

Amb R:

El test ens calcula una distància $D = 0.11289$. També es pot calcular manualment, com es mostra a la part inferior.

Contrast de normalitat

El test de test de Kolmogórov-Smirnov s’utilitza per a contrastar la normalitat d’una distribució en mostres de mida superior a 20. S’assumeix una mitjana i una desviació estàndard conegudes. Fet que pot representar un problema.

En canvi, el test de Lilliefors ^[12] aplica una correcció al test de Kolmogórov-Smirnov i assumeix que la mitjana i la desviació estàndard són desconegudes. El que el fa més fiable.

Per a mostres de mida superior a 50 els tests més potents són però els de Shapiro-Wilk ^[13] i el d’Anderson Darling. ^[14]

Exemple 45. Test de normalitat.

Es recuperen les dades de l’exercici 5-43.

Amb R:

En tots els casos no es pot rebutjar la hipòtesi de normalitat de la distribució (amb $\alpha = 0.05$).

Test de Kruskal-Wallis

El test de Kruskal-Wallis, o test H, és una alternativa no paramètrica al test ANOVA d’una via per a dades no aparellades. A diferencia del test ANOVA, que compara mitjanes, utilitza rangs —i de vegades medianes— per a contrastar la hipòtesi de que $k$ mostres provenen de la mateixa població (distribució). Es pot considerar una extensió del test de Mann-Whitney per a més de dos grups. O com una versió no paramètrica del test $F$ per a comparar les mitjanes de $k$ poblacions normals amb variància comuna. Sempre tenint en compte que un test paramètric serà sempre més potent que el corresponent test no paramètric.

És el test més adient quan les dades precisen ser ordenades per tal de tenir sentit o bé quan no es pot aplicar el test ANOVA.

Es suposen $k$ grups, amb $\{n_1, n_2, \cdots, n_k \}$ observacions respectivament. Es plantegen les hipòtesis: \[\left[H_0:\ \text{“totes les mostres provenen de la mateixa població, amb la mateixa distribució”}\right]\] \[\left[H_1:\ \text{“les mostres no provenen totes de la mateixa població, amb la mateixa distribució”}\right]\]

S’ordenen totes les observacions de menor a major i s’assigna un rang a cadascuna de les $n = \displaystyle\sum_{i=1}^{k} n_i$ observacions dins cadascun dels $k$ grups.
Sigui $R_i$ la suma dels rangs del grup i per a cadascun dels $k$ grups. Si s’acompleix $H_0$ és d’esperar que tots els grups tinguin un valor semblant.
Es calcula l’estadístic $H$ com \[H = \left( \frac{12}{n(n+1)} \sum_{i=1}^{k} \frac{R_i^2}{n_i} \right) - 3(n + 1)\]

El test de Kruskal-Wallis precisa de les condicions següents per a poder aplicar-se:

Tots els grups han de ser homogenis —tenir la mateixa variància—. [Tests de Levene o de Barttlet.]
Tots els grups han de tenir la mateixa distribució.

Sota aquestes condicions prèvies:

Si $k = 3$ i $\forall {i}, n_i \leq 5$ , es compara $H$ amb un valor crític tabulat.
A la resta dels casos s’assumeix que $H$ es distribueix aproximadament segons una $\chi^2$ amb $k - 1$ g.l.

En cas de ser significatiu, el test ens indica que almenys dos dels $k$ grups són significativament diferents. No ens indica quins són aquests grups. Els grups s’hauran de comparar post-hoc tots amb tots. Es pot aplicar el test de Mann-Whitney entre cada parell de grups, amb correcció de significància [pairwise.wilcox.test()] o bé test de Tukey.

Exemple 46. Kruskal-Wallis. Pressió arterial.

En un assaig sobre la hipertensió es pretén valorar l’eficàcia de dos medicaments, $A$ i $B$. Es seleccionen 40 malalts de característiques similars i es distribueixen aleatòriament en quatre grups de 10.

A un grup se’l subministra un placebo. A altres dos se’ls subministren els medicaments $A$ i $B$ respectivament. Al grup restant una combinació dels medicaments $A$ i $B$.

Passat el temps establert de tractament, es registra en una taula la disminució de la pressió arterial diastòlica —en mm Hg—.

Hi ha diferències estadísticament significatives entre els resultats dels quatre grups? —Amb un nivell de significació $\alpha = 0.01$—.

Adaptació de l’exemple, C. M. Cuadras, 2016, Vol.2, pp. 203, 274]

Amb R:

L’estadístic de Kruskal-Wallis $(H)$ té una distribució $\chi^2$ amb $k - 1 = 3$ g.l. Com $H = 16.179 > \chi^2_{0.01,3} = 11.345$, es pot concloure que hi ha diferencies entre els tractaments.

A més, el test ens proporciona un $p$-value $= 0.001042 < \alpha = 0.01$. El que ens permet rebutjar la hipòtesi nul·la d’igualtat en els tractaments. Gràficament, sembla més efectiu el tractament B.

Es podia haver calculat l’estadístic de Kruskal-Wallis a partir de la suma dels rangs calculats per a cada tractament, segon la fórmula: \[H = \left( \frac{12}{n(n+1)} \sum_{i=1}^{k} \frac{R_i^2}{n_i} \right) - 3(n + 1)\]

Amb R:

\[H = \left( \frac{12}{n(n+1)} \sum_{i=1}^{k} \frac{R_i^2}{n_i} \right) - 3(n + 1) = \frac{12}{35(36)} \left( \frac{57^2}{7} + \frac{250.5^2}{10} + \frac{226.5^2}{10} + \frac{96^2}{8} \right) - 3(36) = 16.01327\]

S’observa que el valor calculat no coincideix amb el de la funció kruskal.test. Això es deu a que la funció el calcula tenint en compte els empats —lligadures o ties— al calcular el rang.

Un cop promediats els rangs repetits —com en el test de Mann-Whitney— es calcula el valor de $H$ i s’aplica la següent correcció: \[\bar{H} = \frac{H}{1 - \left[ \displaystyle\sum_{i=1}^{g} (t_i^3 - t_i) \right] / (n^3 - n)}\]

Amb $g$ = "nombre d’observacions diferents amb lligadura" i $t_i$ = "nombre d’observacions lligades per a un determinat rang".

sort(dades$rangs) $\rightarrow$

En el nostre exemple $g = 8$ i $n = 35$. Es defineix la taula:

\[\begin{align*} &\sum_{i=1}^{g} (t_i^3 - t_i) = 438 \\ &n^3 - n = 35^3 - 35 = 42840 \end{align*}\]

Amb: \[\bar{H} = \frac{H}{1 - \left[ \sum_{i=1}^{g} (t_i^3 - t_i) \right] / (n^3 - n)} = \frac{16.01327}{1 - \frac{438}{42840}} = \frac{16.01327}{0.98978} \approx 16.179\]

Valor que —ara sí— coincideix amb el calculat per la funció kruskal.test.

Observis que amb el valor calculat inicialment —sense lligadures— no caldria calcular el valor amb les lligadures donat que ja es rebutja $H_0$. Sempre es donarà que l’estadístic calculat sense lligadures tindrà un valor més petit que el corregit amb les lligadures. Això és general a tots els tests.

Test de Friedman

El test de Friedman és una alternativa no paramètrica al test ANOVA (test F) per a més de dues mostres relacionades. Es pot considerar una extensió del test de Wilcoxon per a més de dues mostres relacionades.

Estudia si existeix efecte fila i efecte columna en un disseny de dos factors sense interacció.

Es suposen $(k \cdot n)$ observacions d’una determinada variable $X$, amb:

$k$ condicions $\{1, 2, \cdots ,i , \cdots , k \}$.
sobre $n$ individus $\{1, 2, \cdots, n \}$. Elegits aleatòriament de forma independent.

Amb les files independents entre sí, però no les columnes.

El test avalua les possibles diferències significatives entre les $k$ condicions experimentals —l’efecte columna— tenint en compte els efectes individuals —el factor fila—.

Les hipòtesis de treball són: \[\left[H_0:\ \text{"Totes les mostres —columnes— provenen de la mateixa població"} \right]\] \[\left[H_1:\ \text{"Alguna mostra no prové de la mateixa població"} \right]\]

Per a calcular l’estadístic $S$ de Friedman, es segueix el procediment següent:

S’ordena cadascuna de les files i s’assigna el rang corresponent a cada observació.
Es calcula la suma dels rangs de cadascuna de les columnes — amb $R_j = $ "suma dels rangs de la columna" j—.
Es calcula \[S = \frac{12}{nk(k+1)} \sum_{j=1}^{k} R_j^2 - 3n(k + 1)\]

Per a valors grans o moderats de $n$, $S$ es distribueix com una $\chi^2$ amb $k - 1$ g.l. Per a valors petits s’han de consultar taules especials.

Si n’hi ha empats —lligadures— en una fila es fa la mitjana dels rangs dels valors repetits i es calcula l’estadístic: \[\bar{S} = \frac{12 \sum_{j=1}^{k} \left( R_j - \frac{n(k+1)}{2} \right)^2}{nk(k+1) - \left[ \frac{1}{(k-1)} \right] \sum_{i=1}^{n} \left| \left( \sum_{j=1}^{g_i} t_{ij}^3 \right) - k \right|}\] On

$g_i$ és el nombre d’observacions lligades a la fila $i$ —amb $(1 \leq g_i \leq k)$—
$t_{ij}$ és el nombre d’observacions lligades en el grup $j$ de la fila $i$
Si en una fila no hi ha lligadures $g_i = k$ i $t_{ij} = 1$
Si no hi ha lligadures en cap de les files, $\bar S = S$.

Exemple 47. Test de Friedman. Valorant una D.O. de vi.

Nou experts tastadors valoren una D.O. de vi segons quatre característiques organolèptiques $(A, B, C, D)$.

Les quatre característiques són valorades segons una escala subjectiva 1-7 —sent 7 el més valorat—.

Els resultats es resumeixen en la taula següent:

Hi ha diferències estadísticament significatives en les valoracions?

Es plantegen les hipòtesis: $\left[H_0:\ \text{ “Totes les D.O. provenen de la mateixa població”}\right]$ i $\left[H_1:\ \text{ “Alguna D.O. no prové de la mateixa població”}\right]$

Es calculen els rangs dins cada fila —tastador— i la suma dels rangs per cada columna —característica organolèptica—:

Es calcula l’estadístic segons la fórmula, amb $n = 9$ —els tastadors— i $k = 4$ —les característiques—: \[S = \frac{12}{nk(k+1)} \sum_{j=1}^{k} R_j^2 - 3n(k + 1) = \frac{12}{36(5)} 2325.5 - 27(5) = 20.03\]

qchisq(0.05,3,lower.tail=F) $\rightarrow$ 7.814728

Com $S = 20.03 > \chi^2_{0.05, 3} = 7.815$, es pot rebutjar la hipòtesi nul·la. Amb un 95 % de confiança, es pot afirmar que hi ha diferències en les valoracions per part dels tastadors.

Amb R:

Com $p$-value $= 0.0001201 < 0.05$ es pot rebutjar àmpliament H_0.

S’observa que el valor calculat prèviament de $S$ no coincideix amb el de la funció friedman.test. Això es deu a que la funció ho calcula tenint en compte els empats al calcular el rang. En efecte:

\[\begin{align*} &\left[ \frac{1}{(k-1)} \right] \sum_{i=1}^{n} \left| \left( \sum_{j=1}^{g_i} t_{ij}^3 \right) - k \right| = \left[ \frac{1}{(4-1)} \right] \cdot 18 = \frac{18}{3} = 6 \\ &nk(k+1) = 9 \cdot 4 \cdot (4+1) = 180 \\ &\frac{n(k+1)}{2} = \frac{9 \cdot (4+1)}{2} = 22.5 \end{align*}\]

Per tant: \[\bar{S} = \frac{12 \displaystyle\sum_{j=1}^{k} \left( R_j - \frac{n(k+1)}{2} \right)^2}{nk(k+1) - \left[ \frac{1}{(k-1)} \right] \displaystyle\sum_{i=1}^{n} \left( \displaystyle\sum_{j=1}^{g_i} t_{ij}^3 \right) - k} = \frac{12 \cdot 300.5}{180 - 6} = 20.72414\]

Valor que —ara sí— coincideix amb el calculat per la funció friedman.test.

Correlació per rangs de Kendall

El coeficient de correlació per rangs de Kendall és un coeficient no paramètric que mesura la dependència entre dues variables aleatòries. Donades dues variables aleatòries $(X ,Y)$, es disposa d’una mostra aleatòria simple \[\{(x_1, y_1), (x_2, y_2), \cdots, (x_n, y_n)\}\], amb el valor del coeficient determinat per a freqüència de l’esdeveniment $[(x_i - x_j) \cdot (y_i -y_j) > 0]$.

El procediment de càlcul consisteix en:

Es disposa la mostra en forma de dues successions $\left[x_{(1)}, x_{(2)}, \cdots, x_{(n)}\right]$ i $\left[y_{(1)}, y_{(2)}, \cdots, y_{(n)}\right]$. Amb $\left(x_{(1)} < x_{(2)} < \cdots < x_{(n)}\right)$ i $y_{(i)}$ la parella de $x_{(i)}$ en la mostra aleatòria simple inicial.
S’assigna —a cadascuna de les diferències $\left(y_{(j)} - y_{(i)}\right)$— el valor:

+1, si $(y_{(j)} - y_{(i)}) > 0$, amb $(j > i)$
-1, si $(y_{(j)} - y_{(i)}) < 0$, amb $(j > i)$

Es calcula $P$ com la suma dels valors concordants (amb valor +1).
Es calcula $Q$ com la suma dels valors discordants (amb valor -1).
Es calcula la correlació per rangs com \[\hat{\tau} = \frac{P - Q}{\frac{n(n-1)}{2}} = \frac{P - Q}{\binom{n}{2}}\]

Observacions:

$\hat \tau = -1$, si les ordenacions són totalment discordants.
$\hat \tau = +1$, si les ordenacions són totalment concordants.
$\hat \tau = 0$, si les ordenacions no tenen cap relació.
$P + Q = [n(n-1)/2]$
S’indica $\vartheta (x_i, x_j, y_i, y_j) $ com:

$+1$, si $(x_i - x_j)(y_i - y_j) > 0$
$-1$, si $(x_i - x_j)(y_i - y_j) < 0$

Es calcula \[P - Q = \displaystyle\sum_{i=1}^{n-1} \displaystyle\sum_{j=i+1}^{n} \vartheta(x_i, x_j, y_i, y_j) \]

En cas de lligadures entre alguns valors de $X$ o $Y$, es forma la successió $x_{(1)} \leq x_{(2)} \leq \cdots \leq x_{(n)}$

aleshores,

$P$ es calcula com el nombre de cops que $(x_j - x_i)(y_j - y_i) > 0$, amb $(j > i)$.
$Q$ es calcula com el nombre de cops que $(x_j - x_i)(y_j - y_i) < 0$, amb $(j > i)$.
Si $(x_j - x_i)(y_j - y_i) = 0$, no es comptabilitza.
S’indica $\bar{\vartheta}(x_i, x_j, y_i, y_j)$ com:

$+1$, si $(x_i - x_j)(y_i - y_j) > 0$
0, si $(x_i - x_j)(y_i -y_j) = 0$
$-1$, si $(x_i - x_j)(y_i - y_j) < 0$

Es calcula \[P - Q = \displaystyle\sum_{i=1}^{n-1} \displaystyle\sum_{j=i+1}^{n} \bar{\vartheta}(x_i, x_j, y_i, y_j)\]
En tot cas \[\hat{\tau} = \frac{P - Q}{\sqrt{\frac{1}{2} \left[ n(n-1) - \displaystyle\sum_{i=1}^{g} t_i(t_i-1) \right]} \cdot \sqrt{\frac{1}{2} \left[ n(n-1) - \displaystyle\sum_{i=1}^{h} u_i(u_i-1) \right]}}\], amb

$g$, el nombre de grups d’observacions lligades de $X$.
$t_i$, el nombre d’observacions lligades en el grup $i$.
$h$, el nombre de grups d’observacions lligades de $Y$.
$u_i$, el nombre d’observacions lligades en el grup $i$.

$\tau$ es una estimació de la mesura de dependència entre $X$ i $Y$.Si $X$ és independent de $Y$, $\tau = 0$, \[\tau = 2 \cdot P\left[(X - X')(Y - Y') > 0\right] - 1\]

Per tal de contrastar $\left[H_0:\ \tau = 0\right]$ s’utilitza la propietat de que l’estadístic \[z = \frac {\hat \tau}{\sqrt {\frac{2(2n + 5)}{9n(n - 1)}}}\] segueix asimptòticament una distribució $\mathcal{N}(0, 1)$ —sempre que $n \geq 8$—.

Si $z$ és estadísticament significatiu es rebutja $H_0$ i s’accepta la dependència estocàstica entre $X$ i $Y$.

Exemple 48. Coeficient per rangs de Kendall.

Es disposa de les notes obtingudes per 10 alumnes en dues assignatures $(A\ \text{i}\ B)$:

Calculis el coeficient de correlació per rangs de Kendall i contrastis les hipòtesis:

$H_0: $ “Les notes de les dues assignatures no són relacionades”.

$H_1: $ “Les notes de les dues assignatures són relacionades”.

Adaptació de l’exemple, C. M. Cuadras, 2016, Vol.2, p.287

Amb R:

Com $p$-value $= 0.78039 > 0.05$, no es pot rebutjar $H_0$, amb $\alpha = 0.05$. S’ha d’acceptar que les notes de les dues matèries no són relacionades.

Calculem ara manualment la $\tau$ ̂ de Kendall:

Es calculen $P$ i $Q$.

S'ordenen els parells de notes segons l’assignatura $A$:

S’observa que: \[\begin{align*} P &= 8 + 4 + 3 + 3 + 2 = 20 \\ Q &= 1 + 7 + 1 + 2 + 3 + 1 + 1 = 16 \end{align*} \]

A la variable $X$ hi tenim $g = 4$ grups d’empat: $4, (5, 5), (6, 6), (7, 7), 8, (9, 9)$

A la variable $Y$ hi tenim $h = 3$ grups d’empat: $(3, 3), (5, 5, 5), 6, (7, 7), 8, 9$

Per tant: \[\begin{align*} &\sum_{i=1}^{g} t_i (t_i - 1) = 4[2(2 - 1)] = 8 \\ &\sum_{i=1}^{h} u_i (u_i - 1) = 2(2 - 1) + 3(3 - 1) + 2(2 - 1) = 10 \\ &\hat{\tau} = \frac{20 - 16}{\sqrt{\frac{1}{2} [10(10 - 1) - 8] \times \frac{1}{2} [10(10 - 1) - 10]}} = \frac{4}{\sqrt{41 \times \sqrt{40}}} \approx 0.0988 \end{align*}\]

Es calcula la significança estadística del resultat obtingut \[z = \frac{\hat{\tau}}{\sqrt{\frac{2(2n + 5)}{9n(n - 1)}}} = \frac{0.098}{\sqrt{\frac{2(25)}{90(9)}}} = \frac{0.098}{\sqrt{\frac{50}{810}}} = 0.39444\]

Es calcula el $p$-value.

2*(1-pnorm(0.39444,0,1)) $\rightarrow$ 0.6932562

S‘observa que el valor de $z$ no és significatiu, donat que $0.39444 < 0.6932562$.

No es pot rebutjar $H_0$, hi ha almenys un 95 % de probabilitat de que sigui certa.

Correlació per rangs de Spearman

El coeficient de correlació per rangs d’Spearman ($\rho_s)$ es calcula substituint els parells de valors $X:\{ x_1, x_2, x_3, \cdots, x_n \}$ i $Y:\{ y_1, y_2, y_3, \cdots, y_n \}$ pels seus rangs.

Aquest coeficient té sentit quan les variables són d’escala ordinal i l’ordre individual dins la mostra és la informació rellevant.

Per a cada $i = \{1, 2, 3, \cdots , n \}$, es calcula $d_i = R(x_i) - R(y_i)$, amb $R(x_i), R(y_i)$ els rangs respectius de $x_i, y_i$ dins $X, Y$.

Es té que \[\rho_s = 1 - \frac{6 \displaystyle\sum_{i=1}^{n} d_i^2}{n(n^2 - 1)}\] i, posteriorment, es contrasta la hipòtesi nul·la $\left[H_0:\ \rho_s = 0\right]$ amb l’estadístic \[t = \sqrt{n - 2} \frac{r_s}{\sqrt{1 - r_s^2}} = \frac{r_s}{\sqrt{\frac{1 - r_s^2}{n - 2}}} = \rho_s \sqrt{\frac{n - 2}{1 - r_s^2}}\]

, amb distribució aproximada de $t$ —per a $n \geq 10$— una $t$ de Student amb $n - 2$ g.l.

Si $X, Y$ són independents, $\rho_s = \tau = 0$. Per altra banda, s’acompleix sempre que $-1 \leq 3\tau - 2 \rho_s \leq 1$.

Exemple 49. Coeficient per rangs d’Spearman.

Es recupera l’exercici 48 de l’apartat anterior. Es disposa de les notes obtingudes per 10 alumnes en dues assignatures $(A\ \text{i}\ B)$.:

Calculis el coeficient de correlació per rangs d’Spearman i contrastis les hipòtesis: \[\begin{align*} &H_0:\ \text{“Les notes de les dues assignatures no són relacionades”} \\ &H_1:\ \text{“Les notes de les dues assignatures són relacionades”} \end{align*}\]

[Adaptació de l’exemple, C. M. Cuadras, 2016, Vol.2, p.287]

X <- c(5, 6, 9, 4, 5, 7, 8, 9, 6, 7)

Y <- c(5, 5, 7, 3, 9, 8, 7, 3, 6, 5)

n = 10

Es calcula \[\displaystyle\sum_{i=1}^{n} d_i^2\]

sum_di_2 = sum((rank(X)-rank(Y))^2) $\rightarrow$ 142

Es calcula $\rho_s$, tenint en compte els empats.

rs = 1 - ((6 * sum_di_2)/(n*((n^2)-1))) $\rightarrow$ 0.1393939

Es verifica el valor de \[\displaystyle\sum_{i=1}^{n} d_i^2\] a partir del valor calculat de $\rho_s$.

S = (n^3 - n)*(1-rs)/6 $\rightarrow$ 142

Es calcula l’estadístic $t$

t = sqrt(n-2)*(rs/sqrt(1-(rs^2))) $\rightarrow$ 0.3981528

Es calcula el $p$-value a partir del valor de $t$.

2*pt(-abs(t), n-2) $\rightarrow$ 0.7009319

Com $p$-value $= 0.7009319 > 0.05$, no es pot rebutjar $H_0$, hi ha almenys un 95 % de probabilitat de que sigui certa.

Amb R:

S'observen petits diferències en el resultat obtingut. R utilitza aproximacions asimptòtiques o ajustaments addicionals per tractar empats i petites mostres. Tanmateix es verifica també que no es pot rebutjar $H_0$.

Taules de contingència

La distribució conjunta de les freqüències de dues variables $(x, y)$ es representa en una taula que representa els valors observats d’ambdues variables i les freqüències relatives d’aparició de cada parell de valors. Coneixent-ne també el nombre d’elements observats es calculen les freqüències absolutes.

Una taula de contingència $(r × c)$ és una taula de doble entrada que recull la freqüència conjunta $n_{ij}$ del nivell $i$-èsim d’un factor $A$ i el nivell $j$-èsim d’un factor $B$.

El nombre de nivells d’$A$ és $r$ i el nombre de nivells de $B$ és $c$. Les freqüències conjuntes observades es representen en una taula com la següent:

Els nivells de factors —$A\ \text{i}\ B$— s’identifiquen amb modalitats o categories de l’atribut de caràcter qualitatiu o amb classes o intervals d’una variable quantitativa.

Quan les variables són qualitatives, la taula resultant s’anomena taula de contingència. La denominació de distribució conjunta es reserva per a les variables numèriques.

Contrast d’independència en una taula de contingència

Es pretén contrastar la hipòtesi nul·la de la independència entre els nivells del factor $A$ respecte als del factor $B$.

Exemple 50. Taules de contingència. Contrast d’independència.

Es vol determinar —amb $\alpha = 0.025$— si hi ha associació entre el nivell educatiu —bàsic, mitjà i superior— d’una mostra de 400 individus i la seva preferència per un medi de comunicació determinat — premsa, radio, T.V. —. A l’estudi s’han obtingut les freqüències següents:

La hipòtesi nul·la és la independència entre les dues variables. Hi haurà associació si es rebutja aquesta hipòtesi.

Amb R:

Es calcula l’estadístic $\chi^2 = 3.0821$, que segueix una distribució asimptòtica $\chi^2$ de Pearson amb 4 g.l: $(r - 1)(c - 1) = (3 - 1)(3 - 1) = 4$

Es calcula el corresponent valor tabulat de $\chi^2$, amb $\alpha = 0.025$ i 4 g.l., igual a 11.14329

Com $\chi^2 = 3.0821 < 11.14329$ no es pot rebutjar la hipòtesi d’independència entre els nivells de les dues variables —Nivell i Medi—.

El $p$-value $= 0.5442 > 0.05$ ens indica també el mateix resultat.

Contrast d’homogeneïtat en una taula de contingència

Es disposa de $c$ mostres classificades segons els $r$ nivells d’una variable $A$. La hipòtesi a contrastar és que les $c$ mostres provenen de la mateixa població.

Exemple 51. Taules de contingència. Contrast d’homogeneïtat.

S’utilitzen dos fertilitzants $F_1$ i $F_2$ en una plantació vegetal. Es vol avaluar la seva producció. Valorant si augmenta $(+)$, es manté $(=)$, o disminueix $(-)$. Els resultats — sobre 200 plantes— es mostren a la taula següent:

Avaluïs si les dues mostres pertanyen a la mateixa població, amb $\alpha = 0.01$.

La hipòtesi nul·la és que els dos fertilitzants produeixen efectes similars.

Amb R:

L’estadístic segueix una distribució asimptòtica $\chi^2$ de Pearson, amb 2 g.l.: $(r - 1)(c - 1) = (3 - 1)(2 - 1) = 2$

Es calcula el corresponent valor tabulat de $\chi^2$, amb $\alpha = 0.01$ i 2 g.l., igual a 9.21034

Com $\chi^2 = 10.032 > 9.21034$, es pot rebutjar la hipòtesi d’homogeneïtat de la mostra —amb $\alpha = 0.01$—.

El $p$-value $= 0.006632 < 0.05$ ens avala el mateix resultat. Sembla ser que el fertilitzant $F_2$ obté una major producció.

Comparació de mostres diverses amb dades alternatives

El test de la $\chi^2$ de Brandt i Snedecor per a taules $k × 2$

Es tenen dues mostres independents, de freqüències empíriques. Es vol esbrinar si venen de la mateixa població. S’utilitza la fórmula de Brandt-Snedecor per a estimar la $\hat \chi^2$: \[\hat{\chi}^2 = \frac{\displaystyle\sum_{j=1}^{k} x_j p_j - x \hat{p}}{\hat{p}(1 - \hat{p})}\]

Amb:

g.l. $= (k-1)$, els graus de llibertat
$n$, l’extensió de la totalitat de les mostres
$n_j$, la mida de la $j$-èsima mostra
$x$, el total d’elements mostrals amb l’alternativa $"+"$
$x_j$, la freqüència de l’alternativa $"+"$ en la $j$-èsima mostra
$\hat p$, el quocient entre $x$ i $n$; fracció total d’elements amb la característica $"+"$

Amb el test de $\chi^2$ per a taules quàdruples, es verifica si dues mostres, amb dades alternatives, es poden considerar com a mostres aleatòries d’una mateixa població — representada per les quatre sumes marginals—.

Si en lloc de dues mostres, es comparen $k$ mostres de dades alternatives —amb el que l’únic test possible és el bilateral— s’obté com a esquema de partida una taula $(k × 2)$ semblant a la següent taula generalitzada —:

Es suposa $(x < n - x)$ —les $n$ observacions independents—, amb les dues alternatives incompatibles i exhaustives. Sota la hipòtesi d’homogeneïtat de les freqüències esperades $E$, amb \[E(x_j) = \frac{n_j x}{n}\]

A les taules petites $(k < 5)$, cadascuna de les freqüències esperades ha de ser almenys igual a 2. Si $k \geq 5$, cada freqüència esperada hauria de ser $\geq 1$ [Lewontin i Felstein, 1965].

Sota la hipòtesi nul·la: “totes les mostres provenen de poblacions en les que es dona la proporció de freqüències $\left[\frac{x}{n - x}\right]$”, cal esperar que —en les $(k × 2)$ caselles de la taula— la distribució de freqüències sigui proporcional a les sumes marginals.

El test $\chi^2$ per a taules $(k × 2)$, examina si les freqüències relatives observades en les $k$ classes són diferents de les teòriques més que casualment. La decisió de mantenir o rebutjar la hipòtesi nul·la d’homogeneïtat de les $k$ mostres binomials ve donada pel test $\chi^2$ de Pearson —utilitzant la fórmula de Brandt i Snedecor per a estimar la $\hat \chi^2$—: \[\hat{\chi}^2 = \frac{n^2}{x(n - x)} \left[ \sum_{j=1}^{k} \frac{x_j^2}{n_j} - \frac{x^2}{n} \right]\]

Tinguis en compte que el valor tabulat de $\chi^2$ i el valor de l’estadístic $\hat \chi^2$ coincidiran només per a valors grans de $n$ i grans freqüències esperades.

La comparació directa dels percentatges d’èxit per a cada mostra —la fracció d’elements $"+"$ respecte la mida de la mostra— utilitza la fórmula de Brandt i Snedecor per a estimar la $\hat \chi^2$.

Exemple 52. Taules de contingència. Test de Brandt i Snedecor.

Es tracten —amb tres tractaments diferents— tres grups de 40 malalts cadascun.

El grup 1 rep tractament simptomàtic
El grup 2 rep la dosi terapèutica específica normal
El grup 3 rep doble dosis terapèutica.

S’obtenen els resultats que mostra la següent taula de contingència:

Es pot acceptar, amb un nivell de significació $\alpha = 0.05$, que els tres tractaments són equivalents?

[Adaptat de Lothar Sachs (1978), p. 398]

Es planteja el contrast bilateral:: \[\begin{align*} &H_0:\ \text{“Els resultats són equivalents”} \\ &H_1:\ \text{“Els resultats no són equivalents”} \end{align*}\]

Es calcula $\hat \chi^2$ \[\hat{\chi}^2 = 120 \cdot \left[ \frac{1}{68} \cdot \left( \frac{14^2 + 22^2 + 32^2}{40} \right) + \frac{1}{42} \cdot \left( \frac{18^2 + 16^2 + 8^2}{40} \right) + \frac{1}{10} \cdot \left( \frac{8^2 + 2^2 + 0^2}{40} \right) \right] \approx 21.78\]

qchisq(0.05,4,lower.tail=F) $\rightarrow$ 9.487729

Com $\hat \chi^2 \approx 21.58 > 9.49 \approx \chi^2_{4;0.05}$, es pot rebutjar $H_0$. El tractament 3 —amb doble dosi— sembla ser el més efectiu i segur.

Amb R:

Com $p$-value $= 0.0002433 < 0.05$ es pot rebutjar $H_0$.

Altra solució possible —amb idèntics resultats— és:

Amb R:

Exemple 53. Taules de contingència. Test de Brandt-Snedecor.

Es disposa de dues mostres —$B_1$ i $B_2$— i es pretén esbrinar si —amb $\alpha = 0.01$— les mostres pertanyen a la mateixa població.

[Adaptat de Lothar Sachs (1978), p. 391]

S'agrupen les files 7 i 8 en una única fila

S’aplica la fórmula de Brandt-Snedecor —a qualsevol de les dues mostres—: \[\begin{align*} \hat{\chi}^2 &= \frac{387^2}{200 \cdot 187} \cdot \left( \left( \frac{60^2}{108} + \frac{52^2}{102} + \frac{30^2}{66} + \frac{31^2}{51} + \frac{10^2}{25} + \frac{12^2}{22} + \frac{5^2}{13} \right) - \frac{200^2}{387} \right) \approx 5.734 \\ \hat{\chi}^2 &= \frac{387^2}{200 \cdot 187} \cdot \left( \left( \frac{48^2}{108} + \frac{50^2}{102} + \frac{36^2}{66} + \frac{20^2}{51} + \frac{15^2}{25} + \frac{10^2}{22} + \frac{8^2}{13} \right) - \frac{200^2}{387} \right) \approx 5.734 \end{align*}\]

qchisq(0.01,6,lower.tail=F) $\rightarrow$ 16.81189

Com $\hat \chi^2 \approx 5.734 < 16.81189 \approx \chi^2_{6;0.01}$, no es pot rebutjar $H_0$. Les dues mostres pertanyen a la mateixa població.

Amb R:

Com $p$-value $= 0.4536 > 0.05$, no es pot rebutjar $H_0$. Les dues mostres pertanyen a la mateixa població.

Classificació múltiple: taules multidimensionals

En el camp social, és sovint difícil la manipulació de les variables. L’investigador assigna categories a les variables independents però no controla l’assignació dels subjectes a aquestes categories —el que hi dificulta els estudis de causalitat—.

En un experiment, on es sospita que la dosi d’un fàrmac —la variable independent— és important per a explicar l’evolució d’una malaltia —la variable dependent—, l’experimentador pot assignar aleatòriament grups d’individus a les diferents categories de la dosi.

En la investigació no experimental, les tècniques multivariants i la tabulació múltiple — utilitzada fonamentalment per al tractament de dades qualitatives—, ofereixen la possibilitat de suplir —en certa manera— aquestes limitacions. La lògica del tractament es basa en desglossar la relació original en dues variables $x$ i $y$ en relacions condicionades. Es considera a més una tercera variable, el factor test —la variable de control—. De manera que s’estudia una mateixa relació en diferents contextos.

És possible que les variables $x$ i $y$ —que es manifesten aparentment relacionades— responguin realment a la convergència de dos fets. També podem trobar-nos amb que la relació original desapareix —i s’intensifica— o que es mostren relacions de naturalesa diferent per a cada valor de la variable test.

Per a generar una taula multidimensional amb R, s’utilitzen les mateixes funcions que per a taules bidimensionals. Amb l’excepció d’haver d’especificar les variables de control.

Exemple 54. Taules multidimensionals.

Es disposa de les dades de l’edat i el salari de 11137 treballadors. Dades classificades atenent a tres variables: salari, tipus de feina —manual o intel·lectual— i edat:

Estudiïs les relacions condicionades del salari a l’edat, segons el tipus de feina.
Estudiïs la independència del salari respecte l’edat.

Es transformen les variables qualitatives en quantitatives i es factoritzen les dades.

Amb R:

a) Estudiïs les relacions condicionades del salari a l’edat, segons el tipus de feina.

S’investiga si per a cada tipus de feina —manual, intel·lectual— hi ha o no associació entre edat i salari.

1. Tipus de feina manual.

Amb R:

Es constata que per al grup de treballadors “manual” no hi ha associació entre salari i edat. Com $p$-value $= 0.5227 > 0.05$ , no es pot rebutjar la hipòtesi d’independència de salari i edat dels treballadors de la categoria manual.

2. Tipus de feina intel·lectual.

Amb R:

Sí que s’aprecia una forta relació entre les variables salari i edat en el tipus de treball intel·lectual. Com $p$-value $ < 2.2e-16<0.05$ , es pot rebutjar la hipòtesi d’independència de salari i edat dels treballadors de la categoria intel·lectual.

b) Estudiïs la independència del salari respecte l’edat.

Es completa la investigació estudiant-hi les condicionades relatives a salari i edat, segons el tipus de treballador:

1. Condicionada del salari a l’edat, per al grup de treballadors manual i intel·lectual.

Amb R:

En el grup de treballadors manuals no s’observen grans diferències. Sí que s’hi observen en el grup de treballadors intel·lectuals.

Risc relatiu i odds ratio

S’anomena odds $(O)$ a la raó entre la probabilitat de que un esdeveniment $(E)$ esdevingui i la probabilitat de que no ho faci.

L’odds expressa quant més probable és que un esdeveniment esdevingui, en front de que no esdevingui: \[O(E) = \frac{P(E)}{1 - P(E)}\]

Per exemple, si el 90 % dels afectats per una determinada malaltia sobreviuen, direm que l’odds de supervivència d’aquesta malaltia és: \[O(E) = \frac{P(E)}{1 - P(E)} = \frac{0.9}{0.10} = 9\].

Coneixent-ne $O(E)$ es pot calcular també la probabilitat de l’esdeveniment \[P(E) = \frac{O(E)}{O(E) + 1} = \frac{9}{9 + 1} = 0.9 = 90 \text{ %}\]

Siguin els conjunts d’individus:

$F$, “sotmesos a un determinat factor”. Per exemple: “haver estat medicat amb un determinat antibiòtic”
$F^c$, “no sotmesos a un determinat factor”. Per exemple: “haver-ho estat amb un placebo”
$C$, “que presenten una determinada condició”. Per exemple: “presentar febre alta als dos dies del tractament”
$C^c$, “que no presenten una determinada condició”. Per exemple: “no presentar febre alta als dos dies del tractament”

Es representen les dades en forma de taula:

I es defineix:

Risc relatiu $(RR)$ de $C$. \[RR = \frac{P(C \mid F)}{P(C \mid F^c)}\]
Odds ratio $(OR)$ —o oportunitat relativa—: \[OR = \frac{\frac{P(C|F)}{1 - P(C|F)}}{\frac{P(C|F^c)}{1 - P(C|F^c)}} = \frac{P(C|F^c) \cdot P(C^c|F)}{P(C|F) \cdot P(C^c|F^c)}\]

Exemple 55. Odds Ratio i Risc Relatiu. Eficàcia d’una vacuna.

Es pretén determinar l’eficàcia d’una vacuna en un col·lectiu de persones sanes. A una part del col·lectiu se l’injecta la vacuna. A l’altra part se l’injecta un placebo. Passat el període d’immunització, es registren els resultats següents:

Què es pot dir de l’efectivitat de la vacuna?

Es calcula l’odds ratio —la raó entre infectar-se i no infectar-se— \[OR = \frac{307 \cdot 2634}{420 \cdot 2744} \approx 0.7\].

Es calcula el risc relatiu —la probabilitat d’infectar-se o no segons el factor vacuna— \[RR = \frac{307 \cdot 3054}{420 \cdot 3051} \approx 0.73 = 73 \text{ %}\]

Els individus vacunats presenten un 27 % més de probabilitat de no infectar-se que els no vacunats. Es calcula l’eficàcia de la vacuna \[1 -\frac{307}{420} \approx 0.27 = 27 \text{ %}\]·

Exemple 56. Odds Ratio i Risc Relatiu.

Es categoritza una mostra de 300 individus respecte al consum de drogues i el seu sexe biològic, amb els resultats següents:

Calculis el risc relatiu i l’odds-ratio.

[Adaptat de L.C. Silva, I.M. Barroso, 2004, p.16]

Siguin els esdeveniments $H$ = “home”, $D$ = “dona” i $C$ = “consumidor”

Aleshores: \[\begin{align*} O_H(C) &= \frac{54/167}{113/167} = \frac{54}{113} \\ O_D(C) &= \frac{26/133}{107/133} = \frac{26}{107} \end{align*}\]

Es pot associar la relació entre sexe i consum. \[OR(C) = \frac{O_H(C)}{O_D(C)} = \frac{54/113}{26/107} = \frac{54 \cdot 107}{26 \cdot 113} \approx 1.97\]

El valor obtingut ens indica que els homes tenen un major risc de ser consumidors de drogues —quasi bé el doble— que les dones.

Amb la llibreria "epitools":

Amb R:

Amb la llibreria "pander":

Amb R:

A les proporcions per columnes, amb dos decimals, s’observa que el 32 % dels homes són drogoaddictes, en front del 20 % de les dones.

A les proporcions per files, amb quatre decimals, s’observa que el 67.5 % dels drogoaddictes són homes, en front del 32.5 % que són dones.

El risc relatiu no és un bon indicador. Depèn de la mida de la mostra i de l’ordre de files i columnes. Si es transposen files amb columnes el resultat canvia. El risc relatiu no coincideix amb el calculat anteriorment. No és simètric

La odds-ratio (OR) sí que és una mesura simètrica i fiable. Es pot calcular també a partir de la taula creuada de freqüències absolutes. Sempre que la categoria positiva sigui la primera, tant en files com en columnes.

Amb la llibreria "epiR":

Amb R:

Recordis que —per tal de que el càlcul sigui correcte— la taula de partida —taula1 en aquest exercici— ha de ser ordenada de forma que les categories “positives” —tenir la malaltia, el factor de risc, …— siguin les primeres en cada variable.

La funció anterior, epi.2by2, ens retorna també per defecte el risc relatiu. Es responsabilitat de l’investigador tenir en compte que el RR tingui o no sentit, segons el disseny cas-control. Tal com s’explica en el següent apartat.

Interpretació del risc relatiu $(RR)$

Si $RR < 1$, el factor de risc $F$ afecta negativament a la condició $C$. Els individus exposats a $F$ presenten amb menys probabilitat la condició $C$.
Si $RR = 1$, el factor de risc $F$ no afecta a la condició $C$.
Si $RR > 1$, el factor de risc $F$ afecta positivament a la condició $C$. Els individus exposats a $F$ presenten amb més probabilitat la condició $C$.

Una $RR = 2$ —per exemple— ens indica que els individus exposats a $F$ representen el doble de casos de $C$ que els individus no exposats.

Interpretació de l’odds ratio $(OR)$

Representa la raó entre manifestar la condició $C$ i no manifestar-la.
És adimensional.
$0 < OR < \infty$
$OR = 1$ indica que $F$ i $C$ no són relacionats.
$OR > 1$ indica que $F$ i $C$ són relacionats positivament.
$OR < 1$ indica que $F$ i $C$ són relacionats negativament.
És sempre més allunyat de 1 que el $RR$.
Permet, amb regressió logística, ajustar per variables de confusió.
Si els risc és baix $RR$ i $OR$ seran propers.

Odds pretest i Odds posttest. Factor Bayes.

Quan es calcula l’odds d’un determinat factor $F$ amb una condició $C$, es distingeix entre:

Odds a posteriori —odds posttest o odds posterior—. És l’odds calculada un cop se sap que s’ha complert una condició prèvia.
\[\text{Odds a posteriori} = \frac{P(F \mid C)}{P(F^c \mid C)}\]
Odds a priori —odds marginal, odds pretest o odds prèvia—. És l’odds calculada sense cap condició prèvia.
\[\text{Odds a priori} = \frac{P(F)}{P(F^c)}\]

S’anomena factor Bayes a la raó de probabilitats de la condició, el quocient de probabilitats condicionals \[\text{Factor Bayes} = \frac{P(C \mid F)}{P(C \mid F^c)}\]

S’acompleix sempre que $\text{Odds a posteriori} = \text{Odds a priori} × \text{Factor Bayes}$.

Exemple 57. Pretest i posttest. Odds i factor Bayes. Valor predictiu positiu.

En una població el 5 % de les persones són afectades per una determinada malaltia $M$.

D’aquestes, el 60 % presenten un determinat indicador diagnòstic $D$. Mentre que únicament el 2 % de les persones sanes $M^c$ el presenten.

Calculis la probabilitat de que una persona que presenta l’indicador diagnòstic estigui realment malalta.

\[\text{Odds a priori} = \frac{P(M)}{P(M^c} = \frac {0.05}{0.95} = \frac {1}{19}\]

\[\text{Factor Bayes} = \frac {P(D \mid M)}{P(D \mid M^c)} = \frac {0.3}{0.02} = 30\]

El factor Bayes —en aquest context— s’anomena raó de versemblança positiva o likelihood ratio.

Amb $\text{Odds a posteriori} = \text{Odds a priori} × \text{Factor Bayes} = \frac {30}{19}$

Per tant, passant d’odds a probabilitat: \[P(M \mid D)= \frac {\frac {30}{19}}{1 + \frac {30}{19}} = \frac {30}{49} \approx 61.22 \text{ %}\]

El 61.22 % de les persones que presentin l’indicador diagnòstic $D$ seran realment malaltes $M$. Valor anomenat valor predictiu positiu ($VPP$). Força utilitzat en els diagnòstics mèdics.

Odds a posteriori i inferència bayesiana

Suposem que —en la població en general—es sap prèviament que la freqüència d’una determinada malaltia $M$ és de 0.1. Es té així la informació a priori de la Odds prèvia \[\text{Odds prèvia} = \frac{P(M)}{P(M^c)} = \frac{0.1}{0.9} = \frac{1}{9}\]

Suposem que s’està diagnosticant a un pacient i es disposa d’una bateria de tres proves diagnòstiques $(D_1, D_2, D_3)$ en sèrie. Amb les següents característiques:

Amb:

$\text{Sensibilitat} = P('+' \mid M))$, la prova és $'+'$ i el pacient és realment malalt $M$.
$\text{Especificitat} = P('+' \mid M^c)$, la prova és $'+'$ i el pacient està sa $M^c$.

Per tant:

Amb la primera prova diagnòstica $'+'$: \[\begin{align*} &\text{Factor Bayes} = \frac{0.95}{1 - 0.8} = 4.75 \\ &\text{Odds a posteriori} = \text{Odds prèvia} \times \text{Factor Bayes} \\ &\text{Odds a posteriori} = \frac{1}{9} \times 4.75 = \frac{19}{36} < 1 \end{align*}\]
Encara és —aproximadament— 1.89 cops més probable que el pacient no tingui la malaltia: $[1/(19/36)] \approx 1.89$. Es precisarà d’una segona prova diagnòstica.
Amb la segona prova diagnòstica $'+'$: \[\begin{align*} &\text{Factor Bayes} = \frac{0.75}{1 - 0.85} = 5 \\ &\text{Odds a posteriori} = \frac{19}{36} \times 5 \approx 2.64 > 1 \end{align*}\]
Ara és —aproximadament— 2.64 cops més probable que el pacient tingui realment la malaltia. Ja no caldrà efectuar una tercera prova diagnòstica.

En definitiva, el que s’ha fet és estimar l’odds de la malaltia condicionada als resultats de les proves diagnòstiques. S’ha ponderat la probabilitat de que la hipòtesi inicial de malaltia sigui certa condicionada als resultats de les proves diagnòstiques.

Regressió logística

La regressió logística binària s’utilitza quan es vol esbrinar com diverses variables, quantitatives o categòriques, —diversos factors— s’associen simultàniament a una variable dependent dicotòmica —qualitativa o categòrica—.

Altres models de regressió logística són la regressió logística nominal o la regressió logística ordinal —per a variables dependents categòriques amb més de dues categories—.

La regressió logística binària —desenvolupada per David Cox (1958) — permet estimar la probabilitat d’una variable qualitativa binaria en funció d’una variable quantitativa —en particular, la classificació binària a partir d’una variable predictora, per exemple, classificar el sexe d’un animal segons la mida d’un os determinat—. Permet també calcular la probabilitat de que la variable dependent pertany a cadascuna de les dues categories en funció de la variable independent. A diferència del t-test i l’ANOVA. Per exemple, es vol estudiar la relació entre nivell de colesterol i malaltia cardiaca. Es mesura el nivell de colesterol d’un grup de persones que es monitoritzen durant $x$ anys respecte la malatia cardiaca. Un $t$-test entre el nivell de colesterol i malaltia cardiaca sí/no permetrà contrastar la hipòtesi d’associació entre ambdós factors (colesterol/malaltia). Però no permetrà conèixer la probabilitat de malaltia segons el nivell de colesterol. O quin nivell de colesterol garanteix una probabilitat inferior a 0.5 de patir una malaltia cardiaca en $x$ anys. Per tot això es precisarà de la regressió logística.

Regressió logística binària simple

S’utilitza la regressió logística binària simple en aquells casos en que la variable resposta —la variable dependent— expressa l’ocurrència o no ocurrència d’un determinat esdeveniment.

Sigui $Y$ aquesta variable. Suposem que $Y$ és dicotòmica i pot assumir únicament dos valors possibles:

0: no es presenta l’esdeveniment
1: sí es presenta l’esdeveniment.

Es pretén —a més— predir l’esdeveniment a partir d’un únic factor de risc. Representat per la variable independent $X$ —que pot ser qualitativa o quantitativa—. En aquest cas, no es podria utilitzar un model de regressió lineal simple, com $Y = a + bx$, donat que $Y \in [0,1]$ i el model precisaria $(-\infty < Y < +\infty∞)$.

Al ajustar-hi un model de regressió lineal per mínims quadrats $a + bx$, s’obté una recta. Per a valors extrems del predictor s’obtenen valors de $Y$ que no són dins el rang $[0,1]$ i —per tant— no poden ser considerats com a probabilitats. Cal, doncs, una transformació del model lineal simple. Recordant prèviament que \[\begin{align*} &\text{odds} = \frac{p}{1-p} \\ &p = \frac{\text{odds}} {\text{odds} + 1} \end{align*} \]

Aquesta transformació s’anomena transformació lògit i consisteix en la substitució: \[Y = \ln\left(\frac{p}{1 - p}\right) = \ln(\text{odds}) = \text{logit}(p) = \alpha + \beta x\]

Equivalent a: \[p = \frac{1}{1 + e^{-(\alpha + \beta x)}}\]

La funció logística transformada és així semblant a la regressió lineal simple. Amb la variable dependent substituïda per una altra expressió.

Comprovem empíricament que la transformació de $p$ a $\text{logit}(p)$ és una funció monòtona decreixent —conserva l’ordre en sentit invers—:

Amb R:

L’estimació òptima dels paràmetres $\alpha$ i $\beta$ és aquella que té la màxima versemblança (maximum likelihood). Els valors amb els quals es maximitza la probabilitat d’obtenir els resultats observats.

El model logístic queda així representat amb una corba sigmoide —anomenada corba logística— que relaciona el risc amb l’exposició dins l’interval $[0,1]$.

A increments baixos o alts del factor d’exposició, li corresponen increments petits del risc. Els increments augmenten ràpidament en els valors mitjans del factor d’exposició.

Si $X$ és quantitativa. Si $\beta > 0$, la corba té la forma de S normal. Si $\beta < 0$, la corba té la forma de S invertida. Si $\beta = 0$ les variables són independents.

Vegem-ho amb dos exemples.

Exemple 58. Probabilitat de frau. Regressió lineal simple per mínims quadrats.

Es pretén modelar la probabilitat de frau per impagament ($Y$ = default) en funció del balanç del compte bancari ($X$ = balance). S’utilitza regressió lineal simple ajustada pel mètode dels mínims quadrats. ^[15]

En aquest cas la variable independent (balance) és quantitativa i sense categories.

Amb R:

Al basar-se les prediccions en una recta, poden haver prediccions amb probabilitat fora del rang $[0,1]$. Per exemple, per a $\text{balance} = 10000$:

La funció anterior: predict(object=model_lineal,newdata=data.frame(balance=10000)) $\rightarrow$ 1 $\quad$ 1.22353

La funció logística soluciona el problema plantejat transformant la variable $Y$ en la probabilitat de l’esdeveniment, entre $[0,1]$: \[\begin{align*} &p = \frac{e^{(\alpha + \beta x)}}{1 + e^{(\alpha + \beta x)}} = \frac{1}{1 + e^{-(\alpha + \beta x)}} = \frac{\text{odds}}{\text{odds} + 1} \\ &1 - p = \frac{1}{1 + e^{(\alpha + \beta x)}} \end{align*}\]

On $\alpha + \beta x$ pren valors en el rang $[-\infty, +\infty]$. Mentre que la probabilitat pren sempre valors en el rang $[0,1]$.

Exemple 59. Probabilitat de frau. Regressió logística.

Es pretén modelar la probabilitat de frau per impagament ($Y$ = default) en funció del balanç del compte bancari ($X$ = balance) amb regressió logística binària. [Op. cit., Joaquín Amat Rodrigo]

En aquest cas la variable independent (balance) és quantitativa i sense categories.

Amb R:

A partir d’un balance de 3000 € la probabilitat de frau és pràcticament igual a 1.

Interpretació dels coeficients de la regressió logística

A l’exercici anterior, els coeficients $\alpha$ i $\beta$ s’obtenen amb la instrucció:

La funció anterior: model_logistic$coefficients $\rightarrow$ (Intercept): -10.651330614 $\quad$ balance: 0.005498917

Per tant: $\alpha = -10.651330614$ i $\beta = 0.005498917$, amb $\ln(\text{odds}) = -10.651330614 + 0.005498917 \cdot \text{balance}$

Es pot calcular aleshores que, per un balance = 3000, \[\ln(\text{odds}) = 5.845420386 \rightarrow \text{odds} = e^{5.845420386} = 345.6478167\]

i la probabilitat de frau és $p = \frac{\text{odds}}{\text{odds} + 1} = 0.9971152282$

Probabilitat que coincideix —com era d’esperar— amb el valor predit a l’exercici anterior.

Per a cada unitat d’increment a balance, el $log \text{odds}$ de default —versus no default— s’incrementa en 0.005498917.

També es poden obtenir els intervals de confiança, utilitzant log-likelihood o standard errors:

Amb R:

Per a cada unitat d’increment a balance, l’odds de default —versus no default— s’incrementa en un factor de 1.005514. ^[16]

Cada coeficient de regressió expressa el logaritme neperià de la $OR$ de que succeeixi un esdeveniment per unitat de canvi de la variable independent.

Observem que $OR = e^\beta = e^0.005498917 = 1.005514064$. L’odds ratio entre dos individus que es diferencien en una unitat en la variable independent.

Variables de confusió de la regressió logística

En l'apartat sobre l’efecte Yule-Simpson s’ha comentat previament l’efecte de no tenir en compte una variable de confusió —la grandària del càlcul renal— sobre els resultats del cas plantejat.

Una variable de confusió és una variable que no es contempla en l’anàlisi estadístic però que pot influir en els resultats i comprometre la seva validesa.

Dissenyar bé l’anàlisi estadístic és la millor manera d’evitar-ne els seus efectes. L’estudi s’ha de basar —sempre que sigui possible— en dos grups, el més homogenis possible. Mentre que un dels grups rep un tractament específic —la variable a analitzar— l’altra —el grup de control— rep un tractament fictici, cap tractament o un nou tractament experimental.

De vegades això no és possible o ètic. No seria possible, ni ètic —per exemple— estudiar l’efecte d’una substancia tòxica sobre una part de la població administrant-la a un dels grups de manera obligada. Llavors, els resultats s’hauran de basar en nombrosos estudis d’observació en el major nombre de situacions diferents.

Suposis que es vol estudiar la relació d’una determinada mutació genètica en relació a la predisposició a un determinat tipus de càncer. L’experiment ideal seria comparar el grup de població que presenta la mutació amb el mateix grup de població sense presentar la mutació. D’aquesta manera únicament la presència o absència de la mutació seria la diferència a comparar.

És evident, però, que això no és factible. Cada individu presenta o no presenta la mutació. El grup impossible de comparació, rep el nom de contrafàctic. Contra més semblants siguin els grups reals —possibles— de comparació al grup contrafàctic ideal, més vàlides seran les conclusions de l’estudi i menor serà el factor de confusió.

Aquest és el fonament del mètode epidemiològic. ^[17]

El primer autor que tracta explícitament el concepte de la confusió és Stuart Mill. Es refereix als criteris necessaris per a establir una relació causal. Assenyala Stuart Mill la necessitat d’assegurar-se de que no sigui present cap factor de confusió amb l’agent a estudiar. ^[18]

Estadísticament, l’efecte d’una variable de confusió es detecta estratificant les dades i aplicant el test de Cochran-Mantel-Haenszel.^[19]

Vegem-ne un exemple: la relació entre edat, sexe i risc de mort per infart agut de miocardi.

Exemple 60. Defuncions per infart de miocardi l’any 2018.

Es disposa de les dades de les defuncions per aquest motiu a Espanya durant l’any 2018 agrupades segons el sexe:

[Dades extrapolades de l’Institut Nacional d’Estadística (INE, https://www.ine.es/)].

Es planteja el contrast bilateral: \[\begin{align*} &H_0 : \text{No hi ha diferències entre sexes } (OR = 1) \\ &H_1 : \text{No hi ha diferències entre sexes } (OR \neq 1) \end{align*}\]

Amb R:

Tant la $\chi^2$ com el $p$-value, ens indiquen que es pot rebutjar la hipòtesi nul·la.

El test de Fisher ens indica una $OR \approx 1.54$. Sense tenir en compte l’edat, hi ha 1.54 defuncions per infart agut de miocardi en homes per cada defunció en dones.

Es disposa també de les dades de defuncions agrupades per grups d’edat i sexe.

Ens plantegem l’efecte de confusió de l’edat sobre la $OR$ calculada anteriorment.

S’efectua el test de Mantel-Haenszel per tal de quantificar l’efecte de confusió de la variable edat. El test ens proporciona la mitjana ponderada de les odds ratio dels tres estrats plantejats.

Amb R:

Tenint en compte l’edat, s’observa una $OR_{MH} \approx 2$. El risc de mort per infart de miocardi és ara aproximadament el doble en homes que en dones.

Regressió logística binària múltiple

Sovint els problemes plantejats són complexos i no n’hi ha prou amb una única variable independent per a resoldre’ls.

La solució d’algun dels inconvenients —com el control de les variables de confusió—, podria ser l’estratificació per categories de les variables del model. Això precisaria d’una mostra molt gran que permetés fer estimacions fiables dels paràmetres d’interès dins cadascun dels estrats. Suposant a la vegada una pèrdua d’informació en les variables contínues.

La millor solució és el model logístic múltiple.

Aquest model permet estimar els efectes de diverses variables a l’hora sense necessitat de mostres enormes. Sense haver de categoritzar les variables quantitatives —com l’edat en l’exercici anterior—.

S’incorporen en aquest model més variables independents —ja siguin contínues o categòriques— $\{X_1, X_2, \cdots, X_k \}$ al model logístic binari simple per tal d’explicar la variable dicotòmica dependent $Y$. Amb $Y = \{0, 1\}$, segons es presenti o no la condició analitzada.

De manera que —en el cas de la regressió múltiple amb $k$ variables independents— es té la fórmula general \[\text{logit}(p) = \frac{p}{1 - p} = \alpha + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_k x_k\]

Amb $\alpha$ i $\beta_i$ els paràmetres a estimar el model.

De la fórmula anterior se’n deriven: \[\begin{align*} &p = \frac{e^{\alpha + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_k x_k}}{1 + e^{\alpha + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_k x_k}} = \frac{1}{1 + e^{-(\alpha + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_k x_k)}} \\ &1 - p = \frac{1}{1 + e^{\alpha + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_k x_k}} \end{align*}\]

Un bon model hauria de proporcionar una probabilitat el més propera a 1 per als $k$ individus amb $Y = 1$ i una probabilitat el més propera a cero per als $(n-k)$ individus restants amb $Y = 0$.

Models de regressió logística

Als glm (generalized linear models) es defineixen tres models de dades:

El model saturat. S’assumeix que cadascuna de les $n$ dades té és el seu propi paràmetre, hi ha —per tant— $n$ paràmetres a estimar.
El model proposat. S’assumeix que es poden explicar les dades amb $p$ paràmetres més el terme d’intercepció, hi ha —per tant— $(p + 1)$ paràmetres.
El model nul. S’assumeix exactament tot el contrari. Hi ha un únic paràmetre a estimar per a totes les dades.

Versemblança i avaluació del model

Per tal d’avaluar-ne la bondat del model es calcula la seva versemblança (log-likelihood).

Suposis que l’individu $Y_i$ presenta la condició —és a dir, $Y_i = 1$—.

Es calcula $p_i$ en funció dels coeficients $\{\alpha, \beta_1, \beta_2,\cdots,\beta_k \}$, estimats pel model ^[20], segons la fórmula anteriorment descrita \[p = \frac{1}{1 + e^{-(\alpha + \beta_1 x_2 + \beta_2 x_2 + \cdots + \beta_k x_k)}}\]

Sigui $\lambda_i$ la versemblança de $p_i$. Aleshores \[\begin{align*} &\text{Si } Y_i = 1, \, \lambda_i = p_i \\ &\text{Si } Y_i = 0, \, \lambda_i = 1 - p_i \end{align*}\]

, de manera que $\lambda_i = p_i^{Y_i} (1 - p_i)^{(1 - Y_i)}$

Sigui $V$ la versemblança del model. Aleshores \[V = \prod_{i=1}^{n} \lambda_i\]

El model serà tant més bo com més proper a 1 sigui $V$.

Exemple 61. Versemblança del model logístic.

Suposis que es vol efectuar un ajust logístic, amb els següents vectors de dades:

$Y = \{ 1, 1, 0, 1, 1, 1, 0, 0, 1, 1, 0, 0, 0, 1, 1, 1, 0, 1, 0, 1 \}$

$X1 = \{3.2, 3.7, 3.1, 4.2, 2.6, 4.5, 1.2, 2.4, 3.9, 3.8, 2.2, 0.2, 3.1, 5.6, 4.2, 1.8, 1.2, 3.2, 2.2, 6.2 \}$

$X2 = \{1, 1, 0, 1, 0, 1, 0, 0, 1, 1, 1, 0, 0, 1, 0, 1, 0, 1, 1, 0 \}$

[L.C. Silva, I.M. Barroso, 2004, p.56]

Es calcula $V$:

Amb R:

Es podria haver calculat directament a partir del deviance —llunyania— del model.

[deviance $= L= -2 \cdot ln\ ⁡V \implies V = e^{(L/-2)}$]

Amb R:

La versemblança estimada del model és 0.002635239. Qualsevol altra valor dels coeficients ens donarà una versemblança estimada inferior a aquesta. Els coeficients del model són estimacions màxim versemblants.

El deviance és una mesura de l’error. Com més petit sigui, millor és l’ajust de les dades. Com més gran, pitjor és el model comparat amb el millor cas —el model saturat, amb totes les variables—. El deviance residual ens indica la qualitat del model.

Amb R:

En general, es tracta d’utilitzar el menor nombre de paràmetres per tal d’obtenir una millor resposta —que expliqui millor la realitat—. El nombre de paràmetres a utilitzar dependrà del benefici aportat al afegir-hi un paràmetre nou. El paràmetre addicional serà necessari —millor— si el nou model explica millor la realitat.

El deviance —en el cas de regressions de de Poisson o binomials— segueix una $\chi^2$ amb graus de llibertat $(df)$ igual a la diferència de paràmetres entre els dos models. Fet que ens permetrà contrastar la hipòtesi nul·la: el model de regressió logística proporciona un ajust adequat per a les dades.

Amb R:

Als resultats del test, s’observa que $X1$ és apropiat per a explicar el model amb $\alpha = 0.05$. Donat que $0.0004646 < 0.05$. La desviació nul·la ens mostra el grau de predicció de la resposta del model amb només una intercepció. La desviació residual ens mostra fins a quin punt la resposta prediu el model quan s’inclouen els predictors. Ens permet també comprovar si la hipòtesi nul·la és certa —si el model de regressió logística proporciona un ajust adequat per a les dades—.

pvalue = 1 - pchisq(12.253, (19 - 18)) $\rightarrow$ 0.0004645108

El model serà doncs:

Amb R:

Per a $X1$ es té —d’acord amb el summary anterior—:

z <- 1.9641/0.8825 $\rightarrow$ 2.225609

2 * pnorm(q=z, lower.tail=FALSE) # valor-P $\rightarrow$ 0.02604038

Exemple 62. Models. Loglikelihood i deviance.

Es pretén calcular el deviance amb les dades de l’exercici anterior, utilitzant logLik amb els tres models.

Amb R:

Interpretació dels coeficients

A l’exercici anterior, els valors dels coeficients serveixen per a predir la probabilitat $P(Y = 1)$ per a qualsevol valor de les variables $X1$ i $X2$.

Per exemple, si $X1 = 4.2$ i $X2 = 1$ —els valors del cas número quatre— \[P(Y = 1) = \frac{1}{1 + \exp\left(-(-7.026166 + 2.130652 \cdot 4.2 + 2.371051 \cdot 1)\right)} = 0.9865286\]

Amb \[\ln\left(\frac{p}{1 - p}\right) = \ln\left(\frac{0.9865286}{1 - 0.9865286}\right) = -7.026166 + 2.130652 \cdot 4.2 + 2.371051 \cdot 1 = 4.293623\]

La probabilitat es podia haver extret directament del model —en aquest cas—.

model_logistic$fitted.values[4] $\rightarrow$ 0.9865286

Al interpretar els coeficients de les variables, és imprescindible tenir en compte com s’ha definit la variable resposta.

Suposem que s’està analitzant la probabilitat de patir una determinada malaltia. Aleshores, la variable resposta es podria tant definir com “tenir la malaltia” com “no tenir-la”. Un coeficient positiu ens indica una relació directa amb la variable però no ens diu res del sentit qualitatiu del fet. És l’investigador qui ha d’aportar el sentit qualitatiu als resultats.

Mesura relativa del risc

La llibreria “catdata” del paquet “catdata” conté "heart", un data.frame amb 462 observacions sobre 10 variables. ^[21]

D’aquestes variables se’n consideren les següents:

$y$, manifestació de malaltia coronària; Sí = 1, No = 0.
$sbp$ (systolic blood pressure), pressió arterial sistòlica; en mmHg.
$tobacco$, tabac consumit; en paquets/any (paquets diaris * anys de fumador).
$age$, edat; en anys.

Amb R:

Exemple 63. Mesura relativa del risc.

Es pretén calcular la probabilitat —segons el model anterior— de que una persona amb una pressió arterial sistòlica de 150 mm Hg, un tabaquisme de 20 paquets/any i 40 anys d’edat desenvolupi una malaltia coronària.

Posteriorment, es vol comparar el risc calculat amb el d’una altra persona, de la mateixa edat i pressió arterial i un tabaquisme de 5 paquets/any.

Siguin $X_A$, $X_B$ els perfils corresponents als dos casos.

En el primer cas $X_A$ \[P(Y = 1) \approx \frac{1}{1 + \exp\left(-(-3.971 + 0.005 \cdot 150 + 0.078 \cdot 20 + 0.051 \cdot 40)\right)} \approx 0.594\] Aproximadament el 59.4 % de les persones amb aquest perfil presenten —segons aquest model— una malaltia coronària.

En el segon cas $X_B$ \[P(Y = 1) \approx \frac{1}{1 + \exp\left(-(-3.971 + 0.005 \cdot 150 + 0.078 \cdot 5 + 0.051 \cdot 40)\right)} \approx 0.312\] Aproximadament el 31.2 % de les persones amb aquest perfil presenten —segons aquest model— una malaltia coronària.

Per comparar els dos perfils s’utilitza l’expressió: \[OR = \frac{\text{Odss}(X_A)}{\text{Odss}(X_B)} = \exp\left( \sum_{i=1}^{k} \beta_i (X_{i_A} - X_{i_B}) \right)\]

Per tant, com la única diferència és en el tabaquisme: \[OR = \frac{\text{Odss}(X_A)}{\text{Odss}(X_B)} = \exp[0.078(20 - 5)] \approx 3.222\]

El perfil $A$ és 3.222 cops més perillós que el perfil $B$. El tabaquisme multiplica per més de tres cops el risc de malaltia coronària —sempre segons aquest model—.

Exemple 64. Fem prediccions.

La llibreria "cars" de R conté la base de dades "mtcars". Es vol calcular la probabilitat de que un automòbil de 3500 lbs de pes —uns 1588 kg. — i un disp —nombre de cilindres x circumferència del cilindre— de 180 tingui instal·lat un motor en V.

Amb R:

La probabilitat és gairebé d’un 98 %.

La corba ROC

La corba ROC —Receiver Operating Characteristic— és una representació gràfica de la relació entre la sensibilitat i l’especificitat d’un sistema classificador binari per a diferents punts de tall.

Va ser desenvolupada per enginyers elèctrics durant la II Guerra Mundial, per tal de mesurar l’eficàcia de la detecció del radar.

Actualment el seu us és molt estès en medicina, per a validar tècniques diagnòstiques. També —amb la millora de les tècniques de machine learning i de data mining— s’utilitzen les corbes ROC per avaluar diferents algorismes de classificació.

Es defineix un experiment a partir de $P$ instàncies positives i $N$ negatives. Els quatre possibles resultats —com s’ha vist anteriorment— es formulen en una taula de contingència —o matriu de confusió— $(2×2)$:

Amb $T$ = true i $F$ = false.

La corba ROC genera estadístics que resumeixen el rendiment del classificador. L’indicador més utilitzat és l’àrea sota la corba ROC o AUC. Aquest índex es pot interpretar com la probabilitat de que un classificador ordeni o puntuï una instància positiva elegida aleatòriament més alta que una de negativa.

Es pot demostrar que l’AUC és equivalent a la prova no paramètrica de Mann-Whitney, a la prova dels signes de Wilcoxon i també que és relacionat amb el coeficient de Gini. Segons el valor d’AUC, s’estableixen intervals d’interpretació del resultat:

L’espai ROC

Una taula de contingència ens proporciona diverses mesures d’avaluació. Per a dibuixar la corba ROC només es necessita la raó entre els veritables positius —la sensibilitat del test— a l’eix de les ordenades i els falsos negatius —(1 - l’especificitat del test)— a l’eix de les abscisses.

Cada resultat de predicció o instància de la matriu de confusió representa un punt en l’espai ROC.

El millor mètode possible de predicció es situa en un punt en la cantonada superior esquerra —la coordenada $[0,1]$ de l’espai ROC— representant un 100 % de sensibilitat —cap fals negatiu— i un 100 % d’especificitat —cap fals positiu—. Punt que representa a una classificació perfecta.

Al contrari, una classificació totalment aleatòria donaria un punt al llarg de la línia diagonal de l’extrem inferior esquerra a l’extrem superior dreta —la línia de no-discriminació—. Per exemple, decidir en base al resultat d’una moneda.

A mesura que augmenta la mida de la mostra, el punt classificador de ROC es desplaça cap a la posició $[0.5, 0.5]$.

Una diagonal divideix l’espai ROC. Els punts per sobre de la diagonal representen els bons resultats de classificació —millor que l’atzar—, els punts per sota representen resultats pobres —pitjor que l’atzar—. Es pot convertir un predictor pobre en un bon predictor simplement invertint-ne el criteri, tal com es veu a continuació.

Considerem-ne les següents matrius de confusió i la seva representació a la corba ROC:

El resultat del mètode $A$ és clarament el millor de tots. El resultat de $B$ es troba sobre la línia d’estimació aleatòria —la diagonal—. El mètode $C$ és el pitjor dels tres. Observis, però, que al invertir $C$ a $C’$ el resultat passa a ser el millor de tots.

Com més a prop de la cantonada superior esquerra —la classificació perfecta— millor, però el que marca en realitat el poder predictiu del mètode és la distància a la línia d’estimació aleatòria —per sobre o per sota de la diagonal—.

Exemple 65. Diagnòstic de la diabetis. Corba ROC.

La diabetis és una malaltia que es diagnostica a partir de la mesura de la glucèmia en dejú, en dues ocasions.

Actualment, es considera sana una mitjana al voltant de 100 mg de glucosa/dL de sang, i malaltissos els valors superiors a 126 mg de glucosa/dL de sang. Entre 100 i 126 mg/dL es considera glucosa alterada.

Es simulen 200 pacients, 100 sans —amb distribució $\mathcal{N}(100,9)$ — i 100 possibles diabètics —amb distribució $\mathcal{N}(126,9)$ —.

Es pretén determinar quin seria el punt de tall òptim per tal de determinar si un individu és o no diabètic.

Amb R:

S’observa que a les corbes de densitat generades, la distribució d’individus sans solapa amb la d’individus diabètics. És precisament per aquest fet que es fa necessària alguna mena d’eina predictiva per tal de decidir sobre els casos dubtosos.

Amb R:

El punt de tall òptim —punt vermell a la gràfica— entre individus sans i individus diabètics és, aproximadament, 111.38 mg de glucosa/dL de sang. L’àrea sota la corba (AUC) ens indica quanta àrea de la quadrícula queda per sota de la corba ROC.

També es podria haver utilitzat la llibreria "pROC".

Exemple 66. Diagnòstic del sobrepès. Llibreria pROC.

L’arxiu "IMC.dat" disposa de les dades sobre l’índex de massa corporal ($IMC$) kg/m² de 200 individus classificats com sobrepès ($T$) o sense sobrepès ($F$).

L’arxiu "peso.dat" conté el pes de 200 individus igualment classificats amb sobrepès o sense sobrepès.

Es pretén determinar quina de les dues proves diagnòstiques és la més adequada per tal de determinar si un individu té o no sobrepès, i quin seria el punt de tall òptim.

Amb R:

S’observa que el millor mètode és utilitzar l’IMC ($AUC = 0.9899$), , amb un interval a 95 % de confiança de [$0.9808-0.999$].

El punt de tall òptim de l’IMC és en el valor 25.081 kg/m². El punt de tall òptim del pes és en el valor 80.953 kg.

Jordi Coll Vera - 2022

[1]

R.A. Fisher, The Design of Experiments, Hafner Publishing Company, New York, 1971

[2]

Fisher, R. A. (1930). The genetical theory of natural selection. Clarendon Press. https://doi.org/10.5962/bhl.title.27468

[3]

Bonferroni, C. E., Teoria statistica delle classi e calcolo delle probabilità, Pubblicazioni del R Istituto Superiore di Scienze Economiche e Commerciali di Firenze 1936.

[4]

Yoav Benjamini; Yosef Hochberg. Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 1. (1995), 289-300.

[5]

Berlanga Silvente, V. y Rubio Hurtado, M.J. (2012) Clasificación de pruebas no paramétricas. Cómo aplicarlas en SPSS. [En línea] REIRE, Revista d’Innovació i Recerca en Educació, Vol. 5, núm. 2, 101-113. Accesible en: http://www.ub.edu/ice/reire.htm.

[6]

McNemar, Quinn (June 18, 1947). "Note on the sampling error of the difference between correlated proportions or percentages". Psychometrika. 12 (2): 153–157.

[7]

Moshe Phillip, Tadej Battelino, Eran Atlas, et al, Nocturnal Glucose Control with an Artificial Pancreas at a Diabetes Camp, The New England Journal of Medicine, Massachusetts Medical Society, Feb 28, 2013.

[8]

Wilcoxon, F. (1945) "Individual Comparisons by Ranking Methods". Biometrics 1, 80-83.

[9]

Mann, Henry B.; Whitney, Donald R. (1947). "On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other". Annals of Mathematical Statistics. 18 (1): 50–60

[10]

Kolmogórov A (1933). "Sulla determinazione empirica di una legge di distribuzione". G. Ist. Ital. Attuari. 4: 83–91.

[11]

Smirnov N (1948). "Table for estimating the goodness of fit of empirical distributions". Annals of Mathematical Statistics. 19 (2): 279–281.

[12]

Lilliefors, Hubert W. (1967-06-01). "On the Kolmogórov-Smirnov Test for Normality with Mean and Variance Unknown". Journal of the American Statistical Association. 62 (318): 399–402.

[13]

Shapiro, S. S.; Wilk, M. B. (1965). "An analysis of variance test for normality (complete samples)". Biometrika. 52 (3–4): 591–611. doi:10.1093/biomet/52.3-4.59

[14]

Anderson, T. W.; Darling, D. A. (1952). "Asymptotic theory of certain "goodness-of-fit" criteria based on stochastic processes". Annals of Mathematical Statistics. 23: 193–212.

[15]

Joaquín Amat Rodrigo Regresión logística simple y múltiple, available under a Attribution 4.0 International (CC BY 4.0) at https://www.cienciadedatos.net/documentos/27_regresion_logistica_simple_y_multiple.html

[16]

Podeu trobar més informació a: https://stats.idre.ucla.edu/r/dae/logit-regression/

[17]

Jokin de Irala, Miguel Ángel Martínez-González i Francisco Guillén Grima, ¿Qué es una variable de confusión?, Unidad de Epidemiología y Salud Pública. Facultad de Medicina. Universidad de Navarra. Departamento de Ciencias de la Salud. Universidad Pública de Navarra. Pamplona. Localitzador web: 30.005.

[18]

Mill JS. Of the plurality of causes and the intermixture of effects. A: Robson JM, McRae RF, editors. A system of logic ratiocinative and inductive. Collected Works of John Stuart Mill. Toronto: Toronto University Press, 1974; 434-453.

[19]

William G. Cochran (December 1954). "Some Methods for Strengthening the Common χ2 Tests". Biometrics. 10 (4): 417–451. doi:10.2307/3001616. JSTOR 3001616.
Nathan Mantel and William Haenszel (April 1959). "Statistical aspects of the analysis of data from retrospective studies of disease". Journal of the National Cancer Institute. 22 (4): 719–748. doi:10.1093/jnci/22.4.719. PMID 13655060.
Nathan Mantel (September 1963). "Chi-Square Tests with One Degree of Freedom, Extensions of the Mantel–Haenszel Procedure". Journal of the American Statistical Association. 58 (303): 690–700. doi:10.1080/01621459.1963.10500879. JSTOR 2282717.
Agresti, Alan (2002). Categorical Data Analysis. Hoboken, New Jersey: John Wiley & Sons, Inc. p. 413. ISBN 0-471-36093-7.

[20]

Habitualment pel mètode d’aproximació d’arrels de Newton-Raphson. Desenvolupat per Raphson (Aequationum Universalis, 1690) en base a treballs anteriors de Newton (Métode de les fluxions, 1671) publicats però el 1736. Hi ha treballs més recents al respecte de Schoenfeld: Schoenfeld, D. (1982). Partial residuals for the proportional hazards regression model, Biometrika, 69, 239–241

[21]

Gerhard Tutz, Regression for Categorical Data, Cambridge University Press, 2012
South African Heart Disease dataset, Hastie, T., Tibshirani, R., and Friedman, J. (2001): Elements of Statistical Learning; Data Mining, Inference, and Prediction, Springer-Verlag, New York

Índex

Mètode estadístic

Dissenys bàsics de la investigació empírica

Estudi de casos i controls

Estudi de cohorts

Certesa estadística i intervals de confiança

El test, o contrast, estadístic

Contrast d’hipòtesis unilaterals i bilaterals

Potència del test estadístic

Lema de Neyman-Pearson

Corba característica d’un test. Funció de bondat

Tipus de tests estadístics

Contrast d’hipòtesis paramètrics

Contrast dins una població

Contrast de la mitjana dins una poblacio

Contrast de la mitjana dins una poblacio, amb distribució normal

Contrast de la mitjana dins una poblacio, cas general

Contrast de proporcions.

Contrast de variàncies en poblacions normals

Contrast entre dues poblacions

Contrast de proporcions entre dues poblacions.

Mitjanes en mostres independents i igual variància

Mitjanes en mostres independents i igual variància a dues poblacions qualsevol

Mitjanes en mostres independents i igual variància en poblacions normals

Mitjanes en mostres dependents aparellades

Comparació de variàncies

Mitjanes en mostres independents i diferent variància

Anàlisi de la variància (ANOVA)

Disseny d’un factor. ANOVA d'una via.

Intervals LSD de Fisher

Mida de l’efecte \((\eta^2)\)

Potència del test

Disseny de dos factors. ANOVA de dues vies.

Model additiu ANOVA de dues vies. Blocs aleatoritzats

Model amb interacció ANOVA de dues vies.

Contrast de la raó de versemblança

Teoremes

Contrast d’hipòtesis simple versus alternativa simple

Contrast d’hipòtesis compostes

Contrast per a més d’un paràmetre

Contrast d’hipòtesis no paramètric.

Test dels signes

Test de McNemar

Força d’associació (mida de l’efecte)

Test del signe-rang de Wilcoxon

Test U de Mann-Whitney

Test de Kolmogórov-Smirnov

Contrast de normalitat

Test de Kruskal-Wallis

Test de Friedman

Correlació per rangs de Kendall

Correlació per rangs de Spearman

Taules de contingència

Contrast d’independència en una taula de contingència

Contrast d’homogeneïtat en una taula de contingència

Comparació de mostres diverses amb dades alternatives

El test de la \(\chi^2\) de Brandt i Snedecor per a taules \(k × 2\)

Classificació múltiple: taules multidimensionals

Risc relatiu i odds ratio

Interpretació del risc relatiu \((RR)\)

Interpretació de l’odds ratio \((OR)\)

Odds pretest i Odds posttest. Factor Bayes.

Odds a posteriori i inferència bayesiana

Regressió logística

Regressió logística binària simple

Interpretació dels coeficients de la regressió logística

Variables de confusió de la regressió logística

Regressió logística binària múltiple

Models de regressió logística

Versemblança i avaluació del model

Interpretació dels coeficients

Mesura relativa del risc

La corba ROC

L’espai ROC