Le test du χ2

Contents

1 A-t-on autant de chance de naître pour chacun des jours de la semaine?

Un hôpital américain veut savoir si les naissances sont réparties équitablement sur les jours de la semaine. Il dispose de l’observation des naissances de l’année 1997, (source : NVSR 1999)

Rappel: un peu de théorie

On suppose qu’il s’agit de la réalisation des n variables aléatoires indépendantes et de même loi X₁,…,X_n à valeurs dans {1,…,m}. Ici m = 7 puisque les variables aléatoires prennent leurs valeurs dans l’ensemble des jours de la semaine. On cherche donc à connaître p = (p₁,…,p_m) où p_i = ℙ(X₁ = i). Plus exactement on désire savoir si la loi p = (p₁,…,p_m) est égale à une loi donnée p⁰ = (p ₁⁰,…,p _m⁰). Dans l’exemple ci-dessus, on désire savoir si les naissances sont équidistribuées sur les jours de la semaine, soit p₀ = (,…,), la loi uniforme sur {1,…, 7}. On veut donc savoir si l’hypothèse les naissances sont équidistribuées dite hypothèse nulle, notée H₀ = {p = p⁰}, est réaliste ou non. On utilise pour cela le test d’adéquation du χ².

On définit la statistique

où = ( ₁,…, _m) est le vecteur des fréquences empiriques :

N_i étant le nombre d’occurrences de i dans l’échantillon de taille n.

Si H₀ est vrai, alors ζ_n converge en loi vers un χ² à m − 1 degré de liberté. En particulier ζ _n prend les valeurs typiques du χ² à m − 1 degré de liberté. En revanche si H ₀ n’est pas vraie i.e. p≠p₀, alors ζ_n → +∞ quand n → +∞. Ainsi ζ_n prend de grandes valeurs. On rejette donc H₀ si on observe des valeurs anormalement grandes pour ζ_n, par exemple supérieures à un z donné. Toutefois, comme la loi du χ² est portée par ℝ⁺, toutes les valeurs de [0, +∞[ sont possibles. Il existe donc une probabilité α de rejeter à tort H₀ (risque de première espèce). La valeur de α dépend de z:

La pratique

Utilisation de ce résultat.

• On dispose de l’observation de l’échantillon X₁ = x₁,…,X_n = x_n.
• On dispose de la loi p⁰ = (p ₁⁰,…,p _m⁰) présumée des variables aléatoires (indépendantes) X₁,…,X_n.
• On calcule les occurrences N_i de l’entier i à partir des x_i.
• On calcule la valeur de ζ_n = z_n.
• On calcule

  α_n = ℙ(χ²(m − 1) ≥ z _n) .

• Si α_n prend des valeurs faibles, inférieures, à α = 5% typiquement, alors on rejette l’hypothèse H₀ sinon on l’accepte (voir la figure (1))
• α représente le niveau de confiance du test.

Ce risque α incontournable dépend du contexte et est fixé par le décisionnaire. Traditionnellement α = 5%, mais on peut choisir des valeurs bien plus faibles pour des domaines sensibles.

La mise en oeuvre

On revient au problème initial. On dispose pour cela des nombres des naissances présentés dans le tableau (1).

La fonction test_chi2(N,p0) retourne la p-valeur du test du χ² d’adéquation de loi: N est le vecteur ligne des occurrences observées, et p0 est le vecteur ligne des probabilités d’occurrence sous l’hypothèse nulle. Cliquer sur le lien ci-dessus pour obtenir le code de la fonction, le copier dans la fenêtre scilab ou le sauvegarder, sous le nom test_chi2.sce, dans le répertoire où vous utilisez scilab. Dans ce dernier cas, pour charger la fonction, utiliser la commande: getf ’test_chi2.sce’.

Pour appliquer la fonction, utiliser la commande:

2 Test d’un générateur de nombres aléatoires

On veut tester la validité d’un générateur de nombres aléatoires à valeurs dans {0,…,m} et de loi uniforme. On génère n nombres suivant cette loi. On applique le test du χ² et on rejette à 5%. On effectue cette opération K fois et on compte le nombre de rejets. En théorie, on devrait obtenir en première approximation 0.05 × K rejets puisque on simule suivant une loi uniforme et que l’on rejette à 5%. On génère un vecteur ligne de n réalisations d’une loi uniforme sur {0,…, 9}, ici m = 9 :

Ensuite la fonction occurrence retourne N le nombre d’occurrences des chiffres 0,…, 9 dans X (cliquer sur le lien ci-dessus pour obtenir le code de la fonction et le recopier dans la fenêtre scilab)

La fonction test_generateur(n,K,m) retourne le nombre de rejets du test d’adéquation du χ² pour K tests effectués sur des échantillons de n données du générateur de scilab de la loi uniforme sur {0,…,m}.

On obtient par exemple le résultat suivant :

On réalise la même expérience mais avec une loi p₁ un peu différente de la loi p₀ uniforme sur {0,…, 9}. Remarquons que la loi des occurrences lors de n simulations suivant la loi p₁ est exactement la loi multinômiale de paramètre (n,p₁). Cette dernière loi est directement simulable à l’aide de

On choisit une probabilité p₁ qui diffère de p₀ seulement pour les probabilités d’apparition de 8 et 9.

On simule K fois suivant cette loi p₁ et on compte le nombre de rejets. Pour cela on utilise la fonction suivante: test_generateur_faux(n,K,m,p1), qui retourne le nombre de rejets du test d’adéquation du χ² pour K tests effectués sur des échantillons de n données du générateur de scilab de la loi p1.

On obtient alors le résultat suivant pour une simulation particulière :

Le nombre de rejets est plus important et à juste titre puisqu’on n’a pas simulé selon une loi uniforme. Cependant on ne rejette pas systématiquement car la loi simulée “ressemble” à une loi uniforme.

Cette fois-ci on remplace la loi uniforme par une loi binômiale ℬ(9, 1∕2):

Les histogrammes ci-dessous permettent de visualiser la différence entre la loi uniforme sur {0,…, 9} et la loi binômiale ℬ(9, 1∕2).

3 Les dés de Weldon

Weldon a réalisé n = 26306 lancers de 12 dés à 6 faces. On note X_i le nombre de faces comportant un cinq ou un six lors du i-ème lancer. Ces variables aléatoires prennent leurs valeurs dans {0,…, 12}. Les fréquences empiriques observées sont f_j = où N_j est le nombre de lancers où l’événement “on a observé j faces comportant un 5 ou un 6” se realise : N_j = ∑ _i=1ⁿ1 _{Xi=j}. Les résultats sont les suivants : (source : FELLER Tome 1 pp. 148-149 An introduction to probability theory and its applications (1968))

Quand les dés ne sont pas biaisés la probabilité d’observer les faces 5 ou 6 dans un lancer est 1∕3. Les X_i suivent donc une loi binômiale p₀ = ℬ(12, 1∕3). Le vecteur N représente les occurrences correspondant aux fréquences empiriques.

4 Un autre problème de naissance

On désire étudier la répartition des naissances suivant le type du jour de semaine (jours ouvrables ou week-end) et suivant le mode d’accouchement (naturel ou par césarienne). Les données proviennent du “National Vital Statistics Report” et concernent les naissances aux USA en 1997.

On note p_J,N la probabilité qu’un bébé naisse un jour ouvrable et sans césarienne, p_W,N la probabilité qu’un bébé naisse un week-end et sans césarienne, p_J,C la probabilité qu’un bébé naisse un jour ouvrable et par césarienne, p_W,C la probabilité qu’un bébé naisse un week-end et par césarienne.