class: title-slide, inverse .pull-left[ # Intervalles de Confiance et Tests d'Hypothèses ## ### Facundo Muñoz<br/>facundo.munoz@cirad.fr<br/> ![](img/CirBlanc_L230px.png) ] .pull-right[ ![](img/NHST.png) .credit[[Kristoffer Magnusson](https://rpsychologist.com/viz/)] ] ??? --- layout: true <a class="footer-link" href="https://umr-astre.pages.mia.inra.fr/training/notions_stats/">Notions de base en statistiques - umr-astre.pages.mia.inra.fr/training/notions_stats/</a> --- .pull-left[ # Exemple 1 : Clinial Trial Répartition empirique de la variable d'intérêt <img src="S8.1_ICs-NHST_files/figure-html/unnamed-chunk-1-1.png" width="90%" /> ] .pull-right[ .tiny[ <table> <thead> <tr> <th style="text-align:right;"> ID </th> <th style="text-align:left;"> drug </th> <th style="text-align:left;"> therapy </th> <th style="text-align:right;"> mood.gain </th> </tr> </thead> <tbody> <tr> <td style="text-align:right;"> 1 </td> <td style="text-align:left;"> placebo </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 0.5 </td> </tr> <tr> <td style="text-align:right;"> 2 </td> <td style="text-align:left;"> placebo </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 0.3 </td> </tr> <tr> <td style="text-align:right;"> 3 </td> <td style="text-align:left;"> placebo </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 0.1 </td> </tr> <tr> <td style="text-align:right;"> 4 </td> <td style="text-align:left;"> anxifree </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 0.6 </td> </tr> <tr> <td style="text-align:right;"> 5 </td> <td style="text-align:left;"> anxifree </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 0.4 </td> </tr> <tr> <td style="text-align:right;"> 6 </td> <td style="text-align:left;"> anxifree </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 0.2 </td> </tr> <tr> <td style="text-align:right;"> 7 </td> <td style="text-align:left;"> joyzepam </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 1.4 </td> </tr> <tr> <td style="text-align:right;"> 8 </td> <td style="text-align:left;"> joyzepam </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 1.7 </td> </tr> <tr> <td style="text-align:right;"> 9 </td> <td style="text-align:left;"> joyzepam </td> <td style="text-align:left;"> no.therapy </td> <td style="text-align:right;"> 1.3 </td> </tr> <tr> <td style="text-align:right;"> 10 </td> <td style="text-align:left;"> placebo </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 0.6 </td> </tr> <tr> <td style="text-align:right;"> 11 </td> <td style="text-align:left;"> placebo </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 0.9 </td> </tr> <tr> <td style="text-align:right;"> 12 </td> <td style="text-align:left;"> placebo </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 0.3 </td> </tr> <tr> <td style="text-align:right;"> 13 </td> <td style="text-align:left;"> anxifree </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 1.1 </td> </tr> <tr> <td style="text-align:right;"> 14 </td> <td style="text-align:left;"> anxifree </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 0.8 </td> </tr> <tr> <td style="text-align:right;"> 15 </td> <td style="text-align:left;"> anxifree </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 1.2 </td> </tr> <tr> <td style="text-align:right;"> 16 </td> <td style="text-align:left;"> joyzepam </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 1.8 </td> </tr> <tr> <td style="text-align:right;"> 17 </td> <td style="text-align:left;"> joyzepam </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 1.3 </td> </tr> <tr> <td style="text-align:right;"> 18 </td> <td style="text-align:left;"> joyzepam </td> <td style="text-align:left;"> CBT </td> <td style="text-align:right;"> 1.4 </td> </tr> </tbody> </table> ] ] ??? On reprend le cas du Clinical Trial comme motivation Rappelons que un psychologue évalue l’humeur de chaque personne après trois mois de traitement avec chaque drogue, et l’amélioration globale de l’humeur de chaque personne est évaluée sur une échelle allant de -5 à +5. --- # Estimation des coefficients et IC95% .pull-left[ `\(\hat\mu_0 = 0.45 (0.18, 0.72)\)` `\(\hat\beta_a = 0.27 (-0.11, .64)\)` `\(\hat\beta_j = 1.03 (0.66, 1.41)\)` ] .pull-right[ - moyenne groupe .placebo[placebo] - .anxifree[anxifree] - .placebo[placebo] - .joyzepam[joyzepam] - .placebo[placebo] ] - Ce sont les _meilleurs_ estimateurs des paramètres du modèle - Avec un échantillon différent, ils pourraient être __différents__ - Ils sont alors __aléatoires__ et ils ont eux mêmes une __distribution__ --- class: inverse, middle, center # Fluctuation d'échantillonnage --- # Variation des estimateurs __Distribution d'échantillonnage__ : la distribution d'un estimateur sur l'ensemble des échantillons possibles. - C'est l'outil des statistiques _fréquentistes_ pour évaluer l'incertitude des résultats. ??? En revanche, les statistiques Bayésiennes utilisent un autre approche. --- <iframe width="960px" height= "600px" src= "https://istats.shinyapps.io/sampdist_cont/" frameborder= "0" marginwidth= "0" marginheight= "0" style= "border: none; max-width:100%; max-height:100vh" allowfullscreen webkitallowfullscreen mozallowfullscreen msallowfullscreen> </iframe> ??? La première distribution représente l'univers possible d'observations sur lequel on prend un échantillon. Dans ce cas, de 5 valeurs. À partir de cet échantillon on calcule un estimateur de quelque chose. Dans ce cas, par exemple, une moyenne ou un écart type. Mais ça pourrait être une autre chose : un coefficient d'un modèle de régression, par exemple. C'est toujours quelque chose qu'on calcule à partir de l'échantillon. C'est qu'on obtient normalement lors d'une expérience. Qu'une estimation. Mais cette estimation peut varier. Si on répétait l'expérience des milliers des fois, cette distribution approche une distribution centrée sur la vrai valeur de la population qu'on est en train d'estimer. Observer que la dispersion de la distribution d'échantillonnage dépend de celle de la population, et de la taille des échantillons. --- # Observations .small[ - La plupart des estimateurs possibles _tombe_ à un certain __rayon de distance__ de la vrai valeur à estimer. - On ne connaît pas la localisation précise de l'estimateur observé, mais par réciprocité, la __vrai valeur sera probablement dans le même rayon de distance__. - Seulement, __on ne connaît pas__ la variabilité de la distribution d'échantillonnage. - Dépend de la la dispersion de la distribution de la population et de la taille d'échantillon. - on peut __estimer__ la dispersion de la population à partir des observations - L'écart type de la distribution d'échantillonnage s'appele __Erreur Standard__ de l'estimateur, et diminue avec `\(1/\sqrt{N}\)` ] ??? - Dans certains cas (moyennes, écarts-types, coefficients de régression) on connaît la distribution __limite__ de la distribution d'échantillonnage. - Dans d'autres, on peut l'obtenir numériquement par simulation. --- class: inverse, middle, center # Tests d'hypothèse --- # Exemple: Lancements d'une pièce de monnaie Seulement une de ces 6 séquences de 200 lancements est générée avec une pièce "juste". Laquelle ? (données : [coin_tosses.csv](../coin_tosses.csv)) <div style="border: 1px solid #ddd; padding: 0px; overflow-y: scroll; height:350px; "><table class="table" style="width: auto !important; margin-left: auto; margin-right: auto;"> <thead> <tr> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> Seq A </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> Seq B </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> Seq C </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> Seq D </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> Seq E </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> Seq F </th> </tr> </thead> <tbody> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> </tr> <tr> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> </tr> <tr> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> H </td> <td style="text-align:center;"> T </td> </tr> </tbody> </table></div> .credit[source: https://www.alexpghayes.com/post/2022-11-02-hypothesis-testing-by-example/] --- # Exemple: Visualisation <img src="S8.1_ICs-NHST_files/figure-html/coin-tosses-plot-1.png" width="90%" /> ??? Peut-on rejetter quelques séquences ? comment ? Nous "savons" par expérience, comment fonctionnent les séquences aléatoires. --- # Simulation de lancements "justes" <img src="S8.1_ICs-NHST_files/figure-html/fair-tosses-plot-1.png" width="90%" /> ??? Sinon, on peut "simuler" des lancements aléatoires et comparer. Comment pourrait-on quantifier plus précisement ce contraste visuel, qui reste assez vague ? --- # Comptage de "faces" en chaque séquence <img src="S8.1_ICs-NHST_files/figure-html/count-heads-plot-1.png" width="90%" /> On peut mesurer certaines caractéristiques des séquences et les résumer dans un chiffre. Par example, le nombre de faces des séquences. Quelles autres mesures peut-on considérer ? --- # La plus longue série de "faces" consécutives <img src="S8.1_ICs-NHST_files/figure-html/longest-streak-plot-1.png" width="90%" /> ??? Il s'avère qu'avec ce critère-là, on peut rejetter les séquences A, B, E et F. --- # Nombre total de séries consécutives <img src="S8.1_ICs-NHST_files/figure-html/total-streak-plot-1.png" width="90%" /> ??? Avec cette metrique, seulement les séquences D et F survivent --- # Morale de l'exemple - Nous avons réalisé une batterie de tests d'hypothèse à chaque séquence - Chaque test est associé à une __métrique__ (_statistique du test_) qui résume toute une séquence en une chiffre - Une séquence peut paraître _plausible_ sous une métrique, et totalement improbable sous une autre --- # Raisonnement inverse - En vue de notre estimation de l'effet de .joyzepam[Joyzepam] `\(\big(\hat\beta_j = 1.03\big)\)`, nous voudrions savoir quelle est la __probabilité__ que l'effet réel soit nul `\(\big(\beta_j = 0\big)\)`. - Mais les méthodes __fréquentistes__ ne peuvent pas répondre à cela directement. - La question n'a même pas de sens fréquentiste : une fois les données observés, il ne reste __rien d'aléatoire__. ??? Ou n'importe quel autre valeur. Mais souvent, l'effet nul est d'intérêt particulier. Ce sont les méthodes __Bayésiennes__ qui s'intéressent à ça. --- # Raisonnement inverse .pull-left[ Ce que la statistique fréquentiste nous dit est : - Si `\(\mathcal{H}_0\)` était vrai, ] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/unnamed-chunk-2-1.png" width="90%" /> ] --- # Raisonnement inverse .pull-left[ Ce que la statistique fréquentiste nous dit est : - Si `\(\mathcal{H}_0\)` __était__ vrai, ] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/unnamed-chunk-3-1.png" width="90%" /> ] ??? Puisqu'on a estimé la dispersion de la distribution d'échantillonnage (i.e. l'erreur standard de l'estimateur) on peut estimer la distribution des estimateurs sous l'hypothèse nulle. --- # Raisonnement inverse .pull-left[ Ce que la statistique fréquentiste nous dit est : - Si `\(\mathcal{H}_0\)` __était__ vrai, les données observées ] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/unnamed-chunk-4-1.png" width="90%" /> ] ??? Pour mettre en contexte l'estimateur calculé à partir de l'échantillon observé. --- # Raisonnement inverse .pull-left[ Ce que la statistique fréquentiste nous dit est : - Si `\(\mathcal{H}_0\)` __était__ vrai, les données observées seraient entre les `\(p\)` % des plus _bizarres_. ] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/unnamed-chunk-5-1.png" width="90%" /> ] - Si `\(p\)` est suffisamment petite, on __rejette__ l'hypothèse nulle et on dit que l'effet est __significatif__. - Le seuil qu'on se fixe (e.g. `\(p < 5\%\)`) est le __niveau de signification__ ??? Et on peut estimer quelle proportion d'entre eux seraient plus incompatibles avec l'hypothèse nulle. --- # Tests unilatéraux - Il arrive que certains paramètres ont _à priori_ un signe positif ou négatif. - .small[E.g. l'effet d'un traitement _doux_ qui peut-être fait du bien, mais difficilement fait du mal.] - On peut alors considérer seulement le _coté_ concerné de la distribution d'échantillonnage ??? L'intérêt est de être moins exigent pour rejeter. --- # Le procès de l'hypothèse nulle - Imaginez qu'un test d'hypothèse est un _procès criminel_ - L’hypothèse nulle est l'__accusé__, le chercheur est le procureur et le test statistique lui-même est le juge - __Présomption d’innocence__. L’hypothèse nulle est considérée comme __vraie__ jusqu'à preuve du contraire. - L'objectif du chercheur : recueillir de l'__évidence__ pour aboutir à une condamnation pour le crime d'être faux. - Les règles sont conçues pour __protéger l'hypothèse nulle__ : ### Assurer que si l'hypothèse nulle est vraie, les chances d'une __fausse condamnation__ sont faibles. --- # Types d'erreur .pull-left[ - Erreur type I : _fausse condamnation_, faux positif `\(P(\text{E. type I}) = \alpha\)` __niveau de signification__ - Erreur type II : _fausse libération_, faux négatif `\(P(\text{E. type II}) = \beta\)` ] .pull-right[ | | Retenir `\(\mathcal{H}_0\)` | Rejeter `\(\mathcal{H}_0\)` | |--------------------------|-------------------------|-------------------------| | `\(\mathcal{H}_0\)` est vrai | ✅ | Erreur type I | | `\(\mathcal{H}_0\)` est faux | Erreur type II | ✅ | ] -- .small[ Par principe, on fixe le niveau `\(\alpha\)` de signification pour __contrôler__ en priorité la probabilité de détecter un __faux effet__. ] --- background-image: url(img/statistical-errors.jpg) background-size: contain background-position: center --- # Puissance .pull-left[ __Puissance__ : probabilité de détecter un __vrai__ effet `\(1 - \beta\)` .small[ Un test __puissant__ a une petite valeur de `\(\beta\)` tout en gardant `\(\alpha\)` fixé au (petit) niveau souhaité ] ] .pull-right[ | | Retenir `\(\mathcal{H}_0\)` | Rejeter `\(\mathcal{H}_0\)` | |--------------------------|-------------------------|-------------------------| | `\(\mathcal{H}_0\)` est vrai | `\(1 - \alpha\)` | `\(\alpha\)` | | `\(\mathcal{H}_0\)` est faux | `\(\beta\)` | `\(1 - \beta\)` | ] .small[ ] --- <iframe width="960px" height= "600px" src= "https://rpsychologist.com/d3/nhst/" frameborder= "0" marginwidth= "0" marginheight= "0" style= "border: none; max-width:100%; max-height:100vh" allowfullscreen webkitallowfullscreen mozallowfullscreen msallowfullscreen> </iframe> ??? Considérez "solve for power". La visualisation affiche les distributions dans l'échantillonnage du statistique de test, sous l'hypothèse nulle et l'alternative. Elles dépendent de la taille de l'échantillon et la taille de l'effet. Si vous avez une petite taille d'échantillon, mais le vrai effet est important, vous avez des bonnes chances de trouver un résultat significatif. Mais notez que vous ne savez pas quelle hypothèse et la bonne. Si l'effet est au mieux de petite taille, un résultat __significatif__ peut être improbable sous `\(H_0\)` mais assez improbable sous `\(H_a\)` aussi. --- # Interprétation des valeurs .pull-left[ ### `\(P(\text{données} | \mathcal{H}_0)\)` .small[ - Raisonnement inversé. (Une réponse _correcte_ pour la mauvaise question.) - Ce qu'on voudrait savoir généralement est `\(P(\mathcal{H}_0 | données)\)` - C'est l'objet des __statistiques Bayésiennes__ - Beaucoup de confusion et erreurs d'interprétation ([sophisme du procureur](https://fr.wikipedia.org/wiki/Sophisme_du_procureur)) ] ] .pull-right[ [![](img/gigerenzer04_mindless-statistics.png)](https://library.mpib-berlin.mpg.de/ft/gg/GG_Mindless_2004.pdf) ] ??? Sophisme du procureur : Si l'accusé était innocent, la probabilité d'avoir le même type sanguin (rare) que l'assassin et très petite. Alors, il doit être coupable. P(+ | I) ~ 0 ≠ P(I | +) --- # Exemple : tests diagnostiques .pull-left[ .small[ 1000 people ] ] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/test-1-1.png" width="90%" /> ] --- # Exemple : tests diagnostiques .pull-left[ .small[ 1000 people Prévalence : 1 % ]] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/test-2-1.png" width="90%" /> ] --- # Exemple : tests diagnostiques .pull-left[ .small[ 1000 people Prévalence : 1 % `\(P(\text{E. type I})\)` = 10% .light[ - `\(\alpha\)` = 1 - spécificité - 99 Faux positifs ] ]] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/test-3-1.png" width="90%" /> ] --- # Exemple : tests diagnostiques .pull-left[ .small[ 1000 people Prévalence : 1 % `\(P(\text{E. type I})\)` = 10% .light[ - `\(\alpha\)` = 1 - spécificité - 99 Faux positifs ] ] .small[ `\(P(\text{E. type II})\)` = 10% .light[ - `\(\beta\)` = 1 - sensibilité - 9 vrai positifs ] ]] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/test-4-1.png" width="90%" /> ] --- # Exemple : tests diagnostiques .pull-left[ .small[ 1000 people Prévalence : 1 % `\(P(\text{E. type I})\)` = 10% .light[ - `\(\alpha\)` = 1 - spécificité - 99 Faux positifs ] ] .small[ `\(P(\text{E. type II})\)` = 10% .light[ - `\(\beta\)` = 1 - sensibilité - 9 vrai positifs ]] .small[ `\(P(\color{darkorange}{●}| +)\)` = 9 / (9 + 99) `\(= 1/12\)` ]] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/test-5-1.png" width="90%" /> ] --- # Exemple : tests diagnostiques .pull-left[ .small[ 1000 people Prévalence : __0.5__ % `\(P(\text{E. type I})\)` = 10% .light[ - `\(\alpha\)` = 1 - spécificité - 99.5 Faux positifs ]] .small[ `\(P(\text{E. type II})\)` = 10% .light[ - `\(\beta\)` = 1 - sensibilité - __4.5__ vrai positifs ]] .small[ `\(P(\color{darkorange}{●}| +)\)` = 4.5 / (4.5 + 99.5) `\(\approx \mathbf{1/23}\)` ]] .pull-right[ <img src="S8.1_ICs-NHST_files/figure-html/test-6-1.png" width="90%" /> ] --- # Morale de l'exemple - Un contraste d'hypothèse ressemble au problème des tests diagnostiques - Un résultat __significatif__ est un _test positif_ - On contrôle typiquement les __faux positifs__ `\((\alpha)\)` - On essaie de faire au mieux pour la __puissance__ - Même avec un test avec des bonnes qualités, l'interprétation du résultat ne peut se faire qu'en relation à la __prévalence sous-jacente__ ??? Si on suivait la logique des contrastes d'hypothèse on devrait rejeter l'hypothèse d'être en bonne santé suite à un résultat positif, quelque soit le contexte. --- # Test multiples Si on conduit `\(N\)` tests avec `\(\alpha = 5\)`% (prob. faux positif), la __probabilité d'obtenir au moins un faux résultat positif__ (significatif) est de `\(1 - (1 - 0.05)^N\)` <img src="S8.1_ICs-NHST_files/figure-html/unnamed-chunk-7-1.png" width="90%" /> --- # Degrés de liberté du chercheur - On trouve facilement dans un article une 10 - 30 tests _de routine_ (coefficients, vérifications d'hypothèses, tests partiels...) - Il y a typiquement beaucoup plus qui ne sont pas reportés - Du travail exploratoire _pour voir qu'est-ce que ça marche_ --- background-image: url(img/xkcd_significant.png) background-size: contain background-position: center --- # Qu'est-ce que ça nous dit, alors ? La __significativité__ c'est __un des éléments__ de l'histoire, mais pas très informatif par lui même - Conditionnelle au modèle et au contexte - Évidence avec une valeur qui dépend de la __puissance__ (effectifs, taille de l'effet, variation résiduelle) et de la _prévalence_ (plausibilité préalable) - Respect des procédures (hypothèse établie __avant__ voir les données, un seul test, suivi du protocole...) --- - Les contrastes d'hypothèse ont été conçus pour tester __une__ hypothèse - .light[pas pour tester tout ce qui bouge, juste pour voir] - L'hypothèse doit être __préalable__ aux données - .light[Explorer les données et puis proposer l'hypothèse qui convient c'est __tricher__. Résultats pas valides.] - .light[Séparer les analyses __exploratoires__ des __confirmatoires__.] ??? L'exploration des modèles, relations et variables doit se faire sur des données différentes des analyses confirmatoires (i.e. tests d'hypothèses), pour lesquels le modèle doit être posé à l'avance. --- # Situation de faible puissance .pull-left[ Résultat __significatif__ - Observations __improbables__ sous l'hypothèse nulle - Mais sur l'alternative aussi !!! (à tailles d'effet vraisemblables) - Ne permet pat de décider : trop d'incertitude ] .pull-right[ [![](img/button-etal_power-failure.png)](https://www.nature.com/articles/nrn3475) ] --- # Recommendations de l'association américaine de statistique (2014) .pull-left[ .small[ - La `\(p\)`-valeur ne mesure pas la probabilité qu'une hypothèse soit vrai, ou que les observations soient le fruit du __hasard__ - Les __conclusions__ scientifiques ne doivent pas se baser seulement sur la `\(p\)`-valeur - Une `\(p\)`-valeur ne mesure pas la taille d'un effet ou l'__importance__ d'un résultat ... ] ] .pull-right[ [![](img/asa-statement-pvalues.png)](https://doi.org/10.1080/00031305.2016.1154108) ] --- # Fréquence d'une série particulier <img src="S8.1_ICs-NHST_files/figure-html/pattern1-plot-1.png" width="90%" /> ??? Revenons à l'exemple des lancements des pièces de monnaies. Supposez qu'en examinant les séquences, vous apercevez dans la séquence D (celle qui paraissait aléatoire) une série en particulier qui vous semble spécial pour une raison quelconque. Vérifions la fréquence d'apparition attendue de cette série. Devons-nous rejeter la séquence D aussi ? C'est pour quoi examiner les données et puis en décider quels tests conduire n'est pas correct. On peut "prouver" tout et n'importe quoi. P-hacking. --- # Quoi faire ? .pull-left[ .small[ __Méthodes fréquentistes__ - Bien planifier l'expérience à l'avance - spécifier les variables à utiliser, le protocole de collecte, les transformations et traitements, les modèles, etc. - faire un analyse de puissance pour échantillonner suffisamment d'effectifs - respecter strictement le protocole (ou recommencer) ] ] -- .pull-left[ .small[ __Méthodes Bayésiennes__ - Admettre la probabilité comme mesure d'information (parfois subjective) - Représenter l'information préalable en termes de probabilité - Conclusions __directes__ (i.e. `\(P(\mathcal{H}_0 | données)\)`) - Accepter l'incertitude ] ] <!-- --- --> <!-- # Interprétation bayésienne ? --> <!-- --- --> <!-- https://www.nature.com/articles/nrn3475 --> <!-- Low power problems. Question on sample sizes. --> <!-- Régularisation ou Bayes. --> <!-- --- --> <!-- # ICs et test d'hypothèse --> <!-- Une autre interprétation des Intervalles de Confiance est : --> <!-- ## l'ensemble de valeurs qu'on ne rejeterait pas lors d'un test d'hypothèse au même niveau de confiance --> <!-- ## TODO: --> <!-- Récap. of the process of NHST, S9.3 in https://statsthinking21.github.io/statsthinking21-core-site/hypothesis-testing.html#the-process-of-null-hypothesis-testing --> <!-- Interprétation d'un résultat "significatif" (9.3.7) --> <!-- Disclaimer final 9.1 --> --- class: inverse, middle, center # Intervalles de confiance --- # Intervalles de confiance Une __fonction__ des données observées (donc, aléatoire) - Rang de valeurs qui ne seraient pas rejetés par un __test d'hypothèse__ - Intervalle centrale de la __distribution d'échantillonnage__ estimée - __Taux de couverture__ de la vraie valeur __dans la répétition__ > Différencier la __procédure__ de l'__intervalle__ observé --- <iframe width="960px" height= "600px" src= "https://rpsychologist.com/d3/ci/" frameborder= "0" marginwidth= "0" marginheight= "0" style= "border: none; max-width:100%; max-height:100vh" allowfullscreen webkitallowfullscreen mozallowfullscreen msallowfullscreen> </iframe> ??? Imaginez que vous répétez l'expérience, recrutez d'autres individus, assignez les traitement au hasard, récoltez les données etc. Vous obtenez alors d'autres estimations légèrement différentes, tant de vos coefficients comme des intervalles de confiance. Le calcul de l'IC se fait de telle manière que 95% des occasions, il contient la vraie valeur du paramètre. --- # Interprétation des IC Observez la simulation antérieure et notez que : - Plus d'effectifs `\(\rightarrow\)` ICs plus courts... __en moyenne__. - La taille des IC est __variable__. Elle aussi est aléatoire (dépend des données). - Des IC peuvent être relativement courts, mais eloignés de la vraie valeur. Un intervalle court n'indique pas forcement une estimation __précise__. - Il n'y a pas de probabilité associée à __un__ IC en concret, mais à la procédure. ??? - Pour un intervalle en particulier, on ne sais pas si il est plutôt petit ou grand par rapport à la taille moyenne. Compliqué à saisir ? vous n'êtes pas seuls !! pour moi aussi !! --- # Interprétations fallacieuses .pull-left[ .small[ - ❌ La vraie valeur du paramètre est dans l'intervalle observé avec une _confiance_ de 95% - ❌ La largeur de l'intervalle indique la précision de l'estimation ] ] .pull-right[ [![](img/morey_2016.png)](https://doi.org/10.3758/s13423-015-0947-8) ] ??? - 95% est la prob. de couverture de la __procédure__ (i.e. avant observer les données) - E.g. observer y1 et y2. Si y1 > y2 -> I = R, Si non, I = ∅. I est un IC à 50%. Mais une fois les données observés, on sait précisement si I contient ou pas la vraie valeur. - Encore, la largeur moyenne de la procédure est liée à la précision. --- # Études de cas positifs - L'exemple initial d'identification de la pièce "juste" - Étude de suspicion de fraude éléctoral ([Gelman (2013)](dx.doi.org/10.1097/EDE.0b013e31827886f7)) - Tests de normalité, ou d'homogénéité de variances, pour évaluer si les données sont compatibles avec une certaine hypothèse --- # Conclusions .small[ - Les statistiques fournissent d'un __outil__ de mesure, de quantification. - Un résultat significatif ne prouve rien, en soi. C'est un élément parmi d'autres. - Considérer les résultats statistiques __dans le contexte__ de l'étude et les connaissances préalables - Les __degrés de liberté__ du chercheur : des dizaines de micro-décisions qui peuvent changer les résultat de l'étude. - Souvent cachés derrière une vitrine d'objectivité, ce qui a conduit à une [crise de reproductibilité](https://www.nytimes.com/2017/10/18/magazine/when-the-revolution-came-for-amy-cuddy.html). ] Les __décisions__ et __conclusions__ sont responsabilité ultime des __chercheurs__ ??? L'objectivité statistique est un mythe Le chercheur a des larges marges de manœuvre : il choisit les variables à mesurer, les transformations et regroupements, supprimer quelques observations aberrantes, les méthodes et protocoles, le modèle, la quantité d'observations. --- class: middle # Merci! Diapositives créées à l'aide du package R [**xaringan**](https://github.com/yihui/xaringan). En s'appuyant sur [remark.js](https://remarkjs.com), [**knitr**](https://yihui.org/knitr), et [R Markdown](https://rmarkdown.rstudio.com). <a rel="license" href="https://creativecommons.org/licenses/by-sa/4.0/deed.fr"><img alt="Licence Creative Commons" style="border-width:0" src="https://i.creativecommons.org/l/by-sa/4.0/88x31.png" /></a><br />Ce(tte) œuvre est mise à disposition selon les termes de la <a rel="license" href="https://creativecommons.org/licenses/by-sa/4.0/deed.fr">Licence Creative Commons Attribution - Partage dans les Mêmes Conditions 4.0 International</a>.