La p-value représente le risque que l'on prend de se tromper en affirmant qu'un effet est statistiquement significatif. Effectuer un test en boucle un grand nombre de fois augmente le nombre de p-values calculées et par conséquent le risque de détecter des effets significatifs à tort.
Niveau de signification
Si la valeur p calculée est inférieure à cette valeur, l'hypothèse nulle est rejetée, sinon elle est maintenue. En règle générale, on choisit un niveau de signification de 5 %. alpha < 0,01 : résultat très significatif. alpha < 0,05 : résultat significatif.
Plus la valeur de p est petite, plus la probabilité de faire une erreur en rejetant l'hypothèse nulle est faible. Une valeur limite de 0,05 est souvent utilisée. Autrement dit, vous pouvez rejeter l'hypothèse nulle si la valeur de p est inférieure à 0,05.
Soit p>0,05: la différence n'est pas significative, on ne peut pas conclure à une différence. Soit p≤0,05: la différence est significative, le risque pris est précisé, sa valeur est appelée degré de signification.
L'hypothèse H0, qui fait l'objet du test, est rejetée dans tous les cas où apparaît un résultat significatif. Une valeur significative est une valeur dont la probabilité d'apparition dans H0 est égale ou inférieure à a .
Un test est dit statistiquement significatif lorsque le risque quantifié de se tromper, nommé p-valeur, est inférieur à un niveau de signification alpha. Pour être plus précis, la valeur-p est la probabilité d'obtenir une donnée aussi extrême sous l'hypothèse nulle.
On appelle risque d'erreur de première espèce la probabilité de rejeter H0 et d'accepter H1 alors que H0 est vraie. Ceci se produit si la valeur de la statistique de test tombe dans la région de rejet alors que l'hypothèse H0 est vraie. La probabilité de cet évènement est le niveau de signifiation α.
Une valeur-p de 0,05 signifie qu'il y a une chance sur 20 qu'une hypothèse correcte soit rejetée plusieurs fois lors d'une multitude de tests (et n'indique pas, comme on le croit souvent, que la probabilité d'erreur sur un test unique est de 5 %).
Le seuil de 95% signifie qu'on admet un risque d'erreur de 5%: on peut réduire ce risque (par exemple à 1%), mais alors l'Intervalle de Confiance sera plus large, donc moins précis.
Une valeur p, qui signifie valeur de probabilité, est une mesure statistique comprise entre 0 et 1. Elle est utilisée pour un test d'hypothèse. Dans des essais cliniques, elle est utilisée pour donner une indication qui détermine si un résultat observé dans un essai clinique peut être dû à un hasard ou non.
Choisissez un seuil de signification plus élevé, tel que 0,10, si vous souhaitez augmenter le risque de déclarer qu'un effet est significatif sur le plan statistique alors qu'aucun effet n'existe et donc avoir une plus grande puissance de détection d'un effet important.
En résumé, si la puissance statistique est assez importante (supérieure à 0.95 par exemple), on peut accepter H0 avec un risque proportionnel à (1 – puissance) d'avoir tort. Ce risque est appelé le risque Bêta.
La significativité statistique, ou seuil de signification, désigne le seuil à partir duquel les résultats d'un test sont jugés fiables. Autrement dit, ce seuil détermine la confiance dans la corrélation entre un test effectué et les résultats obtenus.
Suivant la nature du test, la valeur p se calcule de trois façons différentes : pour un test unilatéral à droite, si X est la variable aléatoire que devrait suivre la quantité observée sous l'hypothèse nulle, et si x0 est la valeur observée, alors la valeur p est par définition P(X≥x0). P ( X ≥ x 0 ) .
Augmenter l'effectif de l'échantillon
En règle générale, plus vous avez d'observations, plus l'intervalle autour de la statistique issue de l'échantillon sera étroit. Par conséquent, collecter davantage de données permet souvent d'obtenir une estimation plus précise d'un paramètre de population.
L'intervalle de confiance (IC) est une plage de valeurs susceptibles d'inclure une part définie de la population avec un certain degré de confiance. Il est souvent exprimé en %, qui représente la moyenne d'une population se situant entre un intervalle supérieur et un intervalle inférieur.
Pour obtenir un intervalle plus réduit, donc plus précis, sans changer le nombre de sondés, il faut accepter un niveau plus faible, donc un plus grand risque de se tromper. Au contraire, pour réduire le risque d'erreur, on peut élargir l'intervalle.
Cela s'articule habituellement autour de l'hypothèse nulle (H0): si on accepte l'hypothèse nulle, l'hypothèse alternative (H1) est infirmée; inversement, si on rejette l'hypothèse nulle, l'hypothèse alternative est confirmée.
Une erreur de type I survient dans un test d'hypothèse statistique lorsqu'une hypothèse nulle, qui est en réalité vraie, est rejetée par erreur. Les erreurs de type I sont également connues sous le nom de « faux positifs », elles représentent la détection d'un effet positif alors qu'il n'existe aucun effet en réalité.
La mauvaise décision : On suppose qu'H0 est fausse alors qu'en réalité H0 est vraie : c'est le risque α. On suppose qu'H0 est vraie alors qu'en réalité H0 est fausse : c'est le risque β.
Lorsque l'un des effectifs théoriques est inférieur à 5 ou lorsque les sommes marginales du jeu de données réel sont très déséquilibrées, il est préférable de se fier au test exact de Fisher.
Définition. Différence entre deux statistiques dont on peut affirmer, avec moins de x chances sur 100 de se tromper, qu'elle n'est pas due au hasard seul. Exemple : différence significative à P = 0,01. Dans ce cas, la probabilité de se tromper en affirmant que la différence est significative n'est que de 1 %.
Pour cela, il suffit de regarder le "t-stat" (t) ou bien la P-value (P>?t?), et comparer ces valeurs à des "valeurs seuils". Pour faire simple, une variable est significative avec un intervalle de confiance de 95% si son t-stat est supérieur à 1,96 en valeur absolue, ou bien si sa P-value est inférieure à 0,05.