Le Paradoxe de Simpson

"Le paradoxe de Simpson" ou "effet de Yule-Simpson" est un paradoxe statistique décrit par Edward Simpson en 1951 et George Udny Yule en 1903, dans lequel un phénomène observé dans plusieurs groupes semble s'inverser lorsque les groupes sont combinés.

A noter que Mr Simpson  est un statisticien qui a réellement existé, même si un héro de bande dessinée, homonyme, y fait allusion, il n’a rien à voir.

Expérience

Tirages

Prenons quatre pots A, A’ et B, B’ et des boules rouges et blanches

Dans un pot A on met :
1 boule rouge
2 boules blanches
soit 1/3 = 33 % de chances de tirer une boule rouge.

Dans un pot B on met :
5 boules rouges
5 boules blanches
soit 5/10 = 50 % de chances de tirer une boule rouge.

Dans quel pot a-t-on le plus de chances de tirer une boule rouge ? 
Réponse : B (50 % contre 33%)

Dans un autre pot A’ on met :
8 boules rouges
3 boules blanches
soit 8/11 = 73 % de chances de tirer une boule rouge.

Dans un autre pot B’ on met :
6 boules rouges
2 boules blanches
soit 6/8 = 75 % de chances de tirer une boule rouge.

Dans quel autre pot a-t-on le plus de chances de tirer une boule rouge ?
Réponse : B (75 % contre 73%)

Regroupement

Regroupons les contenus des Pots A et des pots B.

Dans le nouveau pot A on a :
9 boules rouges         
5 boules blanches
soit 9/14 = 64 % de chances de tirer une boule rouge.

Dans le nouveau pot B on a :
11 boules rouges
7 boules blanches
soit 11/18 = 61 % de chances de tirer une boule rouge.

Après regroupement, dans quel autre pot a-t-on le plus de chances de tirer une boule rouge ?

Réponse : A (64 % contre 61%)

Étonnant ! Non ?

C’est le paradoxe de Simpson.                                                                                                         
Dans les statistiques il faut se ramener au nouveau nombre de cas probables sur le nombre de cas possibles et ne pas ajouter les probabilités déjà établies sur d’autres bases car les probabilités ne sont pas équiprobables.
Quand on procède aux regroupements des cas, on influence les cas probables favorablement ou défavorablement selon le volume de nouveaux cas par rapport aux précédents volumes.

Si les nouveaux cas sont beaucoup plus nombreux que les anciens cas ils prendront une forte influence sur le nouveau total. C’est ce qui se passe dans notre pot A où une nouvelle quantité de 8 boules rouges et 3 boules blanches a beaucoup d’importance par rapport au précédent total du pot A qui était de 3 boules en tout.

Et nos axiomes des proba ?

Les axiomes des probabilités sont vrais pour des conditions EQUIPROBABLES, c’est à dire où les conditions de tirage NE CHANGENT PAS, et sont indépendantes.

"A ou B" 

La probabilité que "A ou B" se réalise s'obtient en additionnant la probabilité de A avec celle de B et en retirant la probabilité de "A et B" (qui a été compté deux fois, une fois dans les cas de A et une fois dans les cas de B), donc :

P(A ou B) = P(A) + P(B) - P(A et B)

Si A et B sont incompatibles, la formule ci-dessus se simplifie car "A et B" ne peut pas se réaliser, et donc P(A et B) = 0 :

P(A ou B) = P(A)+P(B)

"A et B" 

On commence par déterminer la probabilité de A, puis celle de B en supposant  A  réalisé, et multiplier les deux :

P(A et B) = P(A) x P(B si A)

Si A et B sont indépendants, cette formule se simplifie car P(A si B) = P(A) :

P(A et B) = P(A) x P(B)

Le paradoxe de Simpson, peut se produire quand on change les conditions de « tirage » et que l’on s’appuie, faussement, sur les résultats antérieurs observés dans des conditions de volume différentes.

Un exemple vrai

Un exemple réel provenant d'une étude médicale sur le succès de deux traitements contre les calculs rénaux permet de voir le paradoxe sous un autre angle.

Cette table montre le succès des traitements A et B pour soigner petits et gros calculs :

Dans les deux cas, le traitement A est plus efficace.

Toutefois, si l'on construit un résultat global en additionnant naïvement les traitements de petits et gros calculs, on trouve que B est plus efficace.

Ce qui crée le paradoxe, et l'impression erronée que B est globalement plus efficace, c'est que le traitement A a été donné beaucoup plus souvent pour les gros calculs, qui sont plus difficiles à soigner et donc beaucoup moins souvent avec le traitement B.

Voila un bel exemple de paradoxe de Simpson.
 

Analyse du paradoxe

Tout d’abord comment s’énonce ce paradoxe : Une corrélation peut disparaître ou même s’inverser suivant que l’on considère les données dans leur ensemble, ou bien segmentées par groupes.

Pour que le paradoxe se produise, il faut 2 ingrédients concurrents :

• Premièrement il faut une variable qui influe sur le résultat final (le « groupe »), et qui n’est pas forcément explicitée au départ. On appelle cela un "facteur de confusion". Il s’agit de la taille des calculs dans notre exemple, car celle-ci influe sur la probabilité de succès du traitement.

• Deuxièmement, il faut que l’échantillon qu’on étudie ne soit pas distribué de manière homogène. Dans le cas des reins, le traitement « A » est plus souvent donné sur les gros calculs, et le « B » sur les petits.

Quand ces deux conditions sont réunies, le paradoxe de Simpson peut se produire ! C’est-à-dire qu’à cause de la distribution hétérogène de l’échantillon, regrouper les données pointe une tendance qui peut être fausse, et qui disparaît si on analyse les données en séparant selon le facteur de confusion.
       

carte électorale

                 
Les statistiques publiées par les agences gouvernementales s’appuient souvent sur ce stratagème, qui consiste à partitionner ou fusionner des données pour que la tendance aille dans le bon sens. 
Par exemple, dans une entreprise, si sur 1000 ouvriers on en vire 900 tout en gardant les 100 cadres payés le double, la masse salariale aura baissé de presque 10 % tout en augmentant le salaire moyen !

Enfin dans le domaine politique, une formation peut très bien dominer territorialement le scrutin, en étant majoritaire dans la plupart des petites communes, et pour autant être perdante à l’échelle nationale. Il suffit pour cela d’une légère avance aux formations concurrentes dans les grandes métropoles pour faire basculer le scrutin. 

C’est un phénomène (très) bien maîtrisé par les dessinateurs des cartes électorales.
On comprend pourquoi le découpage électoral est redéfini avant chaque élection !
 

paradoxesimpson

Sources

https://www.youtube.com/watch?v=nvfkG06HZ2M

https://fr.wikipedia.org/wiki/Paradoxe_de_Simpson

https://scienceetonnante.com/2013/04/29/le-paradoxe-de-simpson/

https://www.egaliteetreconciliation.fr/Elections-gare-aux-statistiques-45479.html