Non classé

Méthodes #1 « Ce n’est qu’une théorie » : les différents niveaux de preuve

Edit 30/06/2019 : cet article était originellement centré sur les différents niveaux de preuve à considérer dans l’analyse des processus (liens de cause à effet) biologiques. Des retouches assez importantes ont été faites ce jour dans le corps de texte pour élargir un peu les perspectives, mais pour les études descriptives (en biologie ou ailleurs) et les autres disciplines utilisant l’induction ou l’abduction, il conviendra de vous pencher sur les épistémologies qui sont spécifiques à ces approches..

On entend souvent dire des détracteurs de la théorie de l’évolution que « ce n’est qu’une théorie ». Cela sous-entend que la théorie de l’évolution ne serait qu’une proposition disponible pour expliquer la vie, pas plus valable qu’une autre.

Dans le langage commun, « théorie » désigne en effet une explication possible parmi d’autres. Mais dans le langage scientifique, c’est le mot « hypothèse » qui désigne une explication possible parmi d’autres. Le mot théorie, lui désigne une explication déjà étayée par des faits. Une explication qui soit commence à être un peu solide, soit est carrément très solide.

Qu’est-ce qu’un fait? C’est une observation démontrée, une observation pour laquelle le niveau de preuves n’est pas sujet à caution. Si je dis « en général, les fraises sont rouges », c’est un fait. Il faut savoir qu’il existe différent niveaux de preuves. On m’a dit qu’il existe des fraises bleues. Mais une expérience individuelle, rapportée par des « on-dit », ne constitue pas une preuve, car il n’est pas possible de vérifier la fiabilité de la source de notre information (qui a dit? cette personne est-elle fiable? est-elle daltonienne? Est-ce que l’information n’a pas été déformée par les intermédiaires?). Ma sœur m’a dit qu’elle a déjà vu des fraises bleues. Un peu mieux, mais cet argument n’est pas recevable auprès d’une tierce personne, qui ne connait pas ma sœur. Tel expert à dit (dans un livre/une vidéo/un blog) qu’il existe des fraises bleues. Où ? Quand ? Quelle variété ? Là encore, des questions se posent, auxquelles il est difficile de répondre. Au mieux, on peut penser qu’il existe des indices qu’il existe des fraises bleues. Pas de preuves. C’est pourquoi l’ensemble de ces sources ne sont pas acceptables dans un argumentaire scientifique. Dans un argumentaire scientifique, on ne retiendra que les sources qui sont accessibles ou qui fournissent la méthode qui a permis d’obtenir l’information. En effet, c’est grâce à l’étude attentive de ces méthodes qu’on pourra étudier la portée et les limites de cette information. Nous saurons qui a fourni l’observation, dans quel contexte elle a été faite, et ce que la méthodologie permet d’en conclure. Il sera possible de procéder à une analyse critique de l’information.

Une étude peut donc constituer une preuve si sa méthodologie, une fois décortiquée, parait robuste. Mais ensuite, même parmi les différentes études, toutes ne confèrent pas le même niveau de preuve. Ainsi, une étude de cas (une fraise bleue à été observée, cela est rapporté dans une étude publiée, qui indique le contexte de l’observation, l’auteur, etc.) ne permet de conclure que de manière limitée (il existe au moins une fraise bleue). D’autres études sont nécessaires pour permettre d’établir des faits généralisables. Cependant, des disciplines entières n’ont accès qu’à ce niveau de preuve (les études anthropologiques sont des études de cas, par exemple). Ce n’est pas un problème dans la mesure où elles sont très vigilantes dans la manière dont leurs observations peuvent être extrapolées (les conclusions sont reconnues comme contextuelles). A noter, l’étude d’un seul cas peut servir de contre exemple à une loi et donc suffire à la questionner. Par exemple la description d’un lion albinos peut suffire à invalider la loi d’après laquelle tous les lions sont oranges.

A ce stade, il est à noter que les témoignages et les études de cas n’ont pas la même valeur de preuve selon que l’étude est descriptive, ou analytique. Pour une approche descriptive (qui consiste à décrire des observations), le recoupement de témoignages indépendants peut avoir une valeur de preuve forte (par exemple, le recoupement des témoignages d’anciens déportés peut permettre de décrire les conditions de vie dans les camps pendant la Shoah). Ci après, nous nous concentrerons plus spécifiquement sur la valeur des différentes preuves pour des analyses de types analytiques (celles qui consistent à déterminer les liens de cause à effet).

Les différentes sources d’information et leur fiabilité pour l’inférence d’un lien de cause à effet sont inventoriés dans la figure suivante, et un nouvel exemple est donné pour les illustrer : l’efficacité d’un remède X pour guérir une maladie donnée.

NiveauxDePreuve 2

Dans la partie du bas, nous avons classé ce que nous qualifions d’indices : en l’absence d’autres informations disponibles, les témoignages individuels rapportés (la sagesse populaire, qui s’enracine en général dans une connaissance empirique du monde) peuvent par exemple servir à formuler des hypothèses qui devront être creusées. Nous avons placé la parole d’expert un peu au dessus des témoignages rapportés via le bouche à oreille, en faisant l’hypothèse que l’expert, comme la plupart des individus, pourra parfois se laisser aller à présenter comme des évidences des assertions qui n’ont pas été parfaitement vérifiées, par abus de confiance (l’expert, comme tout le monde, peut se laisser aller au témoignage rapporté, en quelques sortes), mais qu’en moyenne, l’expert qui publie un livre aura plus souvent fait l’effort de vérifier les sources de ses affirmations.

Dans la partie supérieure, nous avons reporté ce que nous qualifions de preuves, c’est à dire d’éléments qui sont rapportés par des sources directes et qui, lorsqu’ils concordent avec ce qui est connu par ailleurs, renforcent la confiance que l’on peut avoir dans une hypothèse. Dans les sciences biologiques (plus précisément, épidémiologiques), au dessus de l’étude de cas, on a l’étude cas témoin et l’étude transversale. Il y a déjà un saut énorme dans la logique comparé aux autres « sources». En effet, dans ces études, on va commencer  à avoir une démarche « statistique». Jusque-là on avait une information ne concernant qu’un seul individu ou appréciée « à la louche» par un seul individu. Dans les études, un individu n’est plus suffisant, il faut de nombreux individus (un échantillon), et si on veut étudier, par exemple, l’efficacité d’un traitement, on va (dans une étude cas témoin) commencer à comparer les individus entre eux, pour voir si ceux qui ont pris le traitement guérissent plus vite que ceux qui n’en n’ont pas pris. Mais dans une étude cas-témoin, on ne contrôle pas tous les facteurs. On ne fait qu’enregistrer l’information rapportée par les individus, à un temps t. Les personnes qui disent avoir pris le traitement peuvent se tromper ou ne pas l’avoir pris aux doses indiquées, mais on ne peut pas vérifier, par exemple. C’est une limite de ces études. Dans les études expérimentales, par contre, on va administrer nous même le traitement, ce qui permet de contrôler l’ensemble des conditions de l’étude. On pourra réduire les sources de variation au maximum. Par exemple, on sait qu’il existe un effet placebo, c’est à dire que prendre un traitement, même inefficace, accélère la guérison. Ainsi, on pourra donner le traitement X à un groupe de personnes, et un placebo (un faux traitement, des comprimés de sucre par exemple) à un autre groupe, pour vérifier que c’est bien la molécule X, et pas le fait de prendre un comprimé, qui améliore la guérison. C’est pourquoi l’étude expérimentale est particulièrement prisée : elle donne un argument fort pour établir des liens de cause à effet. Dans une étude de cohorte, on suit les individus au fur et à mesure du temps. On ne contrôle pas tout mais comme on suit les individus, il est plus facile de contrôler la véracité des informations. Bien entendu, si on ne fait pas toujours des études expérimentales, c’est parce qu’elles posent des questions éthiques (notamment sur les animaux vertébrés et les humains). Il  faut parfois accumuler des preuves de faible niveau avant de lancer une étude expérimentale qui permettra d’obtenir des preuves de plus haut niveau (par exemple, le remède X pourrait être une plante utilisée de manière traditionnelle, un « remède de grand-mère». Si on veut étudier l’efficacité de ce remède, on commencera d’autant plus par chercher des preuves de faible niveau (avant de chercher des preuves de haut niveau) que le risque d’effets secondaires est élevé.

Un autre aspect à prendre en compte, c’est que correlation is not causation (cet autre billet) : pour déduire qu’un phénomène est la cause d’un autre (par exemple que A cause B), il y a plusieurs critères à vérifier. Or, les différents types d’étude ne permettent pas de vérifier tous les critères à la fois. Voici les critères que chaque type d’étude permet de vérifier :

tableau croix et ticks2

On remarque que les témoignages, pourtant souvent dénigrés comme élément de preuve, lorsqu’ils sont qualitatifs, peuvent permettre d’éclairer la compréhension du contexte, donc de contribuer à donner des éléments de plausibilité (par exemple, le témoignage des personnes qui sont piqués par les moustiques la nuit contribue contextuellement à démontrer que le paludisme est transmis à l’humain par les piqûres de moustiques), tandis que l’étude expérimentale permet de vérifier le plus de critères, mais ne fourni que des éléments quantitatifs, qui n’informent pas sur les mécanismes. Pour tester la cohérence logique de l’explication du fonctionnement d’un système (processus physique, chimique, écologique, évolutionnaire, etc.), il sera également possible de faire appel à la modélisation, c’est-à-dire la mise en équation des phénomènes. Ainsi, c’est très important, aucun de ces types d’études ne permet de trancher complètement. La crédibilité que l’on peut donner à une hypothèse s’évalue en mettant dans la balance l’ensemble des éléments de preuve disponible. Si la crédibilité est jugée (assez subjectivement) suffisante, l’hypothèse sera élevée au rang de théorie.

Petit résumé : une hypothèse est une explication émise à partir d’observations « informelles».  Une théorie est une explication étayée par des faits. Des faits, ce sont des observations confortées par des preuves solides, c’est-à-dire dont chacun peut évaluer facilement la fiabilité. En sciences, les études publiées sont les seules sources qui  permettent d’évaluer la fiabilité d’une preuve, donc les seules sources considérées comme acceptables. Par ailleurs, elles sont également les seules à permettre d’étudier correctement les liens de cause à effet entre les phénomènes.

Mais une étude ne peut pas, à elle seule, constituer une preuve absolue et définitive. Au delà de leurs limites intrinsèques décrites ci-avant, une étude peut avoir été falsifiée (fraude scientifique), ou être un faux négatif (par le jeu du hasard, on a observé que les patients qui recevaient le traitement X ont guérit plus vite, mais en réalité, c’est juste que les patients sélectionnés pour recevoir le traitement avaient une meilleure immunité… pas de chance).  Sélectionner une seule étude parmi un grand nombre existant, alors qu’elle obtient des résultats contraires à toutes les autres, c’est du cherry picking. Le meilleur niveau de preuve, c’est lorsque la majorité des études et analyses de la question parviennent à des résultats convergent. Ainsi, les méta-analyses ou les revues de la littérature, qui récapitulent l’ensemble des résultats et discussions relatifs à une hypothèse, et permettent d’établir un consensus scientifique, fournissent le meilleur niveau de preuves disponible. Cela ne veut pas dire qu’il ne faille pas lire leur méthodologie…. pour vérifier par soi-même leur fiabilité, et donc garder un œil critique.

Article originellement publié le 24 mai 2016. Republié le 10 mars 2018 suite à migration du site. Réédité le 30 juin 2019.

3 réflexions au sujet de “Méthodes #1 « Ce n’est qu’une théorie » : les différents niveaux de preuve”

Répondre

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion /  Changer )

Photo Google

Vous commentez à l'aide de votre compte Google. Déconnexion /  Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion /  Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion /  Changer )

Connexion à %s