Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Pourquoi et comment critiquer les algorithmes ?

Je commence par la mauvaise nouvelle, puisqu’il s’agissait officiellement de la dernière séance du séminaire SED. Du moins, sous l’égide de l’Université Paris Cité.

Si SED est mort, je vais faire tout mon possible pour pouvoir dire « vive SED »  d’ici peu et que le séminaire puisse reprendre sous une forme ou sous une autre ailleurs (notamment parce que de nombreuses séances avaient été pensées pour la suite).

Lorsque j’ai soumis la proposition de cette séance « Pourquoi et comment critiquer les algorithmes ? » à nos deux intervenants Nicolas Brault et Florian Jaton, il s’agissait de contribuer à surmonter un obstacle épistémologique assez classique mais qui, au vu de la montée en puissance des algorithmes dans les différentes sphères de la société, devient urgent à résoudre. Cet obstacle est celui de parvenir à articuler dans l’analyse des algorithmes des échelles d’observation et d’analyse externes et internes ou, dit autrement, le contexte et le code. Du côté des sciences sociales, il n’y a désormais personne pour dire que la sociogenèse ne constitue pas un outil incontournable à l’objectivation du monde social. Mieux encore, on a là affaire à un angle d’attaque communément admis pour appréhender n’importe quelle production institutionnelle. Toutefois, en pratique, un certain type de production résiste au travail sociohistorique de dénaturalisation. Ce sont toutes celles qui se caractérisent par un haut degré de formalisme. L’une des conséquences est que les producteurs en tirent le plus souvent parti pour défendre l’idée que ce qu’ils font échapperait au poids des déterminismes sociaux. Pour des analyses exemplaires de ce point de vue, je recommande la lecture des travaux de Charles Soulié sur les philosophes[1] et ceux de Bernard Zarca sur les mathématiciens[2]. Si je classe les algorithmes du côté de la philosophie et des mathématiques, il convient de préciser que la comparaison ne peut être que partielle. En effet, à l’inverse de ces deux domaines, les algorithmes ne s’adossent pas à un champ autonome entendu comme institutionnellement consolidé (ce qui permet d’ailleurs d’expliquer au passage pourquoi ils ne font pas encore l’objet d’une défense professionnelle fondée sur leur irréductibilité au social). Ce qui les unit en revanche à la philosophie ou aux mathématiques, c’est bien une dimension ésotérique associée à un droit d’entrée élevé. Or, dans le cas des algorithmes, cela s’appelle le code et il constitue pour la grande majorité des chercheurs en sciences sociales une véritable boîte noire. Pour faire écho à ma question initiale visant à combiner les focales externe et interne, comment peut-on très concrètement mettre en relation les conditions sociales d’existence de ces boîtes noires avec leur contenu ?

Afin de ne pas en rester au niveau des bonnes intentions méthodologiques, je pense qu’il n’est pas inutile de s’essayer ici à une petite étude de cas. Considérons l’algorithme de Parcoursup qui se compose de deux algorithmes, l’un d’appariement et l’autre de classement. Pour ma part, je vois deux pistes (ou fausses pistes) où chercher ce qui peut poser problème. On sait que l’algorithme d’appariement résulte d’une version beaucoup plus longue de celle originale ayant été élaborée en 1962 par David Gale et Lloyd Shapley  pour résoudre le problème des mariages stables. La première piste consiste à chercher des biais dans le fait de transposer cet algorithme aux choix d’orientation des bacheliers dans le supérieur. De ce que j’ai pu en comprendre, cela donne lieu à un scénario en deux étapes :

1/ À chaque instant, un choix d’orientation (un homme) est proposé à un étudiant (une femme) qui préfère ce choix parmi ceux qui ne lui ont pas encore été proposés (et sans savoir si ce choix a déjà été choisi) ;

2/ Chaque étudiant (une femme) considère alors les choix d’orientation (des hommes) qui lui sont faits (en incluant éventuellement le choix qu’il a déjà fait), puis dit « peut-être » au choix qu’il préfère et « non » à tous les autres.

Si le passage du problème des mariages stables à celui de l’orientation dans le supérieur ne semble pas aller de soi à première vue, c’est encore moins convaincant quand on apprend que la solution proposée par l’algorithme est toujours optimale pour ceux qui proposent (les choix d’orientation et les hommes) mais pas forcément pour ceux qui choisissent (les étudiants et les femmes). Ce qui semble parfaitement coïncider avec les retours des bacheliers qui constatent avoir été lésés dans leurs vœux ou bien ceux qui se retrouvent au final sans aucune affectation dans le supérieur.

J’en viens à la seconde piste pour essayer d’appréhender de manière critique un algorithme tel que Parcoursup. Dans cette perspective, il ne s’agit plus de se concentrer sur sa structure formelle, mais plutôt sur les données qui lui sont fournies.

Si l’on suit la voie tracée par Florian Jaton, les principaux biais se situent alors dans ce qu’il appelle les « ground truth » c’est-à-dire les données d’entrée et de sortie qui sont utilisées pour étalonner puis routiniser l’algorithme[3]. Car ces données d’entrées et de sorties sont, selon lui, tout sauf neutres et orientent très largement les résultats de l’algorithme[4].

En considérant le recours à l’IA et au Big data dans le domaine du diagnostic médical, Nicolas Brault aboutit à des conclusions lui aussi centrées sur les effets des données employées pour alimenter les algorithmes[5]. Parce qu’il repose sur le volume des données et non leur qualité, le Big data constitue en effet un leurre pour les algorithmes dédiés à l’amélioration du diagnostic médical[6]. En somme, comme nous y invitent Florian Jaton et Nicolas Brault, si l’on met l’accent dans l’analyse des algorithmes (que ce soit Parcoursup ou un autre) sur les données, tout indique que l’on a affaire à un travail de sélection relevant d’individus ou de groupes d’individus et, autrement dit, foncièrement ancré socialement. Par conséquent, on peut penser que l’enquête sur ces profils sociaux à l’origine de ce travail technique (propriétés, trajectoires, formation, etc.), se trouve au cœur des analyses qui permettront de sortir les algorithmes de leur boîte noire.

[1] Charles Soulié, « Anatomie du goût philosophique », Actes de la recherche en sciences sociales, vol. 109, 1995, p. 3-28.

[2] Bernard Zarca, « Un sociologue avec des « scientifiques durs » sur la toile. Conditions de la recherche au CNRS pour la plus mal aimée des sciences et aperçu de ses relations avec certaines des plus légitimes », Genèses, vol. 55, n°2, 2004, p. 126-145.

[3] Florian Jaton, « De la centralité des bases de données ground truth dans la construction des systèmes algorithmiques », Silomag, n°15, juillet 2022. URL: https://silogora.org/de-la-centralite-des-bases-de-donnees-ground-truth-dans-la-construction-des-systemes-algorithmiques/.

[4] Ibid.

[5] Nicolas Brault, Mohit Saxena, « For a critical appraisal of artificial intelligence in healthcare: The problem of bias in mHealth »,  J Eval Clin Pract. 2021; 27: 513– 519. https://doi.org/10.1111/jep.13528.

[6] Ibid.

Boris Attencourt (Université Paris Cité, DGDBM – CESSP)

Pour citer cet article : Boris Attencourt, « Pourquoi et comment critiquer les algorithmes ? », publié le 04 décembre 2022, https://sed.hypotheses.org/1050.

Bibliographie indicative pour la séance :

– Brault N, Saxena M., 2021.For a critical appraisal of artificial intelligence in healthcare: The problem of bias in mHealth, Journal of Evaluation in Clinical Practice, juin 2021;27(3):513‑9 (https://doi.org/10.1111/jep.13528).

– Brault, N., Duchemann, B., Saxena, M., 2021. Epistemological Issues and Challenges with Artificial Intelligence in Healthcare, in Saxena A, Brault N, Rashid S.  (éditeurs), 2021. Big Data and Artificial Intelligence for Healthcare Applications, 1re éd, Boca Raton : CRC Press, juin 2021, p. 235-270 (https://doi.org/10.1201/9781003093770).

– Jaton F (2021) The Constitution of Algorithms: Ground-Truthing, Programming, Formulating. Cambridge, MA: The MIT Press.

– Jaton F (2021) Assessing biases, relaxing moralism: On ground-truthing practices in machine learning design and application. Big Data & Society 8(1): 20539517211013569.

– Jaton F (2019) « Pardonnez cette platitude » : de l’intérêt des ethnographies de laboratoire pour l’étude des processus algorithmiques. Zilsel – Science, technique, société 5: 315-43.

– Jaton F (2017) We get the algorithms of our ground truths: Designing referential databases in digital image processing. Social Studies of Science 46(7) : 811-40.

 Autres textes importants :

– Lee F (2021) Enacting the Pandemic: Analyzing Agency, Opacity, and Power in Algorithmic Assemblages. Science & Technology Studies 34 (1): 65–90.

– Bechmann, A and Bowker GC (2019) Unsupervised by Any Other Name: Hidden Layers of Knowledge Production in Artificial Intelligence on Social Media. Big Data & Society 6 (1): 205395171881956. DOI:10.1177/2053951718819569.

– Ntoutsi, Eirini, Pavlos Fafalios, Ujwal Gadiraju, Vasileios Iosifidis, Wolfgang Nejdl, Maria‐Esther Vidal, Salvatore Ruggieri, et al. 2020. « Bias in Data‐driven Artificial Intelligence Systems—An Introductory Survey ». WIREs Data Mining and Knowledge Discovery 10 (3) (https://doi.org/10.1002/widm.1356).

– Pearl, Judea. 2019. « The Seven Tools of Causal Inference, with Reflections on Machine Learning ». Communications of the ACM 62 (3): 54‑60. (https://doi.org/10.1145/3241036).