Peut-on encore distinguer avec certitude un texte écrit par un humain d’un texte produit par une intelligence artificielle ? Les outils de détection peuvent-ils faire foi face aux dénégations d’un auteur ? Et si un logiciel se trompe, qui assume les conséquences ? La polémique autour de Thélyson Orélien, dont le roman a été retiré de la sélection du Goncourt le 25 septembre, relance le débat sur les limites de ces technologies et leur place dans la littérature.
Pour mieux comprendre ce que les outils de détection de l’IA peuvent réellement établir et leurs limites, AFRIK.COM a interrogé Paul Arnaud Déguénon, Directeur de Bénin Web TV, concepteur de la plateforme « One and IA » et formateur certifié en journalisme et en intégration de l’intelligence artificielle dans les médias africains.
Dans cet entretien, il analyse les capacités des détecteurs d’IA, les risques de faux positifs, la responsabilité des auteurs, la polémique autour du roman « C’était ça ou mourir » et les nouveaux défis posés par l’intelligence artificielle aux écrivains et au monde de l’édition.
« Un détecteur ne prouve rien, il calcule juste une probabilité… », Paul Arnaud Déguénon
Afrik.com : Bonjour Monsieur Paul Arnaud Déguénon. Merci d’avoir accepté de répondre à nos questions. Pour commencer, peut-on aujourd’hui, d’un point de vue technique, distinguer avec certitude un texte écrit par un humain d’un texte généré par une intelligence artificielle ?
Paul Arnaud Déguénon : Non, pas avec certitude, et je crois que c’est la première chose à dire clairement au public. Un détecteur ne prouve rien, il calcule juste une probabilité et contrairement à une image, un texte n’offre pas de signal à analyser, mais seulement une distribution statistique de mots et de ponctuation.
Certes, les outils progressent, et Pangram fait figure de référence parmi les détecteurs. Mais ils analysent un texte terminé. Ils n’ont accès ni aux brouillons, ni aux versions successives, ni aux conditions dans lesquelles l’œuvre a été écrite. Les résultats sont donc un élément du dossier, mais pas la preuve de la manière dont le roman a été écrit. Et un texte hybride, c’est-à-dire écrit par un humain puis retravaillé par une machine, ou l’inverse, reste très difficile à trancher.
Le cas Thélyson Orélien l’illustre d’ailleurs parfaitement. L’AFP a soumis les extraits litigieux de son roman « C’était ça ou mourir » à huit autres détecteurs et un seul conclut à 100 % d’IA, deux concluent l’inverse, et les autres donnent des probabilités très variables selon les extraits. Chacun peut donc trouver l’outil qui lui donne raison.
La vraie réponse doit donc résider dans la traçabilité, c’est à dire historique des versions, brouillons datés, échanges avec l’éditeur, métadonnées des fichiers. C’est là que se jouera la vérité, bien plus que dans un pourcentage.
Afrik.com : Comment fonctionnent concrètement ces détecteurs, et qu’analysent-ils ?
Paul Arnaud Déguénon : Il existe deux grandes familles.
Les premières sont statistiques. Elles mesurent à quel point un texte est prévisible et à quel point le rythme des phrases varie. Une IA choisit souvent les mots les plus probables, ce qui laisse une empreinte. Mais les outils de détection sont fragiles, surtout sur les textes courts et sur les auteurs qui n’écrivent pas en anglais. Une étude de Stanford a montré que sept détecteurs avaient classé à tort plus de la moitié d’essais rédigés par des étudiants non anglophones comme générés par IA.
Les secondes sont des classificateurs entraînés, et Pangram en fait partie. Ses concepteurs ont rassemblé des millions de textes humains, demandé à plusieurs modèles d’IA de les reformuler, puis entraîné l’outil sur ces paires pour mesurer statistiquement comment l’écriture humaine diverge de celle de la machine. Ils repèrent aussi les textes humains que le modèle classe à tort comme IA, génèrent leurs équivalents artificiels et réentraînent le modèle, en boucle. L’outil apprend donc à reconnaître comment un texte a été écrit, plus que ce dont il parle. Aussi, l’IA a tendance à reproduire toujours les mêmes schémas, alors que les textes littéraires divergent beaucoup plus les uns des autres, ce qui les rend plus faciles à distinguer.
Toutefois, deux nuances me paraissent essentielles.
D’abord, il faut lire correctement le score. Quand Radio-Canada obtient 94 % sur le roman entier, cela ne veut pas dire que tout a été généré d’un coup. Cela signale qu’une part importante du texte porte des signatures d’IA, et la chercheuse elle-même refuse de parler de certitude à 100 %.
Ensuite, il faut regarder les taux d’erreur avec prudence, car ils varient selon les sources. Pangram revendique un faux positif sur mille, mais une étude indépendante de la VUB estime son taux d’erreur à 2,5 %. Une étude de l’université de Chicago le place comme le seul détecteur testé à tenir un plafond de 0,5 % de faux positifs. Son propre PDG, Max Spero, affirme que l’outil ne devrait jamais être l’arbitre final, mais un point de départ pour une enquête plus approfondie. Je partage ce point de vue.
Afrik.com : Dans l’affaire « C’était ça ou mourir », certains tests réalisés avec Pangram, comme vous l’aviez si bien dit, ont conclu à une forte probabilité de génération par IA. Or, le même outil a également attribué un score de 88 % à des extraits de la Bible, bien que ces textes soient antérieurs de plusieurs siècles à l’apparition de l’intelligence artificielle. Face à de tels résultats, qui faut-il croire : le détecteur ou l’auteur qui affirme ne pas avoir utilisé l’IA ?
Paul Arnaud Déguénon : La question ne devrait pas être celle-là à mon avis. Ce n’est pas un duel entre une machine et un homme. Un score est un indice, pas un verdict, et une dénégation n’est pas une preuve non plus.
Sur l’argument de la Bible, le chiffre de 88 % attribué à Pangram me parait très biaisé, car de très courts extraits de textes anciens, très présents dans les données d’entraînement des IA, peuvent être classés « IA » par certains détecteurs, mais pas par Pangram. D’ailleurs, des Décrypteurs de Radio-Canada ont soumis des chapitres entiers de la Bible à Pangram et le résultat est 100 % humain. Le même test sur des romans français classiques, sur six autres livres en lice pour le Goncourt et sur huit livres d’auteurs d’origine haïtienne donne aussi « humain » partout. Cet argument affaiblit donc surtout les outils grossiers, et pas nécessairement Pangram.
L’explication du style caribéen est elle aussi fragile. Karpinska note que le texte, une fois traduit en anglais, est toujours jugé IA, alors que des textes humains traduits de la même manière ne le sont pas.
Pour autant, je reste prudent dans l’autre sens. Le score porte sur des extraits, pas sur la fabrication du livre. Le professeur Yves Deville, de l’UCLouvain, rappelle que ce type de score peut être très sensible au style d’un auteur plutôt qu’à l’origine réelle du texte. D’ailleurs, l’auteur affirme de son côté avoir terminé un premier manuscrit en 2019, avant que ces outils n’existent, et ses deux éditeurs contestent tout usage de l’IA.
Ma position est donc la suivante. Présomption d’innocence, mais la charge de la démonstration doit porter sur le processus. Des résultats concordants sur des centaines de pages justifient une vérification sérieuse, et ce n’est pas un logiciel qui la fera, mais plutôt un manuscrit daté, des versions successives, les échanges avec l’éditrice.
Il faut aussi rappeler que les reprises de textes anciens révélées par la presse canadienne sont un dossier distinct, qui ne prouve rien sur l’IA. Et je trouve préoccupant qu’un compte anonyme de quelques dizaines d’abonnés puisse, en quelques heures, faire chuter un livre sur la base d’un score. L’Académie Goncourt a retiré le roman pour préserver l’intégrité du prix. On peut comprendre cette prudence, mais elle a été prise avant que quiconque ait pu examiner le processus d’écriture.
Afrik.com : Comment l’édition devrait-elle encadrer l’usage de l’IA par les écrivains ?
Paul Arnaud Déguénon : Il faut nuancer les choses, car mettre dans le même sac un correcteur orthographique et un roman généré n’a aucun sens. Personnellement, j’imagine une échelle à quatre niveaux : d’abord l’assistance technique (correction, mise en forme, traduction de confort), ensuite l’assistance intellectuelle (documentation, recherche d’idées, élaboration de plans), puis la réécriture substantielle de passages, et enfin la génération de passages, voire de l’œuvre entière.
Les deux premiers niveaux sont largement admis. Le label « Human Authored » de l’Authors Guild américaine accepte l’IA pour l’orthographe et la grammaire, et ne disqualifie pas un livre pour la recherche, le brainstorming ou l’élaboration d’un plan. À partir du troisième niveau, la transparence devrait devenir obligatoire.
La Belgique propose un modèle intéressant. Sa Charte IA, adoptée par les auteurs, éditeurs, libraires et bibliothécaires, repose sur la transparence et l’authenticité. Elle n’interdit pas de publier un texte généré par IA, à condition que cela soit dit. L’éditeur décide en connaissance de cause, le lecteur aussi.
Concrètement, je recommanderais une clause de déclaration d’usage de l’IA dans les contrats d’édition, la conservation des versions successives du manuscrit, et des règles de prix littéraires publiées à l’avance, avec déclaration sur l’honneur et droit de réponse avant toute sanction. La déclaration seule ne suffit pas, car le Label Création Humaine indique qu’environ 5 % des demandes de certification révèlent la présence d’IA à l’examen. Il faut donc un contrôle qui mêle outils et jugement humain, sans jamais faire d’un détecteur le seul juge.
Afrik.com : L’IA est-elle une menace pour la création littéraire ou un nouvel outil ? Quelles règles de transparence ?
Paul Arnaud Déguénon : Les deux, et il faut assumer cette ambivalence.
La menace est réelle, mais elle ne se trouve pas forcément là où on la cherche. Elle vient d’abord de l’inondation des plateformes par des titres produits en masse. La directrice de l’Authors Guild parle de titres générés par IA qui submergent les plateformes et mettent les auteurs sous pression. Elle vient aussi de l’usurpation du nom d’auteurs et de l’utilisation d’œuvres sans consentement pour entraîner les modèles. Et elle touche à la confiance, car un simple doute peut suffire à ruiner un livre et son auteur, comme on vient de le voir.
L’IA est aussi un outil réel, pour documenter, structurer, débloquer un plan ou traduire. Cela compte particulièrement pour des auteurs éloignés des circuits éditoriaux, notamment en Afrique francophone, où l’accès à un relecteur ou à un éditeur reste inégal. Mais elle ne remplace pas ce qui fait la valeur d’une œuvre, c’est à dire une voix, une expérience vécue, une prise de risque. Yves Deville relève d’ailleurs que les romans entièrement écrits par IA proposés sur des plateformes comme Amazon n’ont pas rencontré, jusqu’ici, un succès comparable.
Pour préserver la confiance des lecteurs, je proposerais cinq règles :
- Une mention d’usage de l’IA dans le paratexte (page de garde, colophon, quatrième de couverture), avec des niveaux clairs. Des chercheurs y voient déjà les prémices d’un paratexte amendé.
- Des labels vérifiables dans les deux sens : « création humaine » et « assisté par IA ».
- Une traçabilité éditoriale : versions du manuscrit conservées, échanges consignés.
- Des règles de prix littéraires connues à l’avance.
- La présomption d’innocence et un droit de réponse avant toute sanction publique, les détecteurs servant de point de départ à une enquête et jamais de verdict.
La confiance des lecteurs ne viendra pas d’une interdiction de l’IA, mais de l’honnêteté sur la façon dont un livre a été fait.
Afrik.com : Monsieur Paul Arnaud Déguénon, merci d’avoir accepté de répondre à nos questions et d’avoir apporté ces éclairages sur les enjeux liés à l’intelligence artificielle et la création littéraire.
Paul Arnaud Déguénon : Je vous remercie pour l’invitation et pour l’intérêt porté à cette question. Ce fut un plaisir d’échanger avec Afrik.com sur un sujet qui concerne de plus en plus de créateurs africains.
