ChatGPT peut-il faire de la politique ?

C’est un fait : ChatGPT s’est invité et bien installé dans les médias, les écoles, les conversations…

Et des questions nouvelles se posent quand l’Intelligence artificielle (IA) sort des systèmes experts (régulation du trafic aérien, chirurgie à distance, conduite automatique, trading…) pour gagner la vie quotidienne.

L’une des questions est celle de la valeur des productions « artificielles » par rapport aux productions « naturelles » (qui sont plutôt « culturelles »). La pratique consiste, le plus souvent, à faire produire un texte par un robot conversationnel et à l’évaluer selon les compétences d’un-e expert-e. Et ces évaluations se concluent invariablement par « c’est bluffant » ou « c’est inquiétant », parfois les deux en même temps.

On repère éventuellement les erreurs factuelles, l’incapacité à raisonner logiquement ou le peu de nuance.

On se découvre parfois incapable de distinguer une production « naturelle » et une production « artificielle ». Et on développe des réflexions sur les intérêts et les dangers que l’IA représente pour différents usagers et les conséquences pour l’évolution des pratiques professionnelles, éducatives, culturelles… On cherche également s’il n’y aurait pas des solutions d’IA pour repérer les productions d’IA.

La perspective est un peu différente ici, puisque nous avons cherché à comparer des textes produits en contextes naturel et artificiel.

Comparer le naturel et l’artificiel ?

Nous avons donc repris le corpus des programmes des candidat-e-s à l’élection présidentielle de 2022, construit avec l’aide d’Emma Recorbet,, et que nous avions analysé avec Iramuteq (revoir cette analyse). Nous avons déjà diffusé des extraits de cette analyse, et une version approfondie sera prochainement publiée avec Brigitte Sebbah dans un ouvrage coordonné par Philippe Maarek et Nicolas Pélissier (L’Harmattan, collection « Communication et Civilisation »). Voilà pour les textes « naturels ».

Pour ce qui concerne les textes « artificiels », Claire Denis s’est chargée de poser à ChatGPT les mêmes questions pour chacun-e des candidat-e-s du corpus « naturel » :

• « Quel est le programme politique de [candidat-e] ? »
• « Peux-tu développer ta réponse sur le programme politique de [candidat-e] ? ».
• « Quel est le programme électoral de [candidat-e] ? »
• « Peux-tu développer ta réponse sur le programme électoral de [candidat-e] ? »

On a pu observer que les textes étaient plus développés avec « électoral » qu’avec « politique ».

On a conservé les quatre productions pour l’analyse. Les textes ainsi produits font entre 1000 et 1600 mots. On ajoute donc ces textes aux programmes réels pour calculer une analyse des correspondances lexicales.

Des différences de style

Le graphique montre que le premier facteur (horizontal) oppose clairement les textes produits par ChatGPT (à gauche) et les programmes réels (à droite).

On pourrait en conclure que ChatGPT produit des textes qui n’ont rien à voir avec la réalité des programmes. Mais deux observations nous incitent à ne pas en rester là.

D’une part, les plus fortes contributions au premier facteur (horizontal, le plus explicatif) concernent les textes produits par ChatGPT et renvoient aux mots suivants : également, souhaiter, proposer, prôner, programme, politique, électoral, considérer, élection, noter…

Contrairement aux programmes réellement produits, et qui sont dans un style argumentatif, ChatGPT a les caractéristiques d’un discours rapporté et dans un style descriptif.

Effectivement, quand les programmes des candidat-e-s sont très variables dans leur forme, les textes produits par ChatGPT sont assez standardisés : rappel de la carrière (la troisième personne du singulier domine), exposé des principales orientations, souvent sous forme de listes à puces…

D’autre part, le second facteur (vertical) ordonne les textes de ChatGPT et les programmes réels dans deux suites très comparables (de haut en bas).

Des convergences évidentes

Pour contrôler cette différence de style et approfondir l’organisation du lexique, on peut représenter les facteurs 2 et 3.

On remarque tout d’abord le parallélisme entre les deux courbes : les textes produits par ChatGPT suivent l’ordre et la position des programmes réels en les organisant (selon un « effet Guttman ») de l’extrême gauche à l’extrême droite.

On peut donc en tirer une première conclusion : ChatGPT puise dans un lexique qui est conforme à celui qui est mobilisé par les programmes réels.

On confirme, par exemple, l’idée que les extrêmes, non seulement ne se rejoignent pas, mais s’opposent radicalement.

Ou encore que J.L. Mélenchon ne puise pas dans le lexique de l’extrême gauche.

On peut également représenter les mots qui définissent ce plan factoriel:

Les thématiques qui apparaissent sont tout à fait cohérentes avec notre analyse des programmes réels. On peut extraire les segments de textes les plus caractéristiques et les comparer à ceux des programmes réels (revoir cette analyse).

GPTArtaud

nathalie arthaud estime que l union européenne est un instrument du capitalisme qui met en concurrence les travailleurs et favorise les entreprises au détriment des travailleurs elle est donc en faveur de la sortie de l ue et de la construction d une europe des travailleurs et des peuples

GPTPoutou

2 protection sociale pour améliorer la prise en charge des soins de santé philippe poutou propose une réduction du reste à charge pour les soins dentaires optiques et auditifs ainsi qu une prise en charge à 100 des soins médicaux et paramédicaux

GPTRoussel

il propose également de créer un service public de l eau pour garantir l accès à l eau potable pour tous 4 services publics le candidat communiste veut développer les services publics notamment dans les domaines de la santé de l éducation et des transports

GPTMélenchon

il souhaite également garantir la transparence et la responsabilité des élus en limitant le cumul des mandats et en renforçant les contrôles éthiques 5 solidarité internationale enfin mélenchon défend une politique de solidarité internationale

GPTJadot

yannick jadot souhaite développer la participation citoyenne en créant des espaces de débat de consultation et de co construction avec les citoyens il propose notamment la mise en place de référendums d initiative citoyenne ainsi que la création de budgets participatifs

GPTHidalgo

en matière de logement anne hidalgo a mis en place une politique visant à augmenter le nombre de logements sociaux à paris elle a ainsi lancé un plan pour construire 10 000 nouveaux logements sociaux par an

GPTLassalle

5 défense des libertés individuelles jean lassalle est attaché à la défense des libertés individuelles notamment en matière de vie privée de liberté d expression et de lutte contre les discriminations

GPTMacron

il a proposé des réformes pour faciliter la création d entreprises et la levée de fonds 2 le marché du travail emmanuel macron a proposé des réformes pour rendre le marché du travail plus flexible et encourager l embauche en cdi contrat à durée indéterminée

GPTPécresse

en créant notamment une police régionale des transports et en développant la vidéosurveillance 4 la santé et l éducation elle propose d améliorer l accès aux soins notamment en développant les maisons de santé et les centres de santé et de renforcer l enseignement supérieur et la recherche

GPTDupont-Aignan

avec une politique d immigration choisie en fonction des besoins économiques de la france priorité à l emploi pour les français avec la lutte contre la concurrence déloyale et la délocalisation des entreprises françaises investissements dans les secteurs stratégiques pour l économie française

GPTLePen

lutte contre l immigration marine le pen souhaite limiter l immigration légale en instaurant un quota annuel pour les travailleurs étrangers les étudiants et les réfugiés elle souhaite également mettre en place une politique de préférence nationale pour l emploi en favorisant les travailleurs français

GPTZemmour

3 laïcité eric zemmour est un fervent défenseur de la laïcité il considère que l islam représente une menace pour la laïcité et la république française il prône une politique de laïcité stricte avec la fermeture des écoles coraniques et des mosquées radicales

Des politologues (et les candidat-e-s eux-mêmes ou leurs soutiens) pourraient se pencher sur les erreurs et approximations, ou sur les nuances à apporter. Mais, globalement, on peut estimer que ces segments significatifs des textes produits par ChatGPT caractérisent assez bien les candidat-e-s.

On peut alors se concentrer sur les différences entre les programmes réels et les textes produits par le robot.

Des hypothèses osées

La première différence notable concerne A. Hidalgo, dont le lexique mobilisé par ChatGPT s’organise beaucoup plus autour de son statut de Maire de Paris (Paris, logement, municipal, ville, cyclable…) que de candidate à l’élection présidentielle. Ces spécificités l’isolent un peu sur le graphique. La même observation peut être faite à propos de V. Pécresse, dont les spécificités renvoient davantage à sa présidence de région (île de France, région, transport…).

Rappelons que ChatGPT a été entraîné sur des données disponibles avant septembre 2021 et ne connaît pas, pour le moment, les actualités plus récentes. Les discours et programmes produits dans le contexte de l’élection présidentielle de 2022 ne faisaient donc pas partie de la base de données du robot au moment où nous l’avons interrogé.

Mais on pourra se poser la question de la difficulté éventuelle, pour ces deux candidates, de s’extraire de leur statut d’élues locales pour acquérir une véritable stature présidentiable. A défaut d’y répondre, ChatGPT invite à poser la question.

Une deuxième différence concerne E. Macron. L’un des enseignements de l’analyse des programmes était que le programme du président sortant, publié tardivement, mobilisait un lexique clairement identifié à droite. Mais on avait également un programme publié par « les Jeunes avec Macron » (intitulé « Parce que c’est notre projet ») et qui mobilisait un lexique plutôt socio-démocrate. Ici, ChatGPT semble attribuer à E. Macron les caractéristiques lexicales des « Jeunes avec Macron » plutôt que du programme d'E. Macron lui-même.

D’autres différences existent (notamment sur P. Poutou ou J. Lassalle) mais sont moins fortes.

On observera enfin que la ligne de ChatGPT différencie davantage l’extrême droite que celle des programmes réels sur des termes comme immigration, souveraineté, patriotisme… pour M. Le Pen ; identité, islam, radical, mosquée… pour E. Zemmour. On peut ici aussi poser des hypothèses : soit ChatGPT possède, dans sa base de données, des discours nationalistes et sécuritaires connectés à M. Le Pen ou E. Zemmour mais qui sont exagérés par rapport à ceux des candidat-e-s d’extrême droite (et ChatGPT serait "carricatural"), soit les partis d’extrême droite avaient cherché à nuancer leurs programmes pour les rendre plus acceptables, soit les autres partis de droite avaient opéré un rapprochement sensible vers les thématiques de l’extrême droite… D’autres hypothèses sont sans doute possibles.

On mentionnera toutefois une spécificité de ces textes par rapport aux autres. On a dit que ChatGPT construisait ses textes selon un format standardisé et, notamment, en terminant chacune de ses réponses par une conclusion pour clore la question. Or, pour E. Zemmour et M. Le Pen, le robot ajoute une information supplémentaire. Pour M. Le Pen, il ajoute : « De plus, certaines mesures proposées par Marine Le Pen ont été critiquées pour leur faisabilité ou leur légalité, et font l'objet de débats. ». Pour E. Zemmour la conclusion termine par : « Il est important de souligner que ces positions politiques sont controversées et ont suscité des réactions vives dans l'opinion publique. Certaines de ses prises de position ont été qualifiées de racistes et de discriminatoires par certains médias et personnalités politiques. Il est donc possible que son programme électoral soit ajusté ou modifié en fonction des débats et des critiques qui pourraient émerger pendant la campagne électorale. »

On n’a pas fini de discuter

Une fois que l’on a contrôlé l’opposition entre le discours « naturel », argumentatif, et le discours « artificiel », descriptif, l’analyse textométrique conduit à la conclusion désormais habituelle : les résultats sont « bluffants ».

Effectivement, ChatGPT a produit des textes dont les structures et distances lexicales sont tout à fait comparables aux programmes réels.

Est-ce inquiétant pour autant ?

Ici comme ailleurs, on devra toujours s’alarmer des erreurs, stéréotypes, désinformations, complotismes... véhiculés par les technologies de l'information.

Selon les hypothèses que l'on peut développer, les publications (qui se multiplient depuis quelques semaines) vont montrer, démontrer et dénoncer les dérives wokistes, gauchistes, libertariennes, sexistes, racistes... des produits d'intelligence artificielle, et parfois de façon convaincante.

On pourra aussi être tenté de contrôler, limiter, décélérer, marquer une pause, interdire…

Et on invoquera, pour cela, les dangers, surtout pour les jeunes qui seraient des réceptacles passifs et auraient moins d'expérience pour différencier le vrai du faux. Pourtant, des études récentes montrent qu'ils sont moins sensibles aux Fake-news que les adultes...

Il y a aussi des risques de « tricherie », qui feraient des élèves et étudiant-e-s des super-plagiaires, capables de produire un contenu quasiment indétectable (à l’exception de l’absence notable de fautes d'écriture!), et qui grugeraient les évaluateurs.

De toute façon, il y a fort à parier que ces outils sont appelés à s’installer durablement et confortablement. La question sera donc d’imaginer comment vivre avec eux et les maîtriser suffisamment pour produire du sens.

C’est vrai pour l’éducation. Si l’IA est déjà capable de restituer des connaissances sur à peu près tout et dans un style acceptable, il va sans doute falloir réfléchir à développer et à évaluer d’autres compétences que la mémorisation de contenus, l’organisation standardisée et l’éloquence.

C'est vrai aussi, pour certaines professions dites « cognitives », et peut-être pour la politique.

Finalement, ce que nous avons fait, c'est peut-être juste une comparaison statistique des programmes des candidat-e-s avec leurs représentations dans l'opinion, au travers des données stockées dans la base du robot.

Car ces données stockées sont des connaissances déjà produites, et même normalisées : comme le dit Maya Ackerman, professeure spécialisée dans les IA à l'université de Santa Clara : « Tout ce que les modèles font, c'est nous refléter notre monde, comme un miroir ». ChatGPT peut donc être vu comme un super moteur de recherche, qui fournit une relativement bonne rédaction de lieux communs, sans réflexion, ni analyse, ni innovation.

Toutes ces formes d’IA, qui construisent des contenus à partir de données stockées, pourraient peut-être nous amener brutalement, d’un côté à réviser notre rapport à l’information (développer l’esprit analytique, sinon critique), d’un autre côté à revaloriser l’originalité, l’intuition et la créativité (tenter d'exprimer ce qui n’a jamais été produit et stocké).

Ces enjeux représentent des évolutions de fond et des défis majeurs.

Mais peut-on les éviter ?