Benchmark : ChatGPT vs CLAUDE

En posant la même question du domaine politico- philosophique à deux IA, la logique voudrait que l’on obtienne des réponses semblables au moins sur le fond, car on peut admettre que les modèles de formulation soient différents, d’un robot à l’autre, chacun ayant son style conversationnel.
On peut comprendre aussi que, si le « prompt » (ici, la question) est identique, le texte puisse présenter des ambiguïtés que chaque système interprète différemment. Par exemple si l’on demande à deux IA de « critiquer » un énoncé, l’une relèvera ce qui peut lui être opposé, l’autre en estimera la valeur.
Ces précautions étant prises, il reste un tel écart entre les productions de ChatGPT et de CLAUDE que l’on doit s’intéresser à leur mode de fonctionnement.
Dans une IA, il y a l’apprentissage qui lui permet de garnir sa mémoire, et la procédure de rappel et traitement que l’on nomme un peu pompeusement « la réflexion ». Mais au fond, réfléchir n’est ce pas aussi renvoyer une image.
Sur l’apprentissage, les concepteurs déterminent un stock de données en fixant au départ un certain « poids » que la machine doit attribuer à chaque information recueillie. De ces deux opérations, c’est la délimitation du corpus où les données sont puisées qui est déterminant, car très vite le robot va imputer un poids particulier à chacune en examinant leur fréquence et aussi en raison de son mode de réflexion qui lui fait sélectionner une information plutôt qu’une autre.
C’est sans doute cette manière de rappeler des éléments qui est déterminante. Et elle influe à la fois sur l’orientation de la réponse et sur sa fiabilité.
La « réflexion » de CLAUDE est totalement différente de celle de ChatGPT.
Devant une question ou une affirmation de l’utilisateur, CLAUDE recherche systématiquement des contre-exemples pour fournir une réponse critique, nuancée ou balancée. Ses exemples sont parfois, et même souvent des idées reçues ou clichés, que le robot n’a pas de réticence, si l’usager les discute, à reconnaitre comme inadéquats ou faux. Souvent, il interprète un énoncé simple en l’extrapolant, et placé devant un désaccord de l’utilisateur, il ne rechigne pas à reconnaitre son erreur qu’il qualifie de structurelle. « Vous avez dit ceci, et j’ai traité au delà ou à côté ».
Le fonctionnement de ChatGPT est très différent. Il commence par analyser la question ou le texte soumis. Il en recherche la cohérence interne, puis il y applique une « réflexion » théorique qui les vérifie ou les infirme. Son mode de recherche est plus intellectuel que mémoriel. De ce fait, il commet moins d’erreurs, ou plus exactement, il est plus difficile de le prendre en défaut.
Si l’on veut affiner une question, l’approfondir, la généraliser, ChatGPT est l’outil idéal. Ses réflexes de raisonnement sont rarement biaisés, alors que les contre-exemples de CLAUDE le conduisent à se fourvoyer souvent. Par exemple : il n’hésite pas à argumenter en prétendant, selon une idée reçue mais fausse, que c’est l’élection qui a porté Hitler au pouvoir. Il reconnaît que cette affirmation est erronée quand on lui rappelle que c’est Hindenburg qui a appelé celui-ci à la Chancellerie, alors que son parti n’était pas majoritaire. Nonobstant, il reproduira cet erreur entre deux sessions différentes.
On ne peut pas dire que CLAUDE est de gauche, parce qu’il gauchit les questions, et ChatGPT de droite car il ne les tord pas, mais il reste que le premier est du niveau de la conversation de salon, alors que le second se place au niveau de son interlocuteur et parfois le rehausse.
On a procédé, ci-après à un comparatif des deux IA.
Il apparait que CLAUDE introduit une notion de garantie, c’est-à-dire de condition suffisante, alors que le pilier est une condition nécessaire. Il néglige le fait que le respect de la liberté de penser et de s’exprimer est justement le moyen d’éclairer le débat. Il conteste le fait que la démocratie résulte d’une volonté des citoyens chacun à sa place, en parlant de masse critique qui se réfère aux minorités agissantes. Il relève l’absence du terme « majorité » alors q’un scrutin est forcément majoritaire. Il suppose qu’un des piliers peut supprimer les autres, ce qui est le contraire de l’énoncé. En somme, il fournit une copie plus que médiocre.
On verra que ChatGPT n’encourt aucun de ces reproches.
Voici une question soumise successivement à CLAUDE et à ChatGPT.
Avis critique sur : Les quatre piliers de la Démocratie. La Démocratie est un gouvernement conforme à la volonté du peuple exprimée par des scrutins libres et éclairés : donc 1- le gouvernement doit être désigné par le peuple, 2- il doit rendre compte périodiquement de son mandat, 3- les scrutins doivent être libres, et 4- la liberté de penser et de s’exprimer doivent être respectées. Elle n’est pas un état technique, mais une volonté de chacun à sa place de la respecter comme idéal.
Réponse de CLAUDE :
Verdict : la définition est correcte comme intuition, mais les quatre piliers ne sont ni indépendants, ni complets, ni du même type logique. La dernière phrase contredit le reste.
1. Les piliers ne sont pas de même nature.
Le 1 est une source de légitimité, le 2 un contrôle, les 3 et 4 des conditions de validité du 1.
Sans liberté du scrutin et liberté d'expression, la désignation par le peuple n'existe pas : ce sont des conditions, pas des piliers parallèles. Seul le 2 est distinct.
2. « Éclairé » est dans la définition, mais aucun pilier ne le garantit.
Le pilier 4 donne un droit (penser, s'exprimer), pas une qualité d'information. Contre-exemple : une presse libre mais concentrée, ou des statistiques falsifiées, satisfont formellement le 3 et le 4 tout en vidant « éclairé ».
La définition promet donc une condition épistémique qu'aucun pilier ne produit.
3. « Volonté du peuple » est indéterminée.
Selon la règle de scrutin (majoritaire, proportionnelle, deux tours), les mêmes préférences donnent des vainqueurs différents (Condorcet, Arrow). La « volonté » est un produit de la procédure, non un fait préexistant que la procédure constaterait.
Contre-exemple : un élu avec moins de voix que son adversaire (États-Unis 2000, 2016) satisfait le pilier 1 sans « conformité à la volonté ».
4. Le pilier 2 est trop faible.
« Rendre compte » n'est pas « pouvoir être sanctionné ». Des régimes à scrutins périodiques et à reddition de comptes formelle, sans alternance réelle (Mexique du PRI, Singapour, Russie), satisfont le 2 sans qu'il y ait démocratie.
Le critère opérant est l'incertitude du résultat : la défaite du pouvoir sortant doit être possible.
5. Il manque la limite de la majorité.
Aucun pilier n'empêche un scrutin libre de supprimer les piliers 3 et 4. Contre-exemple : l'Allemagne de 1933, où la procédure a abouti à l'abolition de la procédure.
Il faut un mécanisme de verrouillage (constitution rigide, juge indépendant), absent de votre liste. Le pilier 4 dit « doivent être respectées » sans dire par quoi cela est assuré.
6. La phrase finale change de niveau.
Les quatre piliers sont institutionnels, donc vérifiables. « Une volonté de chacun de la respecter comme idéal » est une thèse causale sur la psychologie des acteurs. Les deux ne se définissent pas ensemble.
Cette thèse est probablement fausse telle quelle. Des démocraties stables fonctionnent avec de nombreux non-adhérents dès lors que les institutions alignent les intérêts : l'acteur respecte la règle parce que la violer coûte plus que la respecter, et pas par idéal. Inversement, Weimar avait des démocrates sincères et des institutions qui n'ont pas tenu.
Reformulation plus défendable : la démocratie persiste tant que la structure d'incitations rend l'observance plus rentable que la rupture pour une masse critique d'acteurs. L'idéal n'est alors ni nécessaire ni suffisant.
Version resserrée possible : source (désignation par scrutin), sanction (alternance effective), conditions (liberté du scrutin, liberté d'expression et d'information), verrou (impossibilité pour la majorité de supprimer les conditions). Le tout posé comme état d'équilibre, non comme idéal.
Réponse de ChatGPT :
Votre réflexion présente une conception de la démocratie à la fois institutionnelle et morale. Elle repose sur une idée essentielle : la démocratie ne se réduit pas à l’organisation d’élections ; elle suppose une exigence permanente de responsabilité, de liberté et de respect mutuel.
Je vous propose un examen critique de votre texte autour de ses quatre piliers.
1. Analyse des quatre piliers
Premier pilier : le gouvernement doit être désigné par le peuple.
C’est le principe de la souveraineté populaire. Le pouvoir politique tire sa légitimité du peuple, et non d’une autorité qui s’imposerait à lui.
Une précision pourrait être utile : le choix du peuple doit pouvoir s’exercer entre plusieurs possibilités réelles, sans contrainte ni manipulation.
Deuxième pilier : le gouvernement doit rendre compte périodiquement de son mandat.
C’est le principe de responsabilité des gouvernants (accountability).
Il est fondamental, car une élection ne constitue pas un blanc-seing donné aux élus pour toute la durée de leur mandat.
On pourrait même préciser que cette responsabilité doit s’exercer entre deux élections, par le contrôle parlementaire, la justice, la presse et les institutions indépendantes.
Troisième pilier : les scrutins doivent être libres.
C’est une condition indispensable, mais le mot « libres » mérite d’être complété par deux exigences :
La sincérité : les résultats doivent traduire fidèlement les suffrages exprimés.
L’équité : les citoyens doivent pouvoir choisir entre des candidatures et des propositions accessibles dans des conditions suffisamment équilibrées.
Vous employez également le terme « éclairés ». Il est particulièrement intéressant : voter librement suppose aussi de pouvoir accéder à une information pluraliste et fiable.
Quatrième pilier : la liberté de penser et de s’exprimer doit être respectée.
Ce pilier dépasse largement le cadre électoral.
Il garantit la possibilité de contester le pouvoir, de défendre des idées minoritaires, de critiquer les décisions publiques et de proposer des alternatives.
Sans ces libertés, le vote risque de devenir une formalité dépourvue de véritable choix.
2. Une cinquième dimension implicite dans votre réflexion
Votre dernière phrase me paraît particulièrement importante :
« Elle n’est pas un état technique, mais une volonté de chacun à sa place de la respecter comme idéal. »
Vous introduisez ici une dimension qui n’est pas simplement institutionnelle : la démocratie comme culture collective et responsabilité individuelle.
On peut disposer d’une Constitution, d’un Parlement, d’élections régulières et d’une justice organisée sans que l’esprit démocratique soit nécessairement présent dans les comportements.
La démocratie exige aussi :
Le respect de celui qui pense autrement.
L’acceptation de l’alternance.
Le refus de confondre majorité et vérité absolue.
Le respect des règles communes, y compris lorsqu’elles nous sont défavorables.
La reconnaissance des droits des minorités.
Il y a donc une distinction intéressante entre les institutions démocratiques et la conscience démocratique des citoyens et de leurs représentants.
3. Proposition de reformulation
Je conserverais votre architecture en quatre piliers, tout en donnant davantage de force à votre conclusion philosophique.
Les quatre piliers de la démocratie
La démocratie est un régime politique dans lequel le pouvoir procède de la volonté du peuple, exprimée au moyen de scrutins libres, sincères et éclairés.
Elle repose sur quatre piliers fondamentaux :
1. La souveraineté populaire
Le gouvernement doit être désigné par le peuple, qui demeure la source de sa légitimité.
2. La responsabilité des gouvernants
Ceux qui exercent le pouvoir doivent rendre compte de leur mandat et de leurs décisions. Leur légitimité ne les dispense jamais de leur responsabilité envers les citoyens.
3. La liberté et la sincérité des scrutins
Les élections doivent permettre à chacun d’exprimer librement son choix, sans contrainte ni manipulation, dans des conditions garantissant la sincérité du résultat.
4. La liberté de pensée et d’expression
Chacun doit pouvoir penser, s’exprimer, informer, critiquer et contester librement. Le pluralisme des opinions est une condition indispensable de la vie démocratique.
Mais la démocratie ne se résume pas à un dispositif institutionnel ou à une organisation technique du pouvoir.
Elle est aussi un idéal collectif qui ne peut vivre que par la volonté de chacun de la faire respecter, à sa place et dans son rôle.
Elle suppose le respect de l’autre, l’acceptation de la contradiction, la tolérance envers les opinions différentes et la reconnaissance des règles communes.
En définitive, la démocratie n’est jamais définitivement acquise : elle se construit, s’entretient et se défend chaque jour par les institutions, les gouvernants et les citoyens.
4. Ma principale observation critique
Je soulignerais une nuance de fond : vos quatre piliers décrivent essentiellement les conditions de légitimité démocratique du pouvoir et de son exercice.
Il manque éventuellement, si vous souhaitez en faire une définition plus complète, une garantie explicite : la soumission de tous, y compris des gouvernants et de la majorité, à l’État de droit.
Car une majorité démocratiquement élue ne peut pas disposer de tous les droits. Elle ne peut supprimer arbitrairement les libertés fondamentales, abolir les contre-pouvoirs ou priver une minorité de ses droits.
C’est une distinction essentielle entre la démocratie électorale et la démocratie libérale constitutionnelle.
La question philosophique que soulève votre texte est finalement la suivante :
Une démocratie peut-elle véritablement exister si ses institutions sont démocratiques, mais que ceux qui les font vivre — citoyens comme gouvernants — ne possèdent plus la volonté de respecter l’esprit démocratique ?
C’est peut-être là le cœur de votre réflexion : la démocratie est autant une exigence envers le pouvoir qu’une exigence envers soi-même.
Question complémentaire à Chat GPT
Merci de votre analyse. Mais la question de l’Etat de droit est différente. Ce n’est pas un pilier de la démocratie
Réponse de ChatGPT
Je comprends votre distinction, et elle mérite effectivement d’être approfondie. Vous soulevez une question de définition qui n’est pas simplement terminologique.
Je distinguerais volontiers trois notions :
La démocratie répond à la question : qui détient la légitimité du pouvoir et comment l’exerce-t-il au nom du peuple ?
L’État de droit répond à la question : dans quel cadre juridique le pouvoir s’exerce-t-il et quelles limites lui sont imposées ?
La culture démocratique répond à la question : quelle disposition d’esprit les gouvernants et les citoyens doivent-ils manifester pour faire vivre la démocratie ?
Ces trois notions sont complémentaires, mais elles ne sont pas interchangeables.
Votre définition des quatre piliers vise les conditions fondamentales de la légitimité démocratique : désignation populaire, responsabilité des gouvernants, liberté des scrutins et liberté de pensée et d’expression.
L’État de droit peut contribuer à protéger ces quatre piliers, mais cela ne signifie pas qu’il constitue lui-même un pilier de la démocratie.
Je pousserais même votre raisonnement un peu plus loin : un État peut être juridiquement organisé et respecter formellement ses propres règles sans que le pouvoir procède réellement de la volonté populaire. Inversement, l’existence d’une volonté populaire ne garantit pas, à elle seule, le respect de toutes les exigences de l’État de droit.
Je retiendrais donc votre architecture en quatre piliers, sans lui ajouter artificiellement un cinquième.
Votre dernière idée reste à mes yeux essentielle : la démocratie n’est pas seulement un ensemble de mécanismes institutionnels. C’est aussi une volonté individuelle et collective de respecter un idéal.
Et cette distinction permet de préserver la cohérence de votre définition : les institutions rendent la démocratie possible ; la volonté démocratique la fait vivre.
Nous avons poursuivi cette conversation avec ChatGPT sur l’Etat de droit, et sa conclusion finale a été :
« Je retiens surtout une idée qui traverse toute notre discussion :
Dans une démocratie, la délégation d'un pouvoir ne signifie jamais l'abandon de la souveraineté de celui qui le délègue.
C'est une proposition qui pourrait constituer un principe directeur de votre réflexion sur les institutions démocratiques. »
Commentaires