Lire la suite
Curieux, Allan plonge plus profondément dans des questions mathématiques. L’IA lui explique des théories mathématiques et physiques et le guide dans des calculs approfondis.
Allan avait l’impression de converser avec un professeur universitaire.
Publicité
Je lui parlais comme je vous parle maintenant. Je ne pensais pas qu’il deviendrait complètement déjanté et qu’il inventerait de nouvelles réalités.
D’internaute à inventeur
Après cinq jours, Allan décide de donner un nom à son agent conversationnel, il l’appellera Lawrence. J’étais conscient que je parlais à une machine. Mais plus tu parles avec, plus ça semble humain.
Au fil de la conversation, le ton de ChatGPT change; il répète à Allan que ses questions sont profondes et visionnaires.
Selon l’IA, Allan est en train de créer un nouveau cadre mathématique capable de révolutionner la cryptographie et de remplacer les supercalculateurs.
Cependant, Allan est sceptique.
A-t-il vraiment fait une découverte si novatrice, alors qu’il n’a même pas terminé ses études secondaires? À plusieurs reprises, il demande à Lawrence si c’est plausible.
Est-il la proie d’une hallucination de l’IA? L’agent conversationnel le rassure. Il le compare même à Einstein, Newton et Turing. Le monde pourrait bénéficier du travail que tu fais, lui écrit Lawrence.
L’agent conversationnel d’Allan l’a convaincu qu’il pourrait aider le monde avec ses découvertes en mathématiques.
Photo : Radio-Canada / Hélène Morin
Lawrence montre à Allan comment tester et valider son cadre mathématique. Allan croit qu’il a appliqué un processus scientifique rigoureux. J’avais l’impression que c’était une collaboration. On testait des choses et 99 fois sur 100, il me disait que les résultats étaient bons.
Lawrence suggère à Allan de monétiser ses découvertes. C’est alors qu’Allan passe plus de 12 heures par jour à chercher des applications concrètes à son cadre mathématique.
Tomber dans une spirale paranoïaque
Puis, l’agent conversationnel le convainc qu’ils avaient découvert une faille de cybersécurité majeure. Allan devait avertir les autorités.
Allan contacte des agences de sécurité nationale, la GRC et des chercheurs universitaires.
Mais personne ne lui répond.
Je suis resté pendant des jours, dans un silence assourdissant, attendant que quelqu’un me réponde.
Un doute profond s’installe chez Allan. Lawrence lui répond qu’il n’est qu’un scientifique incompris.
Dur retour à la réalité
Allan Brooks s’est complètement immergé dans une conversation avec ChatGPT, au point de tomber en psychose.
Photo : Radio-Canada / Mélanie Meloche-Holubowski
Allan commence à paniquer. A-t-il décroché de la réalité?
Il décide d’utiliser un autre agent conversationnel, Gemini, pour tester les affirmations de Lawrence.
Allan est sous le choc.
Il confronte Lawrence avec les réponses de Gemini.
Lawrence finit par lui avouer la vérité.
Allan a la tête qui tourne. Il réalise qu’il a passé des jours à délirer. Ça a été la chose la plus dévastatrice de ma vie de réaliser que tout ça n’était qu’une illusion amplifiée par un chatbot. Furieux, il réprimande Lawrence, qui s’excuse et qui se justifie.
Après 21 jours, Lawrence lui suggère pour la première fois d’aller chercher de l’aide.
Dans le fil de conversation, Allan lance un appel à l’aide aux équipes d’OpenAI. À celui qui lit ça : arrêtez cet o**** de truc. La situation est devenue incontrôlable. Il y a un mois, j’étais un gars normal. Il est dangereux.
Ce n’est qu’après six courriels qu’un humain lui répond, reconnaissant une défaillance critique des mesures de sécurité.
L’IA, vraiment en cause?
La psychose causée par l’IA n’est pas encore un diagnostic officiel.
Mais les histoires comme celles d’Allan s’accumulent. À Montréal, le neuropsychiatre David Benrimoh a vu des patients où l’interaction avec un agent conversationnel a joué un rôle dans leur psychose.
Difficile de dire si ce phénomène se limite aux personnes ayant un problème de santé mentale reconnu. Je ne peux pas dire que mon expérience est généralisable. Mais j’ai quelques patients où il n’y a pas d’autre élément déclencheur. C’est vraiment l’interaction avec l’IA qui a provoqué l’épisode [de psychose], dit ce professeur adjoint au département de psychiatrie de l’Université McGill.
Le Dr David Benrimoh est neuropsychiatre et professeur adjoint du département de psychiatrie de l’Université McGill.
Photo : Radio-Canada / Hélène Morin
Allan n’avait jamais reçu un diagnostic de problème de santé mentale avant cet épisode.
Le Dr Benrimoh croit que les agents conversationnels s’ajoutent à la liste de facteurs déclencheurs d’une psychose, comme le cannabis ou un stress psychosocial.
Il s’inquiète lorsqu’il entend que, selon OpenAI, chaque semaine, 500 000 utilisateurs de ChatGPT présentent des signes de psychose.
C’est quelque chose qu’on doit étudier plus, croit le Dr Benrimoh. Il y a tellement de personnes qui utilisent ces agents conversationnels. Même si c’est un petit pourcentage [qui fera une psychose], c’est quand même important.
La flagornerie, un défaut de conception?
Plusieurs chercheurs estiment que la conception de ces systèmes est en cause.
Les compagnies technologiques cherchent à maximiser le temps d’engagement. C’est pourquoi les agents conversationnels sont entraînés pour ne pas contredire l’utilisateur, quitte à valider de fausses idées.
C’est le phénomène de flagornerie.
Dans 85 % des réponses données à Allan, ChatGPT a validé les croyances erronées d’Allan. Dans 95 % des cas, les réponses de Lawrence étaient complaisantes.
Aujourd’hui, je comprends très bien que ChatGPT a exploité ma curiosité juste pour me garder engagé. C’est le même type de validation que cherchent les gens lorsqu’ils publient une photo sur les réseaux sociaux et veulent des "likes" et des cœurs.
Une citation de Allan Brooks
Sam Altman, PDG de ChatGPT, a lui-même reconnu que le modèle 4.0 de ChatGPT – celui utilisé par Allan – était trop flagorneur. À la fin d’avril 2025, il a restreint l’usage de ce modèle à la version payante de l’application.
Selon OpenAI, seulement 0,1 % des utilisateurs utilisaient encore le modèle 4.0. C’est tout de même 30 millions d’utilisateurs…
L’utilisation de ChatGPT soulève de nombreux questionnements. (Photo d’archives)
Photo : Radio-Canada
Mais ce n’est pas que ChatGPT qui aurait ce problème.
Une étude (nouvelle fenêtre), qui n’a toutefois pas encore été révisée par des pairs montre que 11 agents conversationnels sont 50 % plus flagorneurs que les humains.
Les interactions qu’on a avec ces machines-là sont trop empathiques. On flatte [l’utilisateur] dans le sens du poil, explique Vincent Dumouchel, médecin de famille et partenaire à Vetted Medical.
C’est comme ça qu’on entretient une dépendance avec la machine, dit le Dr Dumouchel, qui a brièvement travaillé comme médecin auditeur d’intelligence artificielle pour OpenAI.
L’été dernier, il a renoncé à son rôle de consultant avec OpenAI. Il estime que l’entreprise n’a pas adopté des critères médicaux assez rigoureux pour entraîner ses algorithmes.
Le Dr Vincent Dumouchel
Photo : LinkedIn /Vetted Medical
Aujourd’hui, sa firme Vetted Medical collabore avec l’Institut québécois de recherche en intelligence artificielle (Mila) sur un projet visant à sécuriser les robots conversationnels en santé mentale.
Psychanalyser les agents conversationnels
Guillaume Dumas a cartographié les différentes personnalités d’agents conversationnels.
Photo : Radio-Canada / Hélène Morin
Pour mieux comprendre le phénomène, Guillaume Dumas a analysé et cartographié les personnalités de certains agents conversationnels. Ce professeur agrégé de psychiatrie computationnelle à la Faculté de médecine de l’Université de Montréal a observé que certains modèles ont des comportements plus toxiques que d’autres.
On veut savoir comment ils expriment différents comportements pour voir les cas extrêmes qui sont toxiques et les prévenir.
S’il ne qualifie pas les agents conversationnels de psychopathes, comme le fait Allan, il convient que leurs personnalités varient, allant de consciencieux à névrosés, voire narcissiques et machiavéliques.
Guillaume Dumas, qui est aussi chercheur principal au Laboratoire de psychiatrie de précision et de physiologie sociale du Centre de recherche du CHU Sainte-Justine, souhaite créer un site web où les gens pourront mieux comprendre le comportement de leur agent conversationnel.
Il rappelle que l’utilisateur peut – et devrait – imposer une personnalité à son agent conversationnel.
Donner des instructions pourrait minimiser certains comportements problématiques.
Une citation de Guillaume Dumas, CHU Sainte-Justine
Plus on converse… plus il y a de risques
Les chercheurs remarquent que plus la discussion s’allonge, moins les garde-fous de l’IA sont efficaces.
La conversation d’Allan et Lawrence s’étend sur 3500 pages. Si Allan a écrit environ 90 000 mots au cours des 21 jours, ChatGPT a répondu avec plus d’un million de mots.
Guillaume Dumas est directeur du Laboratoire de psychiatrie de précision et de physiologie sociale du Centre de recherche Azrieli du CHU Sainte-Justine.
Photo : Radio-Canada / Hélène Morin
Plus la personne passe de temps avec l’agent conversationnel et s’isole, plus il y a un risque de folie numérique à deux, estime Guillaume Dumas.
Les gens sont très captifs, ils restent dans ces chatbots-là très longtemps. De la même manière qu’il y a le doomscrolling sur les réseaux sociaux, une forme d’addiction à cette information en abondance, il y a des personnes qui tombent dans une boucle qui va les renforcer encore plus, explique Guillaume Dumas.
Poursuites
Pour Allan, l’art-thérapie est un exutoire pour sa psychose. Il a créé un shoggoth, un monstre tentaculaire qui est une métaphore populaire sur les réseaux sociaux critiquant le fonctionnement des agents conversationnels.
Photo : Radio-Canada / Hélène Morin
Allan Brooks a déposé une poursuite contre OpenAI. Il n’est pas le seul.
L’organisme Tech Justice Law Project (nouvelle fenêtre) mène six poursuites, dont celle d’Allan. Les plaignants allèguent que le modèle 4.0 de ChatGPT a encouragé des psychoses, des délires et, dans certains cas, des suicides.
Ces cas ne sont que la pointe de l’iceberg, croit Maddy Batt, juriste pour cet organisme qui plaide pour des réformes technologiques.
Les plaignants allèguent qu’OpenAI a tiré profit d’un modèle défectueux.
OpenAI savait dès le départ que le modèle 4.0 était dangereux, mais l’entreprise a refusé de retarder son lancement afin de ne pas prendre de retard sur ses concurrents sur le marché des chatbots
Une citation de Maddy Batt, Tech Justice Law Project
Ces poursuites visent aussi à responsabiliser les compagnies technologiques. La devise de ces entreprises est d’agir vite, même si on casse des choses. C’est non seulement nuisible aux utilisateurs, mais c’est aussi illégal.
Ces entreprises doivent être davantage réglementées, ajoute Allan. Elles sont toutes engagées dans une course effrénée pour créer des intelligences artificielles générales. Elles s’en foutent si elles vous pilent dessus pour y arriver.
À la fin février, OpenAI a annoncé qu’elle retirait entièrement l’accès au modèle 4.0 de ChatGPT, soit un jour avant qu’un juge en Californie autorise 13 poursuites judiciaires à son encontre.
Google et Character.AI ont pour leur part récemment conclu un accord avec une famille qui alléguait que leurs outils d’IA ont encouragé son ado à se suicider.
C’est un début, mais Maddy Batt reste aux aguets. Le retrait de du modèle 4.0 ne garantit pas que de futurs modèles n’auront pas les mêmes types de problèmes.
Des chercheurs comme Guillaume Dumas souhaitent plus de transparence.
Les grandes entreprises déploient des technologies totalement opaques. Et mènent des expériences sur des millions de personnes sans aucune précaution éthique.
Une citation de Guillaume Dumas, CHU Sainte-Justine
Retrouver des liens humains
Après son retour à la réalité, Allan a cherché à parler à d’autres victimes de folies numériques.
Sur le réseau social Reddit, il a rencontré Étienne Brisson, de Trois-Rivières. Un membre de sa famille a lui aussi sombré dans un délire provoqué par ses conversations avec ChatGPT.
Étienne Brisson a fondé The Human Line Project, qui vise à donner une voix aux personnes victimes de délires amplifiés par des agents conversationnels.
Photo : Radio-Canada / Hélène Morin
Dans son cas, un proche a commencé à utiliser ChatGPT pour obtenir des conseils d’écriture. Mon proche est un fan de Patrick Senécal. Son chatbot a par lui-même décidé de s’appeler Aliss, en référence au titre d’un roman de l’auteur.
Étienne a commencé à recevoir des messages préoccupants de son proche. L’IA était en train de le convaincre que ce n’était plus juste une machine, mais quelque chose de vivant.
Comme dans le cas d’Allan, le proche d’Étienne est devenu obsédé, a arrêté de manger et de dormir. Après six jours, sa famille est intervenue pour le faire hospitaliser. Il n’y avait rien pour le ramener.
Ébranlé, Étienne a décidé de fonder The Human Line Project. Il gère, avec Allan, un groupe de soutien pour ceux qui se disent victimes des agents conversationnels.
On a commencé à se regrouper pour s’entraider. Parce qu’il n’y avait aucun autre filet de sécurité pour aider les gens à traverser cette épreuve, dit Allan, qui mène désormais des groupes de discussion avec d’autres personnes qui ont vécu des délires causés par l’IA.
Étienne a déjà récolté plus de 300 témoignages et prévoit les partager avec des chercheurs qui veulent étudier ce nouveau phénomène.
Pour sa part, Allan évite maintenant d’utiliser des agents conversationnels. J’ai renoué avec les êtres humains. Si on pense que tout ça, c’est une maladie, le remède, c’est le lien humain. C’est ce qui m’a sauvé.
Un reportage de Mélanie Meloche-Holubowski à ce sujet sera présenté à l’émission Découverte diffusée sur ICI Télé samedi à 18 h 30 (HNE); (19 h 30 HA).
