A depressing fable about how ChatGPT is corroding trust in scholarship

In preparation for next week’s keynote on generative AI and the crisis of trust, I picked up a book about trust by a philosopher, who I’ve decided not to name, when I saw it in the Tate bookshop earlier today. It began with a quote from bell hooks which caught my attention:

Trust is both a personal and a political endeavour, an affirmation of our shared humanity and our collective potential for growth and transformation. By embracing trust, by fostering connections, grounded in love and compassion, we have the power to not only change our own lives but also to reshape the world around us…

I wanted to post it on my blog, so I immediately looked for a citation. I could find no result for the exact quote but Google returned this site at the top of the list, where I found nearly the same quote:

In the end, trust is both a personal and a political endeavor, an affirmation of our shared humanity and our collective potential for growth and transformation. By embracing trust, by fostering connections grounded in love and compassion, we have the power to not only change our own lives but also to reshape the world around us, one relationship at a time.

The problem is that this site hosts imagined responses by philosophers to the question ‘what is trust?’ produced by ChatGPT. These (genuinely quite interesting) LLM outputs were posted in April 2023, only to feature in a book published in 2024. I can find no other source for the quote the author includes, other than this nearly exact quote produced by ChatGPT.

The most obvious explanation here is that they decided they want to start the book with a quote from bell hooks. They then typed in ‘bell hooks and trust’ which returns the site above as its second result. They didn’t read the introduction which explains the exercise with the LLM and instead copy & pasted the ChatGPT output into his book, without checking for the source of the citation.

The irony being that I now don’t trust the rest of the book. A philosopher writing a book about trust begins the book with such lazy scholarship that I now struggle to trust them. I hope I’m wrong. But without wishing to personalise things, I’m tempted to use this an example in next week’s keynote. It illustrate how LLMs are contributing to an environment in which lazy scholarship, cherry picking a quote from a google search, becomes much riskier given the circulation of synthetic content.

#AI #artificialIntelligence #ChatGPT #generativeAI #PascalGielen #scholarship #technology #trust #writing

For anyone wondering why #gravy has been trending: AI hucksters are trawling through your social media posts for training data and trends.

And you know what can gum up the gears of an automated sentence generator?

Posts that use the word gravy out of context.

#auspol #ChatGPT #AI #LLM

Une extension indispensable signée Next pour lutter contre la désinformation massive des IA génératives

Bonjour,

Au cours de nos revues sur l’IA, un point a vite été constaté : les IA génératives (ChatGPT et consorts) produisent énormément de contenus erronés (appelés hallucinations), ce qui peut mener à de la désinformation. Nous considérons d’ailleurs ces outils comme mauvais pour s’informer sur un sujet ou suivre l’actualité, comme dit dans les tests effectués en Mars 2025 pour savoir si on était plus efficace ou non avec une IA générative.

Si les modèles de langages utilisés ont évolué depuis, cela ne corrige pas le problème. C’est tout le contraire même, c’est de pire en pire comme constaté et partagé par OpenAI et évoqué dans cet article écrit en Mai.

On a aussi eu récemment l’audition de Luc Julia (concepteur de Siri) au Sénat affirmant que les IA ne sont pas fiables, sont de plus en plus mauvaises et qu’il est impératif de relire ce qu’elles génèrent. Ci-dessous l’extrait vidéo :

https://youtu.be/M0CrfxSqP4Q

Le plus simple serait donc de ne pas utiliser ces outils pour s’informer ou d’être très attentifs à ce qui est pondu et de vérifier ce qui est dit systématiquement.

Le problème, c’est que le contenu généré par IA gangrène le web et ne se limite plus à ces outils… On peut donc y être confronté sans forcément s’en rendre compte.

Pour prendre un exemple récent, le 12 Juin dernier un Boeing 787 s’est écrasé en Inde faisant de nombreuses victimes. Google AI Overview qui est intégrée dans le moteur de recherche Google (aux US du moins), est une IA proposant une réponse positionnée avant les résultats de recherche traditionnels. Eh bien, grâce à l’IA, le crash est devenu celui d’un Airbus A330 !

Il y a encore plus vicieux, aujourd’hui des sites sont entièrement générés par l’IA et se présentent à tort comme des sites d’information. Il est donc plus difficile de déceler le vrai du faux, surtout que certains articles sont référencés dans Google Actualités.

Heureusement, il existe des solutions pour tenter d’y voir plus clair. En dehors du fait que je déconseille fortement l’utilisation directe de l’IA pour faire de la recherche d’informations, je conseille également d’installer sur vos navigateurs l’excellente extension « Alerte sur les sites GenAI » développée par Next et disponible sur Firefox (et dérivés comme Librewolf) et Chromium (et ceux basés dessus comme Chrome ou Vivaldi).

Cette extension a pour but d’alerter si vous visitez une site généré en partie ou totalement par de l’IA. Lorsque c’est le cas, une pop-up comme ci-dessous s’affiche :

Cela permet de sensibiliser quant à la véracité du contenu et également de rappeler que bientôt, en Europe, les sites présentant du contenu généré par une IA auront l’obligation de l’afficher clairement. Une fois la pop-up fermée, le site est accessible et vous pouvez accéder au contenu si vous le souhaitez. Aucun blocage donc, juste un avertissement pour savoir dans quoi on embarque.

Personnellement, j’aime beaucoup cette extension ! Dès que je vois ce bandeau, je ne cherche pas à comprendre et je vais directement chercher l’information ailleurs vu que je n’accorde aucune confiance au contenu généré par IA et que je ne souhaite pas m’attarder davantage sur un site recourant à cela.

Et ce qui me rassure, c’est que pour le moment, je n’ai vu ce pop-up que sur des liens que l’on m’a envoyé donc mes lectures habituelles semblent bien être réalisées par des êtres humains !

Bonne découverte et utilisation 🙂

#AI #AIOverview #ChatGPT #Chromium #Copilot#Firefox #Gemini #IA #Next