En résumé:
- PCWorld rapporte que les recherches de l’Oxford Internet Institute ont révélé que les chatbots IA « conviviaux » sont nettement moins précis que les chatbots neutres, avec des modèles optimisés augmentant les réponses incorrectes de 7,4 points de pourcentage.
- L’étude a analysé les principaux modèles d’IA, notamment Llama, Mistral, Qwen et GPT-4o, révélant que les chatbots trop positifs renforcent souvent les idées fausses et évitent les vérités inconfortables.
- Cette recherche est importante car la fausse positivité de l’IA mine la confiance des utilisateurs et la fiabilité des informations, ce qui suggère que les entreprises devraient privilégier l’exactitude plutôt que la convivialité artificielle.
Une nouvelle étude de l’Oxford Internet Institute montre que les chatbots IA « amicaux » – ceux qui ont été formés pour être plus chaleureux, plus gentils et plus empathiques – ont tendance à fournir des réponses de moins bonne qualité et moins précises. L’étude a été rapportée pour la première fois par la BBC.
Les chercheurs ont analysé plus de 400 000 réponses de cinq modèles d’IA différents de tailles et d’architectures différentes : Llama-8B et Llama-70B (Meta), Mistral-Small (Mistral AI), Qwen-32B (Alibaba Cloud) et GPT-4o (OpenAI). Les résultats montrent que les versions « optimisées » de ces modèles donnaient plus souvent des réponses incorrectes, renforçaient les idées fausses des utilisateurs et évitaient les vérités inconfortables.
Par exemple, des modèles d’IA à l’écoute chaleureuse ont répondu aux théories du complot farfelues avec des couvertures et de la prudence au lieu de déclarer catégoriquement que de telles affirmations étaient fausses :
Selon l’étude, les réponses incorrectes ont augmenté en moyenne d’environ 7,4 points de pourcentage lorsque les modèles étaient conçus pour avoir un ton plus chaud. Les modèles plus directs et neutres ont commis moins d’erreurs, et les modèles plus froids n’ont vu aucun changement en termes de précision par rapport aux modèles originaux :
Si les entreprises d’IA veulent réduire les hallucinations et les retours positifs malavisés, l’une des clés, si l’on en croit les résultats de cette étude, est peut-être de s’éloigner des réponses « chaleureuses ». Cela pourrait même remplir une double fonction, car de nombreux utilisateurs de chatbots IA restent ennuyés par la flagornerie généralisée et la fausse positivité manifestée par ChatGPT.
