D'où l'IA tire-t-elle ses informations ?

Vous est-il déjà arrivé de vous gratter la tête, en vous demandant… d'où viennent toutes ces informations ? Après tout, l'IA ne fouille pas dans les rayonnages poussiéreux des bibliothèques ni ne regarde des vidéos YouTube en cachette. Pourtant, elle semble capable de fournir des réponses à tout, des astuces pour réussir des lasagnes à la physique des trous noirs, comme si elle disposait d'une mémoire inépuisable. La réalité est plus étrange, et peut-être plus fascinante, que vous ne l'imaginez. Essayons d'y voir plus clair (et, au passage, démystifions quelques idées reçues).

Est-ce de la sorcellerie ? 🌐

Ce n'est pas de la sorcellerie, même si on a parfois cette impression. En réalité, il s'agit d' une prédiction de schémas . Les grands modèles de langage (GML) ne stockent pas les faits comme votre cerveau conserve la recette de biscuits de votre grand-mère ; ils sont plutôt entraînés à deviner le mot suivant (ou token) en fonction de ce qui précède [2]. Concrètement, cela signifie qu'ils s'appuient sur des relations : quels mots vont ensemble, comment les phrases se structurent généralement, comment les idées se construisent comme un échafaudage. C'est pourquoi le résultat semble correct, même si – en toute honnêteté – il s'agit d'une imitation statistique, et non d'une véritable compréhension [4].

utile l’information générée par l’IA ? Plusieurs éléments :

• Diversité des données – puiser dans d'innombrables sources, et non dans un flux unique et restreint.

• Mises à jour – sans cycles de rafraîchissement, le contenu devient vite obsolète.

• Filtrage – idéalement, retenir les impuretés avant qu’elles ne s’infiltrent (mais soyons réalistes, ce filet a des trous).

• La vérification croisée – s’appuyer sur des sources faisant autorité (pensez à la NASA, à l’OMS, aux grandes universités), est un élément indispensable de la plupart des manuels de gouvernance de l’IA [3].

Pourtant, il lui arrive parfois de fabriquer des choses avec assurance. Ces soi-disant hallucinations ? Au fond, des absurdités savamment orchestrées, débitées sans sourciller [2][3].

Articles que vous aimeriez peut-être lire après celui-ci :

🔗 L'IA peut-elle prédire les numéros de loterie ?
Exploration des mythes et des réalités concernant les prédictions de loterie par l'IA.

🔗 Que signifie adopter une approche holistique de l'IA
Comprendre l'IA avec une perspective équilibrée sur l'éthique et l'impact.

🔗 Que dit la Bible à propos de l'intelligence artificielle ?
Examiner les perspectives bibliques sur la technologie et la création humaine.

Comparaison rapide : D’où provient l’IA 📊

Toutes les sources ne se valent pas, mais chacune a son rôle à jouer. Voici un aperçu.

L'univers des données d'entraînement 🌌

C’est la phase d’« apprentissage infantile ». Imaginez qu’on donne à un enfant des millions de livres d’histoires, d’articles de presse et d’articles Wikipédia à profusion, d’un seul coup. C’est à cela que ressemble la préformation. Dans la réalité, les prestataires combinent des données publiques, des sources sous licence et des textes rédigés par les formateurs [2].

En superposition : des exemples humains soigneusement sélectionnés - de bonnes réponses, de mauvaises réponses, des incitations dans la bonne direction - avant même que le renforcement ne commence [1].

Avertissement concernant la transparence : les entreprises ne divulguent pas tous les détails. Certaines barrières sont liées au secret (propriété intellectuelle, questions de sécurité), ce qui explique que vous n’ayez qu’une vision partielle de la situation réelle [2].

Recherche en temps réel : La garniture supplémentaire 🍒

Certains modèles peuvent désormais exploiter des données extérieures à leur environnement d'entraînement. C'est ce qu'on appelle la génération augmentée par récupération (RAG) : elle consiste à extraire des fragments d'un index ou d'un entrepôt de documents en temps réel, puis à les intégrer à la réponse [5]. Cette technique est idéale pour les données évoluant rapidement, comme les titres de l'actualité ou les cours boursiers.

Le hic ? Internet est à la fois génial et source de problèmes. Si les filtres ou les contrôles de provenance sont insuffisants, des données indésirables risquent de s’y infiltrer subrepticement – ​​précisément ce que les cadres d’analyse des risques mettent en garde [3].

Une solution courante : les entreprises connectent leurs modèles à leurs bases de données internes. Ainsi, les réponses s’appuient sur une politique RH en vigueur ou une documentation produit mise à jour, au lieu d’improviser. Résultat : moins de mauvaises surprises et des réponses plus fiables.

Mise au point : l'étape de finition de l'IA 🧪

Les modèles pré-entraînés bruts sont peu performants. Ils sont donc affinés :

• Leur apprendre à être utiles, inoffensifs et honnêtes (via l'apprentissage par renforcement à partir de la rétroaction humaine, RLHF) [1].

• Ponçage des bords dangereux ou toxiques (alignement) [1].

• Adapter son ton, qu'il soit amical, formel ou d'un sarcasme enjoué.

Il ne s'agit pas tant de polir un diamant que de canaliser une avalanche de données statistiques pour qu'elles se comportent davantage comme un interlocuteur.

Les obstacles et les échecs 🚧

Ne prétendons pas qu'il soit parfait :

• Hallucinations - réponses nettes qui sont tout simplement fausses [2][3].

• Biais - il reflète les schémas intégrés aux données ; peut même les amplifier s'il n'est pas contrôlé [3][4].

• Aucune expérience directe - il peut parler de recettes de soupes mais n'en a jamais goûté une [4].

• L’excès de confiance donne l’impression que le texte est sûr de lui, même lorsqu’il ne l’est pas. Les cadres d’analyse des risques insistent sur la nécessité de signaler les hypothèses erronées [3].

Pourquoi on a l' impression de savoir 🧠

Elle est dépourvue de croyances, de mémoire au sens humain du terme, et assurément de soi. Pourtant, grâce à la fluidité de ses phrases, votre cerveau la perçoit comme une compréhension . Il s'agit en réalité d' une prédiction massive du prochain jeton : le traitement de milliards de probabilités en une fraction de seconde [2].

L’impression d’« intelligence » est un comportement émergent que les chercheurs appellent, un peu ironiquement, l’ « perroquet stochastique » [4].

Analogie adaptée aux enfants 🎨

Imaginez un perroquet qui a lu tous les livres de la bibliothèque. Il ne comprend pas les histoires, mais il sait les réarranger pour en faire quelque chose qui sonne juste. Parfois, c'est tout à fait ça ; parfois, c'est absurde ; mais avec suffisamment de talent, on ne fait pas toujours la différence.

En résumé : d’où viennent les informations de l’IA ? 📌

En termes simples :

• Données d'entraînement massives (publiques + sous licence + générées par l'entraîneur) [2].

• Mise au point avec retour d’information humain pour façonner le ton/comportement [1].

• Systèmes de récupération lorsqu'ils sont connectés à des flux de données en direct [5].

L'IA ne « sait » rien ; elle prédit du texte . C'est à la fois sa force et sa faiblesse. En résumé ? Vérifiez toujours les informations importantes auprès d'une source fiable [3].

Références

1. Ouyang, L. et al. (2022). Entraînement de modèles de langage à suivre des instructions avec retour d'information humain (InstructGPT) . arXiv .

2. OpenAI (2023). Rapport technique GPT-4 - mélange de données sous licence, publiques et créées par l'homme ; objectif et limitations de la prédiction du prochain jeton. arXiv .

3. NIST (2023). Cadre de gestion des risques liés à l'IA (AI RMF 1.0) - provenance, fiabilité et contrôles des risques. PDF .

4. Bender, EM, Gebru, T., McMillan-Major, A., Mitchell, S. (2021). Sur les dangers des perroquets stochastiques : les modèles de langage peuvent-ils être trop grands ? PDF .

5. Lewis, P. et al. (2020). Génération augmentée par récupération pour le NLP à forte intensité de connaissances . arXiv .

Découvrez les dernières IA sur la boutique officielle AI Assistant

À propos de nous