Qu'est-ce que le LLM ?
Par footcow le samedi, 25 mars 2023, 01:37 - Intelligence Artificielle - Lien permanent
Le Large Margin Learning to Rank, ou LLM pour faire court, est une technique d'apprentissage automatique qui peut sembler complexe à première vue, mais qui est en réalité très utile pour améliorer les résultats de recherche sur les sites web.
Imaginez que vous faites une recherche sur Google pour trouver un restaurant à proximité. Si Google ne classe pas les résultats de recherche dans le bon ordre, vous risquez de ne pas trouver le restaurant que vous cherchez. C'est là que le LLM entre en jeu.
Le LLM fonctionne en prenant en compte plusieurs facteurs pour classer les résultats de recherche de manière plus efficace. Ces facteurs peuvent inclure des informations sur le contenu de la page, la popularité du site web et la pertinence de la recherche.
Pour classer les résultats de recherche, le LLM utilise une méthode appelée "large margin". Cela signifie que le système essaie de trouver la meilleure séparation possible entre les différents résultats de recherche, de sorte que chaque résultat soit correctement classé. Pour ce faire, il utilise des algorithmes d'apprentissage automatique pour analyser les données et trouver la meilleure méthode de classification.
En utilisant le LLM, Google peut entraîner des modèles d'apprentissage automatique qui prennent en compte plusieurs facteurs de pertinence, tels que la qualité de la page Web, l'autorité du site et la pertinence du contenu pour la requête de recherche. Ces modèles peuvent ensuite être utilisés pour classer les résultats de recherche de manière plus précise et efficace.
Le LLM est utilisé dans de nombreuses applications de recherche, notamment pour classer les résultats de recherche sur les sites web, les résultats de recherche de produits sur les sites de commerce électronique et les résultats de recherche de musique ou de films sur les sites de streaming.
Le LLM est utilisé par ChatGPT par exemple pour améliorer les performances de son modèle de prédiction de texte en classant les candidats de réponse. Concrètement, cela signifie que le LLM aide ChatGPT à sélectionner la meilleure réponse possible parmi un grand nombre de possibilités, en se basant sur des critères de pertinence.
Du point de vue technique, le LLM est mis en œuvre en créant un modèle d'apprentissage automatique capable de classer les réponses (indexation vectorielle) en fonction de leur pertinence par rapport à une question donnée. Ce modèle est entraîné en utilisant un grand nombre de données qui servent d'entraînement, qui sont fournies sous forme de paires de requêtes et de réponses. Le modèle apprend alors à attribuer un score de pertinence à chaque réponse possible pour une question donnée. Le LLM est en effet souvent utilisé avec des données vectorisées, où chaque élément est représenté par un vecteur de caractéristiques. Les vecteurs peuvent être stockés dans une base de données ou dans un système de fichiers distribué pour permettre une manipulation et un accès rapide.
Dans le cas de ChatGPT, les données d'apprentissage pour le LLM sont stockées sous forme de vecteurs représentant les caractéristiques des textes, tels que les mots, les phrases, les entités nommées et les relations syntaxiques. Ces vecteurs sont stockés dans un système de fichiers distribué tel que Hadoop ou sur une base de données distribuée telle que Cassandra.
La navigation rapide dans les milliards de données se fait en utilisant des algorithmes de recherche efficaces tels que l'arbre de recherche binaire, qui permet de diviser rapidement l'espace de recherche en segments plus petits et de trouver rapidement le vecteur le plus proche.
En fin de compte, le stockage et l'accès efficaces aux données d'apprentissage sont cruciaux pour les modèles d'apprentissage automatique tels que le LLM, car ils peuvent nécessiter des milliards de vecteurs pour atteindre un haut niveau de précision et de fiabilité.
Lorsqu'une nouvelle question est posée à ChatGPT, le modèle LLM est utilisé pour classer les réponses possibles en fonction de leur pertinence. Les réponses les plus pertinentes sont alors renvoyées à l'utilisateur.
Il convient de noter que l'utilisation du LLM par ChatGPT nécessite des ressources informatiques importantes, en raison de la complexité du modèle et de la taille des ensembles de données d'entraînement. Cependant, les avantages en termes de qualité de réponse et de pertinence pour l'utilisateur peuvent être considérables.
