Leyton est un cabinet de conseil international qui aide ses clients à identifier des leviers financiers pour accélérer leur croissance et construire un progrès durable.
Les chatbots, ou programmes informatiques conçus pour aider les utilisateurs humains, ont fait forte impression auprès des utilisateurs, soulevant des questions sur les mécanismes qui sous-tendent leur fonction. Dans cet article, nous allons nous plonger dans l’architecture et découvrir le mystère qui se cache derrière les chatbots.
Le mécanisme des chatbots
RecallM est une architecture révolutionnaire conçue pour relever le défi de la création d’un mécanisme de mémoire à long terme pour les chatbots basés sur les modèles de langage de grande envergure (LLM). Le mécanisme de mémoire à long terme idéal pour les LLM devrait permettre l’apprentissage continu, le raisonnement complexe et la capacité à comprendre les dépendances séquentielles et temporelles. RecallM vise à atteindre cet objectif en déplaçant une partie du traitement des données dans le domaine symbolique en utilisant une base de données graphique au lieu d’une base de données vectorielle. Cette approche innovante permet de capturer et de mettre à jour des relations avancées entre les concepts, ce qui est difficile à réaliser avec les bases de données vectorielles traditionnelles.
L’innovation centrale de RecallM réside dans son utilisation d’une architecture neuronale légère, temporelle, pour gérer les relations avancées entre les concepts, ce qui n’est pas réalisable avec une base de données vectorielle. Il exploite un compteur d’index temporel global pour modéliser les relations temporelles, permettant au système de comprendre le contexte temporel des informations qu’il stocke.
Qu’est-ce que RecallM ?
RecallM est équipé de deux processus principaux : la mise à jour des connaissances et l’interrogation du système. Le processus de mise à jour des connaissances consiste à extraire des concepts et des relations conceptuelles à partir de texte en langage naturel, à raciner les concepts pour éviter les doublons, et à les stocker dans une base de données graphique. Ce processus construit au fil du temps un graphe de connaissances complexe et persistant.
Dans le processus d’interrogation, RecallM utilise les étiquettes de concepts essentiels de la requête de l’utilisateur pour récupérer des contextes pertinents à partir de la base de données graphique. Il utilise un algorithme de parcours de graphe pour naviguer dans le graphe, en tenant compte des contraintes temporelles et des relations conceptuelles pour fournir une réponse complète à la requête de l’utilisateur.
De plus, RecallM introduit le concept de Hybrid-RecallM, qui combine RecallM avec une approche traditionnelle de base de données vectorielle. Cette architecture hybride tire parti des forces des deux systèmes et utilise un modèle de discrimination pour sélectionner la réponse la plus appropriée, offrant ainsi une approche équilibrée pour répondre aux questions.
RecallM a été évalué à travers diverses expériences. Il a démontré sa capacité à mettre à jour les croyances intrinsèques du LLM en ingérant des connaissances provenant de sources externes, améliorant ainsi la véracité et l’informativité des réponses. De plus, RecallM a été testé sur l’ensemble de données DuoRC pour la réponse aux questions contextuelles, obtenant des résultats compétitifs par rapport aux approches de bases de données vectorielles.
L’avenir de la technologie des chatbots
Les améliorations futures de RecallM incluent la résolution des pronoms, la mise en œuvre de mécanismes dynamiques de fenêtre temporelle pour l’interrogation, l’intégration de systèmes de raisonnement et l’amélioration de l’interaction en langage naturel. Ces avancées ont le potentiel de faire de RecallM un composant fondamental dans la modélisation de la mémoire à long terme pour les systèmes d’Intelligence Artificielle Générale (AGI).
Vous voulez en savoir plus sur les possibilités de financement pour votre projet ? Planifiez une consultation gratuite avec l’un de nos experts dès aujourd’hui !
