LangChain évalue une mémoire OpenWiki reliée aux preuves pour ses agents

Ce qui est nouveau

LangChain présente des résultats sur l’utilisation d’OpenWiki, son outil open source, comme mémoire documentaire pour agents d’intelligence artificielle. Le principe : transformer les documents en pages liées entre elles, puis permettre à l’agent de réutiliser ce contexte plutôt que de reconstruire les relations à chaque question.

Sur les questions nécessitant de croiser plusieurs documents, LangChain rapporte une exactitude environ cinq fois supérieure à celle du même agent équipé uniquement d’une recherche par mots-clés. L’ajout d’un graphe reliant les affirmations du wiki aux passages justificatifs améliore encore l’exactitude de 27 % par rapport au wiki seul.

Les détails

L’expérience porte sur 111 documents synthétiques d’assurance, avec des versions obsolètes, des contradictions et des renvois entre textes. L’évaluation s’appuie sur un référentiel de 972 faits, avec 80 questions de recherche simple et 50 questions exigeant des rapprochements entre documents. Chaque question est posée trois fois.

Le modèle, les consignes et les questions restent identiques entre les configurations comparées. Avec le graphe de preuves, le recoupement des citations d’une exécution à l’autre double selon LangChain. Cette mesure décrit la stabilité des preuves citées, pas leur justesse.

OpenWiki associe aussi les affirmations à des lignes sources et à leur empreinte numérique. Une modification permet ainsi de repérer les affirmations à réexaminer. L’outil est disponible sur GitHub.

Pourquoi c'est notable

L’intérêt mesuré concerne surtout les questions où des règles se complètent ou se contredisent entre documents ; pour les recherches simples, l’agent sans mémoire reste aussi exact et plus rapide. Ces résultats proviennent toutefois d’un test de LangChain sur un corpus synthétique : ils ne démontrent pas un gain équivalent sur des fonds documentaires réels.