Checklist Installation & RAG – AnythingLLM

Progression :

Attention ! Bien que les petits modèles sont jusqu'à 600 fois moins gros que ceux dans le Cloud, pour bien fonctionner, 16 Mo de mémoire vive sont recommandés.

A. Installation

Télécharger AnythingLLM Installer la version Desktop (ou Docker) Lancer l’application (elle détecte le modèle le plus adapté et le télécharge) Vérifier écran "Workspaces"

B. Configuration

Créer un Espace de travail (Workspace) Sélectionner modèle LLM (par défaut AnythingLLM -> LLM Provider -> Embedding Preference et LanceDB -> Vector Database) Cocher requête dans Mode de Chat

C. Import Document

Ajouter document (l'export MémoNotices convertit ici) Vérifier taille et format Lancer indexation (déplacer vers l'espace de travail et enregistrer)

D. Test RAG

Question avec réponse connue (cocher requête dans Mode de Chat) Vérifier citation source Question hors document

Par défaut et selon les modèles, il peut y avoir pas mal d'hallucinations. Outre le choix du LLM, mettre également la température à zéro pour éviter les bruits documentaires dus à la créativité.
C'est surtout l'aspect médidiation qui se révèle intéressant, la recherche elle-même n'est pas assez fiable en production.