Costruire un Agentic RAG con modelli di decisione Jev

I sistemi Agentic RAG tradizionali spesso falliscono perché non sanno distinguere tra una risposta incompleta e una mancanza totale di dati. Per risolvere questo problema, il tutorial esplora l’integrazione di modelli di decisione (come la famiglia d1 di Liquid AI) per valutare la qualità delle prove prima di generare una risposta.

Modelli di decisione e ricerca multimodale

Il cuore del sistema non è solo il recupero dei dati, ma la capacità di giudizio. Utilizzando EmbeddingGemma 2, il sistema può mappare sia testi che immagini in uno spazio vettoriale comune, permettendo di trovare risposte all’interno di diagrammi o screenshot.

Il modello di decisione d1-3B interviene in due fasi cruciali:

Reranking: Ordina i risultati recuperati in base alla pertinenza.
Answerability: Valuta se le prove contengono informazioni sufficienti per rispondere alla domanda.

Se la soglia di confidenza non viene raggiunta, il sistema può tentare una ricerca più ampia o, in caso di fallimento, scalare automaticamente la richiesta a un operatore umano.

Architettura e workflow con InsForge

Per gestire l’intera infrastruttura, il tutorial utilizza InsForge, una piattaforma open-source che unifica database (Postgres con pgvector), autenticazione e gateway per i modelli.

Ecco come funziona il flusso operativo:

Indicizzazione: I documenti (PDF, DOCX) vengono convertiti in chunk di testo e immagini renderizzate in PNG.\n2. Gate di decisione: Una funzione edge analizza la domanda e i risultati. Se il modello di decisione dà un punteggio basso, il sistema apre un ticket di supporto.\n3. Intervento umano: Gli operatori ricevono i ticket in tempo reale su una dashboard, vedendo anche i documenti scartati dal sistema. Le loro risposte possono essere salvate come nuovi dati per migliorare il sistema in futuro.

Questa architettura garantisce che l’utente riceva sempre una risposta accurata o un supporto umano tempestivo, evitando le allucinazioni tipiche dei sistemi RAG standard.