Costruirò sistemi rag locali end-to-end e chatbot

Un chatbot RAG polacco, costruito end to end, dalla raccolta degli articoli alla risposta finale con tre link alle fonti utilizzate.

La base di conoscenza è piccola appositamente: 141 articoli di aiuto. Con questa dimensione posso misurare ogni cambiamento su un set di test invece di indovinare.

La ricerca è ibrida. La corrispondenza delle parole chiave gestisce le domande in cui una parola esatta decide la risposta, la ricerca vettoriale gestisce il significato, le due classifiche vengono unite, e un cross encoder sceglie le tre migliori tra venti candidati. La precisione è 58 su 60 sul set di test.

Le domande reali arrivano con errori di battitura, quindi un correttore ortografico si trova davanti alla pipeline, protetto da un controllo di frequenza delle parole per evitare di alterare input corretti.

Il sistema sa anche quando rifiutare. Le domande fuori tema vengono eliminate facilmente prima della generazione, un secondo modello decide i casi borderline, e un controllo di copertura successivo individua risposte non basate sul testo recuperato.

Il recupero avviene localmente: embeddings, indici e il reranker sono tutti sul server. La demo pubblica chiama un modello ospitato per la generazione perché il VPS non ha GPU, ma è lo stesso codice con un file di configurazione diverso, e funziona completamente offline su Ollama.