Costruirò un sistema di valutazione rag con metriche di qualità fondate

Realizzerò un flusso di lavoro riproducibile per la valutazione del tuo sistema di generazione aumentata da retrieval. Il lavoro può misurare la qualità del retrieval, la groundedness delle risposte e la qualità delle risposte rispetto a un set di valutazione rappresentativo.

Riceverai codice sorgente Python, gestione della configurazione, metriche chiare, un file di risultati leggibile da macchina, un rapporto sintetico sui risultati, test automatizzati per i percorsi principali e una guida all'installazione. I pacchetti Standard e Premium includono un harness riutilizzabile che può essere eseguito di nuovo man mano che cambiano i prompt, i documenti o i modelli.

Prima di ordinare, condividi l'architettura RAG, un piccolo set di domande rappresentative, i documenti di origine attesi e qualsiasi interfaccia API documentata. Usa credenziali non di produzione solo quando è richiesta un'integrazione.

Questo Gig esclude il fine-tuning del modello, il deployment in produzione, decisioni regolamentate, supporto continuo e accesso alle credenziali di produzione riservate. L'ambito viene concordato prima dell'inizio dei lavori.