Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò un sistema di valutazione LLM per il tuo agente AI o chatbot
Akash L
Informazioni su questo servizio
Traduzione automatica.
La maggior parte degli agenti AI vengono consegnati senza un numero di versione. Cambi un prompt, sostituisci un modello, aggiungi uno strumento, e nessuno può dire se sono migliorati o sono semplicemente peggiorati silenziosamente.
Io creo il sistema di valutazione che risponde a questa domanda.
Sono un ingegnere AI con 4 anni di esperienza in produzione. Sono stato l'autore unico dell'agente conversazionale dietro l'assistente integrato di una piattaforma di supply chain negli Stati Uniti, una pipeline multi-agent LangGraph su una superficie di strumenti a 125 parametri, e ho costruito il suo livello di validazione a tre passaggi: 38 campi verificati tramite enum, correzione dei valori basata su LLM e un passaggio di hallucination.
COSA OTTIENI
- Un set di test costruito dal tuo traffico reale o dalla tua specifica
- Metriche adatte al tuo caso d'uso: corrispondenza esatta, somiglianza semantica, fedeltà, precisione nelle chiamate agli strumenti, latenza e costo
- Punteggio LLM come giudice con rubriche calibrate
- Un comando che esegue la suite e produce un rapporto valutato
- Linee di base per il regression testing così puoi confrontare due versioni
- Opzionale CI gating in modo che un prompt cattivo non arrivi mai in produzione
Stack: Python, pytest, LangChain, LangGraph, OpenAI, Anthropic, Llama, Ragas, DeepEval, MLflow.
Dimmi cosa fa il tuo agente e ti dirò cosa misurerei.
Scopri di più su Akash L
Akash L
AI Engineer, LLM Agents, RAG and MLOps
- DaIndia
- Membro damar 2020
Lingue
Tamil, Inglese
AI engineer with 4 years building LLM systems that run in production, not just demos.
I was sole author of a multi-agent LangGraph assistant for a US supply-chain platform. Plain-English questions turned into validated calls across a 125-parameter tool surface. It survived a re-platform and still runs today.
I build the unglamorous parts too: RAG pipelines, tool schemas, validation that degrades gracefully instead of crashing, and eval harnesses that catch regressions before your users do.
Python, LangGraph, LangChain, RAG, FastAPI, AWS.
Tell me what you are building.
Traduzione automatica.
FAQ
Traduzione automatica.
Non ho un set di test. Puoi comunque aiutarmi?
Sì. La maggior parte dei clienti non ne ha. Ne costruisco uno dai tuoi log di produzione, dai tuoi documenti o da una specifica di cosa dovrebbe fare l'agente, e ti mostro i casi prima di valutare qualsiasi cosa.
Devo darti accesso al mio codice?
No. Il sistema può funzionare contro un endpoint API o un wrapper sottile che fornisci tu. L'accesso al repository aiuta solo se vuoi integrare direttamente il CI gating. Firma di NDA su richiesta.
Quali framework e modelli supporti?
LangChain, LangGraph, LlamaIndex, CrewAI o un'app Python semplice, che funziona su OpenAI, Anthropic, Llama o qualsiasi modello dietro un'API. Se prende testo in input e restituisce testo o chiamate a strumenti, posso valutarlo.
