Costruirò una pipeline RAG su AWS Bedrock per i tuoi documenti e dati

RAG è facile da dimostrare e difficile da mettere in produzione. La maggior parte dei progetti "chat con i tuoi documenti" si sgretolano nel momento in cui arrivano utenti reali. La retrieval restituisce frammenti irrilevanti. Le citazioni non risalgono ai documenti originali. Le finestre di contesto aumentano i costi per query. Le risposte hallucinate perché il layer di retrieval non è mai stato effettivamente ottimizzato. La demo funzionava. La produzione no.

Costruisco RAG come fanno gli ingegneri backend con qualsiasi sistema di produzione. Inizia con il vero chunking dei documenti, non con gli splitter di default. Embedding in pgvector o OpenSearch con un layer di retrieval che puoi effettivamente debug. Generazione su AWS Bedrock con modelli Claude o Titan. Tracciamento delle citazioni in modo che le risposte puntino ai documenti originali. Filtraggio dei metadati per far sì che gli utenti possano recuperare solo dai documenti a cui hanno accesso.

Ho esperienza pratica con Bedrock grazie al programma AWS AI and ML Scholars, oltre a una solida esperienza di backend di produzione da più di 4 anni di sistemi che gestiscono traffico reale. La parte interessante è il codice di retrieval e generazione. L'infrastruttura che lo circonda è quella che decide se il tuo RAG funziona davvero in produzione.

Scrivimi per dirmi cosa vuoi rendere interrogabile.