La nostra agenzia deployerà AI self-hosted con open webui e rag

Hai bisogno di un assistente AI che funzioni sulla tua infrastruttura, con i tuoi documenti?

WZ-IT deploya stack di LLM e RAG self-hosted per aziende che non possono inviare dati interni a un API statunitense. Open WebUI come interfaccia, LiteLLM come gateway, Qdrant o pgvector per il retrieval, Langfuse per tracing e controllo dei costi.

In base all'ambito, copriamo:

- Open WebUI con SSO, gruppi di utenti e accesso ai modelli per team

- Gateway LiteLLM: un'API per modelli locali ed esterni, budget per team

- inferenza vLLM o Ollama, dimensionata in base al budget GPU o CPU

- pipeline RAG: ingestion, chunking, embeddings, Qdrant o pgvector

- retrieval consapevole delle permissioni, così gli utenti vedono solo i documenti a cui hanno accesso

- Langfuse per tracing, valutazione e costi per team

- deployment sul tuo server GPU, cloud europeo o on-premises

La parte più difficile non è la finestra di chat. È far sì che il retrieval rispetti le permissioni già in atto e conoscere il costo mensile reale.

Inizia con la consulenza: un'ora con entrambi i fondatori di WZ-IT, più una raccomandazione scritta che conservi comunque. Tutto il resto più grande viene quotato come offerta personalizzata, in base a ciò che ti serve davvero.

Altri nostri lavori: wz-it.com