Disporrò di self hosted llm, rag, ollama, vllm, agent AI su vps o server gpu
Ingegnere AIOps e Linux DevOps
Livello 1
Ha soddisfatto determinati criteri di prestazione e mostra un forte potenziale nel marketplace.
Informazioni su questo servizio
671 recensioni a cinque stelle · oltre 600 ordini · più di 13 anni nell'infrastruttura di produzione
Implemento sistemi open-source di LLM e AI sui tuoi server, così smetti di pagare per token e mantieni i tuoi dati in-house.
Cosa implemento
- Ollama, vLLM, llama.cpp, OpenWebUI
- Llama, Mistral, Qwen, DeepSeek, Gemma
- RAG con Qdrant, Chroma, Weaviate, pgvector
- Agenti AI tramite n8n, LangChain, LlamaIndex
Dove lo implemento
- Il tuo VPS: Hetzner, DigitalOcean, Contabo, OVH
- Server GPU e bare metal: A100, L40S, RTX 4090
- AWS, GCP, Azure, RunPod
- Configurazioni on-premise e air-gapped
Come funziona
- Mi invii le specifiche del tuo server e il modello che desideri
- Confermo cosa il tuo hardware può realisticamente gestire
- Implemento, ottimizzo e documenti
Cosa ottieni
- Implementazione con Docker o systemd, riproducibile
- Reverse proxy Nginx con SSL e autenticazione API
- Ottimizzazione di GPU e VRAM per far funzionare il modello in modo rapido
- Monitoraggio, logging e riavvio automatico in caso di fallimento
- Documentazione consegnata a mano
Esperienza
- Organizzazione Nobel Prize, Starbucks, T-Mobile, Beasley Media
- Piattaforme che servono 45.000 utenti contemporanei a 40 Gbps
Contattami prima di ordinare e ti dirò sinceramente se il tuo hardware può gestirlo.
Strumenti:
Kubernetes
•
Docker
•
Amazon EKS
•
Google Kubernetes Engine
Framework:
Terraform
•
Ansible
•
Marionetta
Linguaggio di programmazione:
Bash
•
Python
Expertise:
Installazione
•
Migrazione
•
Debug
Il mio portfolio
FAQ
Traduzione automatica.
Di quale hardware ho bisogno per far funzionare un LLM?
Dipende dal modello. Un modello da 7B o 8B in forma quantizzata funziona su una GPU da 16GB, o anche solo con CPU e abbastanza RAM. Un modello da 70B richiede più di 48GB di VRAM o più GPU. Mandami le specifiche del tuo server prima di ordinare e ti dirò esattamente cosa funzionerà bene.
Puoi deployare sul mio VPS esistente, o ho bisogno di un server con GPU?
Entrambe le opzioni vanno bene. Modelli più piccoli e setup RAG funzionano tranquillamente su un VPS con CPU standard. Se ti servono modelli più grandi o risposte rapide, posso aiutarti a scegliere un host con GPU come RunPod, Hetzner o Lambda, oppure deployare su hardware che già possiedi.
I miei dati resteranno privati?
Sì. Tutto gira sulla tua infrastruttura. Nessun prompt, documento o embedding lascia il tuo server, ed è questa la ragione principale per cui la maggior parte dei clienti si sposta da API ospitate. Sono supportati setup air-gapped e on-premise.
2 recensioni per questo servizio
| (2) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Valutazione dettagliata
- Livello di comunicazione del venditore
- Qualità della consegna
- Valore della consegna
Ordina per
L lara_chad2

Regno Unito
Excellent service! The deployment was completed quickly and professionally. The seller understood the issue, handled the Dockerized Python AI application deployment smoothly, and kept me updated throughout the process. Everything is working as expected. Highly recommended!
50 USD
Prezzo
1 giorno
Tempo
Utile?D drezin

Stati Uniti
Collaborazione in corsoShazeb was great in understanding the problem and working to fix It. would recommend.
100 USD-200 USD
Prezzo
2 giorni
Tempo
Utile?
2 recensioni per questo servizio
| (2) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Valutazione dettagliata
- Livello di comunicazione del venditore
- Qualità della consegna
- Valore della consegna
Ordina per
L lara_chad2

Regno Unito
Excellent service! The deployment was completed quickly and professionally. The seller understood the issue, handled the Dockerized Python AI application deployment smoothly, and kept me updated throughout the process. Everything is working as expected. Highly recommended!
50 USD
Prezzo
1 giorno
Tempo
Utile?D drezin

Stati Uniti
Collaborazione in corsoShazeb was great in understanding the problem and working to fix It. would recommend.
100 USD-200 USD
Prezzo
2 giorni
Tempo
Utile?
