Installerò ollama e aprirò webui su vps auto-ospitato come un server AI privato e sicuro


Informazioni su questo servizio
Traduzione automatica.
Se vuoi una chat in stile ChatGPT senza inviare dati aziendali a nessuno, puoi far girare il modello sulla tua macchina. È quello che fa questa gig.
Installo Ollama con l'interfaccia Open WebUI sul tuo server, sul tuo dominio con SSL, e configuro account utente in modo che il tuo team acceda correttamente invece di condividere un link.
Quello che ottieni:
Un'interfaccia di chat privata al tuo indirizzo, modelli scaricati e pronti all'uso, e un server che si riavvia pulito e rimane aggiornato. Nel pacchetto Standard installo driver NVIDIA e CUDA se il tuo server ha una GPU, che fa la differenza tra risposte veloci e risposte lente.
Sarò onesto con te sull'hardware prima che spendi soldi. Modelli piccoli funzionano accettabilmente su CPU. Qualcosa nel range 30B ha bisogno di una vera GPU. Mandami le specifiche del tuo server e ti dirò cosa può effettivamente girare su di esso invece di venderti un pacchetto che delude.
Il pacchetto avanzato aggiunge un endpoint API che le tue app possono chiamare, e il caricamento di documenti così puoi fare domande sui tuoi file.
Scrivimi prima con le tue specifiche se non sei sicuro.
Scopri di più su Mehmud
Server and Email Migration, n8n, Docker and Self Hosted AI Setup
- DaPakistan
- Membro dagiu 2016
- Ultima consegna2 anni
Lingue
Urdu, Inglese
Traduzione automatica.
FAQ
Traduzione automatica.
Di quale server ho bisogno per questo?
Per modelli da 7B a 8B su CPU, almeno 4 vCPU e 16 GB di RAM sono un minimo praticabile. Per modelli più grandi o risposte veloci, serve una GPU NVIDIA con 16 GB o più di VRAM. Mandami cosa hai e ti darò una risposta diretta prima di ordinare.
Quali modelli puoi installare?
Qualsiasi modello della libreria Ollama: Llama, Mistral, Qwen, Gemma, DeepSeek e altri. Dimmi a cosa ti serve e ti suggerirò una dimensione adatta al tuo hardware.
I miei dati sono davvero privati?
Sì. Il modello gira sulla tua macchina e niente viene inviato a un provider esterno. Non ci sono chiavi API di OpenAI o di altri. Questo è il motivo principale per cui si preferisce l'auto hosting invece di usare un servizio ospitato.
Può usarlo tutta la mia squadra?
Sì. Open WebUI ha account utente e controlli amministrativi corretti, così le persone accedono con le proprie credenziali invece di condividere un link. Ho configurato tutto questo nei pacchetti Standard e Advanced.

