Installerò ollama e aprirò webui su vps auto-ospitato come un server AI privato e sicuro

S
ssoft786
S
ssoft786
Mehmud
Alcune informazioni sono state tradotte automaticamente.

Informazioni su questo servizio

Traduzione automatica.

Se vuoi una chat in stile ChatGPT senza inviare dati aziendali a nessuno, puoi far girare il modello sulla tua macchina. È quello che fa questa gig.


Installo Ollama con l'interfaccia Open WebUI sul tuo server, sul tuo dominio con SSL, e configuro account utente in modo che il tuo team acceda correttamente invece di condividere un link.


Quello che ottieni:


Un'interfaccia di chat privata al tuo indirizzo, modelli scaricati e pronti all'uso, e un server che si riavvia pulito e rimane aggiornato. Nel pacchetto Standard installo driver NVIDIA e CUDA se il tuo server ha una GPU, che fa la differenza tra risposte veloci e risposte lente.


Sarò onesto con te sull'hardware prima che spendi soldi. Modelli piccoli funzionano accettabilmente su CPU. Qualcosa nel range 30B ha bisogno di una vera GPU. Mandami le specifiche del tuo server e ti dirò cosa può effettivamente girare su di esso invece di venderti un pacchetto che delude.


Il pacchetto avanzato aggiunge un endpoint API che le tue app possono chiamare, e il caricamento di documenti così puoi fare domande sui tuoi file.


Scrivimi prima con le tue specifiche se non sei sicuro.

Scopri di più su Mehmud

Mehmud

Server and Email Migration, n8n, Docker and Self Hosted AI Setup

4,6(7)
  • DaPakistan
  • Membro dagiu 2016
  • Ultima consegna2 anni
  • Lingue

    Urdu, Inglese
I have been running Linux and Windows servers for 9+ years - AWS, Google Cloud, DigitalOcean and plain VPS. Most of my work is migration: moving sites and data between servers, and moving business email from one provider to another without losing mail. I also set up self-hosted automation and AI stacks - n8n, Docker, Ollama with Open WebUI - for teams who want to own their infrastructure instead of monthly SaaS bills. And I clean up hacked servers and harden them so it does not happen again. Tell me what you are running and where you want it. If it is not a job I should take, I will say so.

Traduzione automatica.