Impisto l'inferenza per i tuoi modelli open source

R
rickymuchiri
R
rickymuchiri
Erick
5,0
5,0
Alcune informazioni sono state tradotte automaticamente.

Informazioni su questo servizio

Traduzione automatica.

Costruirò l'inferenza per i tuoi modelli open source usando motori come TensorRT-LLM, vLLM e sGLang. Per flussi di lavoro a bassa latenza ti aiuterò a ottenere una latenza ridotta mediante metodi quali quantizzazione, compilazione del modello, batching e streaming. Imposterò anche misure di sicurezza per i tuoi endpoint di inferenza con chiavi API e supporto RAG per allegare documenti ai tuoi prompt. Questo servizio è disponibile sia on premises sia in cloud, sia su CPU che su GPU.

Scopri di più su Erick

Erick

Selfhosted solutions

4,9(10)
  • DaKenya
  • Membro daset 2022
  • Tempo di risposta medio19 ore
  • Ultima consegna3 mesi
  • Lingue

    Inglese, Swahili
I'm Erick, a Software Engineer and System Administrator specializing in self-hosted solutions. I deploy and manage secure server environments to help businesses operate independently from third-party SaaS platforms. My expertise includes Linux server administration, Docker containerization, virtualization with Proxmox, and VPN configuration using Tailscale, Wireguard and OpenVPN. I set up, troubleshoot, and optimize self-hosted services, ensuring efficient and reliable infrastructures tailored to your needs. I also provide Twilio services to help businesses efficiently reach out to customers.

Traduzione automatica.

Recensioni

1 recensioni per questo servizio
5,0

(1)
(0)
(0)
(0)
(0)
Valutazione dettagliata
  • Livello di comunicazione del venditore
    5
  • Qualità della consegna
    5
  • Valore della consegna
    5
Ordina per
Più rilevante
  • B

    benrudidi82

    CM

    Camerun

    Collaborazione in corso
    5

    for me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...

    50 USD-100 USD

    Prezzo

    4 giorni

    Tempo

    Utile?
    Sì
    No
Recensioni

1 recensioni per questo servizio
5,0

(1)
(0)
(0)
(0)
(0)
Valutazione dettagliata
  • Livello di comunicazione del venditore
    5
  • Qualità della consegna
    5
  • Valore della consegna
    5
Ordina per
Più rilevante
  • B

    benrudidi82

    CM

    Camerun

    Collaborazione in corso
    5

    for me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...

    50 USD-100 USD

    Prezzo

    4 giorni

    Tempo

    Utile?
    Sì
    No