Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Deployo e gestisco infrastrutture mlops, llm e gpu su aws e kubernetes
Senior AI DevOps Engineer: AWS, Kubernetes, API ComfyUI, DevSecOps
Ingegnere AI DevSecOps e Cloud Infrastructure, 4 anni di esperienza nella creazione di sistemi di produzione. Fornisco ciò che la maggior parte dei progetti AI manca: l'infrastruttura sottostante.
La...
Informazioni su questo servizio
Metto i modelli AI in produzione e li mantengo attivi. Uno script di training non è un prodotto. Un servizio monitorato, versionato e con autoscaling sì.
COSA COSTRUISCO
Pipeline MLOps: tracciamento con MLflow o Weights and Biases, registro dei modelli, retraining automatico e rollout sicuro
Servizio LLM: vLLM, Ollama, TGI e modelli Hugging Face dietro un'API compatibile con OpenAI
Infrastruttura GPU: AWS EC2 g5 e g6, EKS con gruppi di nodi GPU, RunPod e Vast.ai, spot instances e autoscaling per ridurre i costi
Container: Docker, Kubernetes, Helm, scheduling GPU, controlli di salute e rollout senza downtime
CI/CD per modelli e codice: GitHub Actions, Jenkins, ArgoCD e GitOps
Osservabilità: Prometheus, Grafana, tracciamento richieste, dashboard di latenza e costi per token
Sicurezza: IAM con privilegi minimi, endpoint VPC privati, gestione segreti e SSL
COSA OTTIENI
Infrastruttura funzionante, il codice Terraform o Helm che possiedi, documentazione del runbook e una call di consegna per permettere al tuo team di gestirla senza di me.
Quattro anni in DevOps e infrastrutture AI. Raccontami il tuo modello, traffico previsto e cloud, e ti farò una stima realistica del costo mensile prima di ordinare. Lavoro in orari US.
Strumenti:
Kubernetes
•
Docker
•
Amazon EKS
Framework:
Terraform
•
Ansible
Linguaggio di programmazione:
Bash
•
Go
•
Python
Expertise:
Installazione
•
Migrazione
•
Debug
Altri servizi della categoria Ingegneria DevOps offerti da me
FAQ
Traduzione automatica.
Quali modelli puoi deployare?
Qualsiasi modello aperto su Hugging Face più Llama, Mistral, Qwen, DeepSeek e i tuoi fine-tune. Per immagini e video gestisco anche Flux, SDXL e Wan. Dimmi il modello e ti confermerò il GPU necessario.
Ho bisogno di un mio account cloud?
Sì, ed è voluto. Tutto gira nel tuo account AWS, GCP o RunPod così possiedi l'infrastruttura e controlli la fatturazione. Lo configuro e te lo consegno.
Quanto costerà al mese?
Dipende dalla dimensione del modello e dal traffico. Prima di ordinare ti do una stima: tipo di GPU, utilizzo previsto e range mensile. Spot instances e scale to zero di solito riducono molto i costi.
Ottengo il codice Terraform e Helm?
Sempre. Ricevi l'intero repository, Dockerfile, chart Terraform o Helm e documentazione API, così tu o un altro ingegnere potete mantenerlo in futuro.
Puoi sistemare un setup esistente invece di crearne uno nuovo?
Sì. Deploy falliti, crash OOM, nodi GPU che non schedulano, bollette cloud esorbitanti e infrastruttura non documentata sono molte delle cose che faccio.
Fai LLM self-hosted on premise?
Sì. Ollama o vLLM con Open WebUI sul tuo server o workstation GPU, completamente offline, senza dati che lasciano la rete.
Quale monitoraggio ottengo?
Prometheus e Grafana con dashboard per latenza, throughput, utilizzo GPU, tasso di errore e costi per richiesta, più alert che ti avvisano prima che i tuoi utenti se ne accorgano.
Quali sono i tuoi orari di lavoro?
Sono disponibile 24/7 e lavoro secondo orari USA, quindi possiamo parlare nel tuo fuso orario. Rispondo di solito entro un'ora.
