Integratorò un llm nel tuo backend Java Spring Boot o Go esistente

G
gaurav_sinha_31
G
gaurav_sinha_31
Gaurav S
Alcune informazioni sono state tradotte automaticamente.

Informazioni su questo servizio

Traduzione automatica.

Hai un servizio Spring Boot o Go che già riceve traffico, ha test e un processo di rilascio, e ora qualcuno vuole integrare l'AI. Ogni freelancer AI con cui hai parlato lavora solo con Python e vuole riscrivere il backend o aggiungere un servizio Python separato senza pianificare come gestire i fallimenti.


Sono prima di tutto un ingegnere backend. Spring Boot, Kafka, Kubernetes e Go in produzione per una delle principali banche di investimento statunitensi e un fornitore di assicurazioni negli USA - e ho integrato servizi LLM in quegli stessi sistemi live, all’interno dei loro processi di controllo delle modifiche e conformità.


Quindi posso inserire un modello nel tuo sistema senza rompere le parti che già funzionano.


COSA FACCIO

Decido se l’LLM deve essere in-process o come servizio separato, definisco il percorso di fallimento quando il modello è lento o inattivo, aggiungo timeout, retry e circuit breaker, e mantengo tutto testabile in CI senza chiamare un’API a pagamento ad ogni esecuzione.


Questa ultima parte è quella che le persone tendono a saltare, ed è il motivo per cui la loro funzione AI non può essere testata.

Scopri di più su Gaurav S

Gaurav S

Backend AI Systems Engineer

5,0(1)
  • DaIndia
  • Membro dafeb 2024
  • Tempo di risposta medio2 ore
  • Ultima consegna2 anni
  • Lingue

    Inglese, Hindi
Backend engineer with nearly four years of production experience building event-driven systems and shipping LLM-backed services into live products at a US investment bank and a US insurance provider. I specialize in what most AI work skips: putting a model inside a service that already has traffic, tests and a release process it cannot break. Retrieval quality, evaluation harnesses, defined failure behavior. Spring Boot, Go, Python, Kafka, Kubernetes, AWS, LangChain, LangGraph, RAG, vector databases, QLoRA. Available full time.

Traduzione automatica.

Il mio portfolio