Integratorò un llm nel tuo backend Java Spring Boot o Go esistente


Informazioni su questo servizio
Traduzione automatica.
Hai un servizio Spring Boot o Go che già riceve traffico, ha test e un processo di rilascio, e ora qualcuno vuole integrare l'AI. Ogni freelancer AI con cui hai parlato lavora solo con Python e vuole riscrivere il backend o aggiungere un servizio Python separato senza pianificare come gestire i fallimenti.
Sono prima di tutto un ingegnere backend. Spring Boot, Kafka, Kubernetes e Go in produzione per una delle principali banche di investimento statunitensi e un fornitore di assicurazioni negli USA - e ho integrato servizi LLM in quegli stessi sistemi live, all’interno dei loro processi di controllo delle modifiche e conformità.
Quindi posso inserire un modello nel tuo sistema senza rompere le parti che già funzionano.
COSA FACCIO
Decido se l’LLM deve essere in-process o come servizio separato, definisco il percorso di fallimento quando il modello è lento o inattivo, aggiungo timeout, retry e circuit breaker, e mantengo tutto testabile in CI senza chiamare un’API a pagamento ad ogni esecuzione.
Questa ultima parte è quella che le persone tendono a saltare, ed è il motivo per cui la loro funzione AI non può essere testata.
Scopri di più su Gaurav S
Backend AI Systems Engineer
- DaIndia
- Membro dafeb 2024
- Tempo di risposta medio2 ore
- Ultima consegna2 anni
Lingue
Inglese, Hindi
Traduzione automatica.
Il mio portfolio
Altri servizi della categoria Sviluppo AI offerti da me
FAQ
Traduzione automatica.
Il mio backend non è Java o Go.
Scrivimi. Posso anche lavorare con Python e Node - i nomi Java e Go sono usati perché sono le combinazioni che quasi nessun altro offre.
Dovrai cambiare la mia architettura?
Di solito non lo faccio. Ti dirò prima di iniziare se penso che qualcosa debba cambiare, e perché.
Come posso testare una funzione LLM?
Mockato al limite per CI, più una piccola suite di valutazione eseguita separatamente contro il modello reale. Entrambi sono inclusi dalla versione Standard in su. Questa è la cosa più comune che i team sbagliano.
Puoi lavorare con la nostra revisione di conformità o sicurezza?
Sì. Integro funzioni LLM nel processo di revisione di una banca - sono abituato a scrivere il documento, non solo il codice.
Hai bisogno di accesso in produzione?
No, e preferirei non averlo. Un ambiente di sviluppo è sufficiente.

