Creerò benchmark per agent di coding AI con test e setup docker
Ingegnere del software, valutazione del coding AI, benchmark di agenti
Informazioni su questo servizio
Applicazione di testing:
Software
Dispositivo:
Linux
Il mio portfolio
FAQ
Traduzione automatica.
Cos'è un benchmark di coding-agent IA?
È un task di ingegneria del software riproducibile che verifica se un agente di coding può apportare modifiche corrette e superare i test definiti.
Puoi creare task dal mio repository esistente?
Sì, se possiedi il repository o ne hai l'autorizzazione d'uso e fornisci l'accesso necessario.
includete test automatizzati e soluzioni di riferimento?
I test sono inclusi in tutti i pacchetti. Le soluzioni di riferimento sono incluse nella Standard e Premium.
fornirete setup Docker?
Il setup basato su Docker è incluso nel Premium o può essere quotato come extra ove tecnicamente fattibile.
puoi valutare le submission dei coding-agent?
Sì, contro i test di accettazione concordati e i criteri; un rapporto di valutazione dettagliato potrebbe richiedere un'offerta personalizzata.
Il benchmark è compatibile con il mio harness di valutazione?
Posso adattarmi a un'interfaccia documentata se tecnicamente fattibile. Condividi il formato richiesto prima di ordinare.
