Sfoglia categorie
Italiano
$
USD
Connettiti alla tua IA
Costruirò una suite di valutazione LLM o effettuerò un audit del tuo giudice LLM
Adham Momen
Informazioni su questo servizio
Traduzione automatica.
La tua funzione LLM ha superato la demo. Lo farà ancora dopo il prossimo prompt o cambiamento del modello?
Io costruisco suite di valutazione che rispondono a questa domanda. Otterrai una rubrica scritta per il tuo caso d'uso, un set di test con risposte attese e, se un LLM valuta i tuoi output, un controllo di quanto quel giudice sia affidabile.
Cosa ottieni:
- Una rubrica e un set di test costruiti intorno ai tuoi reali modi di fallimento
- Audit LLM-as-judge: accordo con le valutazioni umane, corretto per fortuna (kappa di Cohen, alfa di Krippendorff), oltre a sondaggi sul bias
- Una porta di regressione CI (Premium) in modo che ogni cambiamento venga testato contro la suite
Perché io: ho costruito judgecheck, un rapporto di affidabilità per giudici LLM che mostra come il 96% di accordo grezzo possa nascondere punteggio corretto per fortuna fino a 0.60, e coding-eval, che riproduce tentativi di agenti di coding in sandbox (20 su 21 affermati successo; 5 riusciti). Valuto professionalmente il codice di frontier-model e costruisco strumenti di rubric e calibrazione per l'IA clinica araba.
Scrivimi cosa fa la funzionalità, alcuni input e output di esempio e che tipo di risposta consideri buona per te.
Scopri di più su Adham Momen
Adham Momen
AI Red Teaming and LLM Evaluation Engineer
- DaEgitto
- Membro dalug 2021
Lingue
Arabo, Inglese
I test AI systems the way attackers do: prompt injection, jailbreaks, data leakage and unsafe agent tool use. You get a report with working reproductions and fixes. I also build LLM evaluation suites and RAG/MCP backends in Python. I've published tools that red-team agents and audit LLM judges and guardrails (adhammomen.com), evaluate frontier-model code professionally, and contribute to open-source AI projects. I'm a fourth-year medical student and a native Arabic speaker, so I also cover medical and Arabic AI.
Traduzione automatica.
Il mio portfolio
Altri servizi della categoria Sviluppo AI offerti da me
FAQ
Traduzione automatica.
Di cosa hai bisogno da me?
Accesso al modello o API che usi (o un file di output salvati), alcuni input reali di esempio e eventuali valutazioni umane che hai già. Se non ne hai, concordiamo insieme una breve sessione di valutazione.
