Ottimizzerò il tuo llm sui dati personalizzati con lora e qlora

Il fine-tuning vale la pena quando un modello deve parlare nel tuo dominio, seguire il tuo formato o gestire la tua terminologia in modo coerente. Non ne vale la pena quando ti basta che il modello cerchi informazioni. Ti dirò quale ti serve davvero prima che tu spenda qualcosa.

Quello che faccio:

Fine-tuning LoRA e QLoRA di modelli open: Llama, Mistral, Qwen, Gemma, Phi

Fine-tuning completo e instruction tuning quando i tuoi dati lo giustificano

Fine-tuning di OpenAI tramite la loro API

Adattamento al dominio per testi medici, legali, finanziari e tecnici

Sistemi RAG quando il retrieval è la soluzione migliore

Preparazione dei dati di training, che di solito determina il successo o il fallimento di un progetto

Pila: Hugging Face Transformers, PEFT, Unsloth, Axolotl, PyTorch, Weights and Biases per il tracking.

Ricevi i pesi addestrati ospitati dove preferisci, lo script di training con documentazione completa, i risultati di valutazione che confrontano il tuo modello tuningato con il modello di base così puoi vedere cosa è cambiato, uno script di inferenza e una guida per il retraining quando i tuoi dati crescono.

Ti servono circa 50-100 esempi per un fine-tuning leggero di OpenAI, o 500 o più per modelli open. La qualità supera la quantità, e ti aiuterò a costruire il set.