Creerò applicazioni desktop di ai private, on device


Level 2
Informazioni su questo servizio
Traduzione automatica.
I tuoi clienti non ti permetteranno di inviare i loro dati a ChatGPT. Capisco. Ti costruirò un'applicazione desktop per Windows che esegue un vero LLM Phi-3, Llama 3, Mistral, Qwen o Gemma interamente sulla macchina dell'utente
Nessun cloud. Nessuna API key. Nessuna perdita di dati. Niente bollette ricorrenti di OpenAI. Niente problemi con GDPR. Niente preoccupazioni HIPAA.
Sono uno sviluppatore Windows senior (oltre 13 anni) attualmente impegnato in strumenti di debug hardware presso un'azienda globale di silicio. Conosco ONNX Runtime, DirectML, accelerazione GPU/NPU e come spedire un modello da 24 GB all’interno di un installer MSIX o Inno Setup senza romperlo.
Perfetto per:
- Studi legali che gestiscono dati riservati dei clienti
- Provider sanitari (HIPAA-compliant)
- Consulenti finanziari e commercialisti
- Difesa e appaltatori governativi (ITAR, CMMC)
- Strumenti HR con PII dei dipendenti
- Qualsiasi team soggetto a GDPR, SOC 2 o regole interne di residenza dei dati
- Imprese in regioni con connessione internet scarsa
Stack tecnologico: C# / WPF/ WinUI, ONNX Runtime GenAI, llama.cpp, Microsoft.ML.OnnxRuntime, DirectML, Semantic Kernel (modalità locale), LiteDB per lo storage di vettori, packaging MSIX / Inno Setup
Requisiti hardware su cui ti aiuterò a pianificare: consiglierò specifiche minime per i tuoi utenti finali in base alla dimensione del modello
Scopri di più su Shashank
Windows Desktop Developer C Sharp, C plus plus , Python , WPF, XAML, AI
Level 2
- DaIndia
- Membro dagen 2018
- Tempo di risposta medio1 ora
- Ultima consegna3 settimane
Lingue
Inglese, Tedesco, Portoghese, Francese
Traduzione automatica.
Il mio portfolio
FAQ
Traduzione automatica.
Quanto sono buoni i modelli locali rispetto a GPT-4?
Onestamente, non sono migliori in tutto — ma sono sorprendentemente vicini per molti compiti. Phi-3-mini e Llama 3 8B gestiscono molto bene Q&A, riassunti, estrazioni e bozzetti. Per compiti che richiedono vasta conoscenza del mondo o ragionamenti complessi, i modelli cloud sono ancora superiori.
Quanto è grande l'installer finale?
Tra 2 GB e 8 GB, a seconda del modello. Uso installer che scaricano il modello al primo avvio, se preferisci un download iniziale più piccolo.
Funzionerà su un portatile di 5 anni fa?
Sì, con un modello più piccolo (Phi-3-mini, 3.8B parametri) su CPU — più lento, forse 3–6 token al secondo. Per risposte in tempo reale, si consiglia almeno 16 GB di RAM e un CPU moderno.
Può usare l'NPU su PC più recenti con Copilot+?
Sì. ONNX Runtime con DirectML può puntare sull'NPU di Qualcomm Snapdragon X e sui più recenti NPU di Intel/AMD, per inferenze molto più veloci e con minor consumo energetico.
E se voglio aggiornare il modello più tardi?
I pacchetti Standard e Premium includono un meccanismo di swap del modello, così tu (o i tuoi utenti) potete inserire un modello più nuovo o diverso senza bisogno di un nuovo installer.
Gestisci il fine-tuning?
Il fine-tuning è un servizio separato. Per la maggior parte dei casi d'uso, RAG (recupero dai tuoi documenti) ti dà lo stesso risultato pratico senza i costi e la complessità del fine-tuning. Ti consiglierò onestamente su cosa ti serve.
Puoi firmare un HIPAA BAA?
Non firmo BAAs come freelancer singolo, ma la tua app può essere progettata per essere conforme a HIPAA — ed è esattamente quello che costruisco. Spiegherò la differenza nella nostra prima chat.
E per le licenze commerciali dei modelli?
Uso solo modelli con licenze permissive (Phi-3 MIT, Llama 3 con licenza commerciale di Meta, Mistral Apache 2.0, Qwen). Ti segnalerò eventuali implicazioni di licenza prima di decidere quale modello usare.

