Smol but Mighty: Addestra il Tuo Mini Language Model

Il workshop introduce le basi teoriche e pratiche per l'adattamento di modelli linguistici di piccole dimensioni a casi d'uso specifici. Nella prima parte verranno presentati: * un'introduzione all'architettura Transformer, * l'utilizzo dei chat template per la gestione dei prompt, * tecniche di alignment supervisionato come DPO, SFT e approcci PEFT (ad es. LoRA). La seconda parte sarà interamente pratica: i partecipanti eseguiranno un fine-tuning supervisionato su uno small language model (come SmolLM2), utilizzando strumenti open source e risorse computazionali minime (CPU o GPU), sfruttando Google Colab. Il workshop è rivolto a programmatori che sono interessati ad approfondire il tema dei modelli linguistici e a mettere le mani sul loro funzionamento su contesti con vincoli di budget e infrastruttura, senza la complessità e i costi richiesti per addestrare un modello linguistico di grandi dimensioni.

Speaker Bio:

Full Stack Developer con esperienza in contesti e settori diversi, dall'industria 4.0 al retail. Attualmente lavoro in Mònade, società che si occupa di sviluppo web e GenAI affacciata sul Lago d'Iseo.