MLOps @127.0.0.1 è un incontro dedicato alle tematiche del mondo MLOps, cioè l’insieme di pratiche, strumenti e tecnologie che permettono di aumentare l’automazione e migliorare la qualità dello sviluppo, esecuzione e distribuzione di modelli di Machine Learning. Si tratta quindi di un approccio che prevede una stretta collaborazione tra i team DevOps e Machine Learning.
L’appuntamento è online per Martedì 21 Maggio 2024, dalle 9 alle 13. Partecipare è gratuito.
Perché partecipare a MlOps @ localhost
L’evento è rivolto a DevOps Engineer, IT Manager system engineer, IT architect e IT manager, Cloud Engineer, Data Scientists, Data Engineer, Heads of Digital Transformation, ML Engineer e Data Engineer ed a tutte quelle persone interessate ad approfondire la conoscenza sulle pipeline di Machine Learning per progettare, distribuire e gestire flussi di lavoro dei team di data science.
A fare gli onori di casa ci sarà Serena Sensini, Enterprise Architect @ Dedalus e Founder di TheRedCode.it.
I talk di questa edizione
MLOps vs LLMOps
Alessandra Bilardi, Data & Automation Specialist @ Corley Cloud
MLOps si occupa di applicare le pratiche di DevOps al contesto del machine learning (ML), garantendo che i modelli di ML siano sviluppati, testati, rilasciati e mantenuti in modo efficace e efficiente. Ma anche LLMOps combina concetti e strumenti dell’ingegneria del software con metodologie e processi del ML per la gestione efficace dei large language model (LLM) nel ciclo di vita produttivo. Ma davvero c’è così tanta differenza tra le due metodologie tanto da doverle differenziare ? Con LLMOps parliamo di una metodica che estende quella MLOps o qualcosa di completamente differente ? Esploreremo attraverso due use case il passaggio da una metodologia all’altra per necessità, così andremo a evidenziare quando servono metodologie di MLOps e quando sono necessarie quelle di LLMOps.
Across the Pond
Michele Zanchi, Data Engineer @ Tenaris & Domenico Messina Team Leader, Senior Architect @ SIGHUP
Un case-study industriale di Tenaris che nasce dall’esigenza di erogare dei servizi basati su computer vision tramite un cluster kubernetes on-prem distribuito su più continenti. Dopo aver descritto il contesto di business in cui è nata questa necessità, il talk entrerà nel dettaglio delle modifiche all’architettura determinate dalla configurazione del “kubernetes remote worker”, dall’anatomia del deployment e dalla topologia del networking. L’intervento ha dotato il cluster, distribuito su due continenti, della capacità di gestire latenze elevate e di essere tollerante al partizionamento. In questo modo, Tenaris può garantire la continuità del servizio sia ai client d’oltreoceano, sia ai client “locali”, introducendo altresì meccanismi di failover semplici ed efficaci.
Progettazione di una piattaforma di AI ibrida conforme all’AI Act europeo: una prospettiva MLOps
Alessandro Chiarini, Senior Consultant @ BI-REX
Con l’approvazione recente dell’AI Act dal Parlamento Europeo, emerge la necessità di sviluppare infrastrutture AI che non solo rispettino i requisiti di sicurezza e trasparenza, ma che siano anche capaci di adattarsi a un contesto normativo in evoluzione. Questo lavoro descrive il design di una piattaforma AI ibrida che integra l’orchestrazione di Kubernetes per workload distribuiti sia on-prem che su cloud, ottimizzando le operazioni di bassa latenza a bordo campo (edge) e quelle computazionalmente intensive su cloud.
La nostra infrastruttura sfrutta componenti open source per la gestione del ciclo di vita dei modelli, affiancato da soluzioni proprietarie per il tracciamento avanzato e la valutazione dei modelli. Questa combinazione garantisce una governance del rischio modello conforme alle normative dell’AI Act, assicurando tracciabilità, auditabilità e mantenimento delle prestazioni dei modelli.
La presentazione risponde a domande cruciali su come costruire infrastrutture AI resilienti e conformi alle normative, offrendo insight pratici su strumenti e tecniche all’avanguardia nel campo del MLOps. Essa è particolarmente rilevante per i professionisti che cercano di navigare il complesso equilibrio tra innovazione tecnologica e conformità normativa, un tema di crescente importanza nel settore dell’AI.
Compose Gen-AI Apps: May the Force Be with Your Data and Models
Michel Murabito, Developer Advocate @Mia-Platform
Pochissimo tempo fa, in una galassia vicina vicina (praticamente qui e ora), la forza che pervade l’universo ha incontrato e connesso le architetture componibili con la Retrieval-Augmented Generation (RAG). La loro sinergia promette di rivoluzionare lo sviluppo delle applicazioni Gen-AI, trasformando mesi di lavoro in sole ore. In questo talk, esploreremo come le moderne tecnologie ML/AI, applicate a scenari reali, possono beneficiare di un approccio componibile per rispondere rapidamente a esigenze complesse con dati contestualizzati e aggiornati.
Discuteremo le sfide legate all’implementazione di queste soluzioni scalabili e il ruolo cruciale del Platform Engineering nel ridurre la complessità e accelerare l’innovazione. Esploreremo come la potenza delle architetture avanzate e delle strategie di platform engineering possano radicalmente trasformare il panorama dello sviluppo di “applicazioni intelligenti”.
Comprendere e Controllare la Dipendenza dai Large Language Models di Terze Parti attraverso il Monitoring Continuo
Marco Rossi, Head of AI @ Digitiamo
Nel contesto dinamico delle piccole e medie imprese (PMI), l’adozione di Large Language Models (LLMs) sviluppati da aziende terze è spesso essenziale per la realizzazione di molte soluzioni tecnologiche. Le PMI spesso non dispongono delle risorse economiche e intellettuali per competere efficacemente nel mercato dello sviluppo e del training di tali modelli avanzati di intelligenza artificiale. Il risultato inevitabilmente è la creazione di un rapporto di dipendenza con le decisioni di business degli sviluppatori dei modelli, influenzando così direttamente il loro prodotto finale.
Questo intervento propone di esplorare strumenti e metodologie per mitigare tale interconnessione, focalizzandosi sui tool esistenti dedicati a monitorare e valutare la qualità dei modelli LLM in modo continuo. Saranno analizzati approcci per definire e calcolare metriche fondamentali che indirizzano i problemi comuni derivanti dall’utilizzo di LLM di terze parti, tra cui:
- Valutazione della performance: accuratezza e velocità di risposta del modello, essenziali per garantire la qualità del servizio al cliente finale.
- Gestione del Data Drift e del Concept Drift: strategie per identificare e correggere le deviazioni nei dati e nei concetti appresi dal modello, assicurando che rimangano costantemente attuali e pertinenti.
- Equità e bias del modello: metodi per evidenziare bias emergenti nelle risposte dei modelli.
Questo talk mira a dotare le PMI degli strumenti necessari per un utilizzo più autonomo e consapevole degli LLM di terze parti, riducendo la loro vulnerabilità alle dinamiche di mercato e migliorando la loro competitività nel settore tecnologico. Questa presentazione è ideale per professionisti MLOps, decision makers nelle PMI, e tutti gli stakeholder interessati a comprendere come navigare con successo le sfide poste dall’uso di intelligenza artificiale in ambito aziendale.