Gisteren woonde ik het event Beyond Text: Multimodal LLM Integration bij, georganiseerd door VAIA - Flanders AI Academy en partners.
Het is inspirerend om de nieuwste ontwikkelingen op vlak van multimodale AI te zien, met een sterke focus op Vlaams onderzoek en toepassingen. Deze namiddag bood een mooi overzicht van hoe Large Language Models (LLMs) steeds vaker meer dan alleen tekst begrijpen: van spraak en beeld tot omgeving en gebaren, maar ook hoe dat zijn eigen set aan uitdagingen met zich meebrengt.
Hieronder enkele kernpunten die ik opstak uit de sessies:
🔹 Vlaamse AI-modellen (VLAM): Tanguy Coenen (imec) deelde hoe het VLAM-programma inzet op krachtige, cultureel verankerde foundation models voor Vlaanderen. Door open modellen te verrijken met unieke Vlaamse data (tekst, audio, video) uit onze rijke media-archieven, bouwt VLAM AI-systemen die de taal en culturele eigenheid van onze regio reflecteren. Dit strategische initiatief vormt de ruggengraat voor lokale AI-innovatie en toont hoe Vlaams AI Onderzoeksprogramma / Flanders AI Research Program streeft naar modellen die meer aansluiten bij onze context.
🔹 Evaluatie van multimodale LLMs: Matthew Blaschko (KU Leuven) toonde hoe moeilijk het is om multimodale modellen nauwkeurig te meten. Klassieke benchmarks geven vaak maar één totaalscore, terwijl je eigenlijk wil weten waar het model faalt: beeld, audio of de combinatie. Met fijnmazige tests, zoals bv. “Wat deed de persoon in de video nadat de sirene te horen was?”, wordt pas duidelijk of een model multimodaliteit écht begrijpt.
🔹 Sociale interactie met AI: Ruben Janssens (UGent, IDLab) demonstreerde hoe multimodale LLMs kunnen zorgen voor échte sociale interacties met robots. Door spraak te combineren met visuele waarneming kan een AI-systeem inspelen op non-verbale signalen en de omgevingscontext. Denk aan een robot die gezichtsuitdrukkingen en lichaamstaal mee interpreteert. Dit moet kunnen leiden tot natuurlijkere gesprekken in bijvoorbeeld educatie of zorg. Bovendien benadrukte Ruben het belang van lokale modellen voor gevoelige situaties, zodat zulke sociale robots veilig en privacybewust kunnen worden ingezet.
Dergelijke VAIA-sessies zijn voor mij persoonlijk erg waardevol. Ze zijn sterk inhoudelijk, minder commercieel gedreven, hoofdzakelijk gericht op kennisdeling en slaan een brug tussen academia en industrie, wat telkens voor nieuwe inzichten en inspiratie zorgt.
Dank aan Kevin D'hooge en het VAIA - Flanders AI Academy-team voor de uitstekende organisatie en het fijne bijpraten tijdens de netwerkreceptie!
