Bei dieser Veranstaltung wird der erste umfassende Bewertungsrahmen für generative KI-Modelle (COMPL-AI) vorgestellt, der von Forschenden der ETH Zürich, INSAIT und LatticeFlow AI entwickelt wurde, um die Lücke zwischen den regulatorischen Anforderungen des EU AI Acts und den technischen Realitäten zu schließen. Mark Vero, Projektmitarbeiter und Co-Autor des Papiers, wird erläutern, wie das COMPL-AI-Rahmenwerk die Grundsätze und Anforderungen des KI-Gesetzes in konkrete, messbare technische Standards umsetzt, wobei der Schwerpunkt auf großen Sprachmodellen (LLMs) liegt. Mark wird auch die Ergebnisse der Bewertung von 12 hochmodernen LLMs vorstellen und dabei auf deren Mängel hinweisen, insbesondere in Bezug auf Robustheit, Sicherheit, Vielfalt und Fairness. Ziel der Veranstaltung ist, die Herausforderungen und Chancen einer Abstimmung der KI-Regulierung mit der technischen Umsetzung zu untersuchen – ein Beitrag zu den umfassenderen Bemühungen der EU, einschließlich der Ausarbeitung des Allgemeinen Verhaltenskodex für KI.
Zum Forschungspapier: COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act
Über den Referenten
Co-Autor Mark Vero promoviert am Secure and Reliable Intelligent Systems Lab (SRI Lab) unter der Leitung von Prof. Martin Vechev an der ETH Zürich. Seine Forschung befasst sich mit dem Datenschutz und der Sicherheit von LLMs, wobei der Schwerpunkt auf der Aufdeckung von Sicherheitsrisiken in benutzerseitigen Anwendungen von LLMs liegt. Seine Arbeit wurde auf Top-Konferenzen und Workshops in Spotlight- und mündlichen Präsentationen vorgestellt, hat den Privacy Papers for Policymakers Award gewonnen und wurde in internationalen populären Medien vorgestellt. Vor seinem Promotionsstudium schloss er ein Masterstudium an der ETH Zürich in Elektrotechnik mit Auszeichnung ab.
Initiative Max Planck Law Tech & Society