Goedemorgen Legal People – 25 januari 2024 met sprekers:
Anny Ho – Manager Data Privacy and Protection Europe at Lucid Motors
Arash Rahmani – Board Member bij ISACA NL Chapter en nu Chief Information Security Officer (CISO) a.i. bij Nederlandse Zorgautoriteit
AI, een introductie
Arash Rahmani heeft in de afgelopen 20 jaar heel wat nieuwe technologieën voorbij zien komen. Een groot deel daarvan waren ‘shiny objects’: nieuwigheden die bovenmatig veel aandacht krijgen en een hoge hype gehalte hebben, maar niet de grote business of maatschappelijke impact hebben gehad die werd verwacht. Technologieën zoals, blockchain, big data, metaverse en VR. Daarnaast zijn er de technologieën die wel voor een paradigma shift zorgen, voor een fundamentele verandering in perspectief of benadering die leidt tot transformatie. De computer zelf bijvoorbeeld, of mobiele telefonie. De ontwikkeling die we nu meemaken is er zo een: de ontwikkeling van Artificial Intelligence (AI).
Rahmani’s eerste kennismaking met AI was in 2015 bij een project rond patroonherkenning in videobeelden. Inmiddels ziet hij AI overal in terugkomen, het wordt volledig geïntegreerd in alles wat we doen. De chatbot in een webshop gebruikt AI, net als de actieve ruisonderdrukking in videoconference applicaties.
Wat we nu AI noemen is wat dat betreft eigenlijk ook niet nieuw. Technologische verandering gaat langzaam, maar de meeste mensen ervaren het als snel. AI bestaat al langer en zit al in veel systemen, maar pas met de ontwikkeling van toegankelijke toepassingen zoals ChatGPT is het in het dagelijks leven terecht gekomen. De integratie van AI in ons dagelijkse leven gaat de komende jaren sterk toenemen.
Risico’s
Er bestaan fantastische toepassingen van AI, maar er kleven ook risico’s aan. Het valt bijvoorbeeld wel mee met de daadwerkelijke intelligentie van AI. Het is heel goed in het herkennen van patronen en kan op basis daarvan nieuwe content creëren. Maar die patronen bestaan al, het zijn bestaande gegevens die razendsnel geanalyseerd worden gebaseerd op training en beloningsystemen. De GPT in bijvoorbeeld ChatGPT staat voor Generative Pre-trained Transformer, ofwel het is voorgetraind. Een risico is dat AI de verkeerd word getraind. ‘Garbage in, garbage out’ noemt Rahmani dat. Er zijn voorbeelden van geautomatiseerde socialmedia-accounts die binnen de kortste keren racistisch worden als er op het betreffende platform veel dubieuze content gepost wordt. Ook is de output van generatieve AI afhankelijk van de opdracht die gegeven wordt, waarmee het dus ook gemanipuleerd kan worden om af te wijken van het oorspronkelijke doel.
AI en het juridische werkveld
Zoals overal doet AI ook zijn intrede in de juridische wereld. Belangrijk om in de gaten te houden zijn de applicaties Harvey AI en Pre/dicta. Harvey biedt ondersteuning aan advocaten door handmatige taken te versnellen. Pre/dicta analyseert data, schat in hoe de rechter zal oordelen en hoe die dus beïnvloed kan worden.
Daarnaast zal AI ook van invloed zijn op het verloop van zaken. Historisch gezien is er veel aandacht besteed aan de betrouwbaarheid en beschikbaarheid van informatie. AI zorgt er door bijvoorbeeld voice cloning voor dat de herkomst en integriteit van informatie minder betrouwbaar wordt. Video en audio kan gebaseerd zijn op AI waardoor het als bewijsmateriaal lastiger te gebruiken is.
Europese wetgeving: de AI-act
Vanuit Europa komt er met de AI Act wetgeving rondom AI. Anny Ho stelt dat de wetgeving niet alleen juridische verplichtingen met zich meebrengt, maar ook zorgt voor handvatten in de praktijk waarmee de impact van AI gemanaged kan worden. De AI Act omschrijft AI met een brede definitie waardoor er veel toepassingen onder (kunnen) vallen. Bovendien geldt de wet niet alleen voor wie AI ontwikkelt, maar ook voor wie het op de markt brengt of gebruikt.
De AI Act gaat uit van een risico-gebaseerde aanpak: meer risico betekent meer verplichtingen. Er zijn toepassingen met ‘unacceptable risk’ zoals social scoring of emotieherkenning op werkvloer of school, die verboden worden. De meeste systemen vallen in categorie ‘high risk’. Dan gaat het over systemen die analyses maken van sollicitanten of cv’s, workforce management systemen of toepassingen die bepalend zijn voor toegang tot gebruik van essentiële diensten zoals kredietverstrekking of verzekeringen. Volgens Ho biedt de wetgeving goede kaders. Daardoor biedt het houvast, maar beperkt uiteraard ook vrijheid in oplossingen. Anders dan bij de AVG lijkt de wetgeving minder open voor interpretatie qua invulling van de verplichtingen. In een tijd dat iedereen AI wil inzetten, gaat de EU voor ethisch en verantwoord gebruik ervan.
De high risk categorie kent de meeste verplichtingen voor organisaties met zaken als adequate risicobeheerssystemen, datagovernance en -management, beveiligingsmaatregelen en robuustheid. Bij minder risico gelden er bijvoorbeeld enkel transparantieverplichtingen, zoals het informeren van gebruikers. Hoewel er nog niet bekend is wie binnen Nederland de toezichthouder wordt, is compliance een groot goed. Bij overtreding kan er ingegrepen worden met beperking van markttoegang of boetes tot 35 miljoen euro. Verwacht wordt dat de finale tekst dit voorjaar opgesteld wordt, de ‘unacceptable risk’-categorie later dit jaar verboden wordt en de bredere verplichtingen halverwege 2025 ingaan.Aangezien de meeste organisaties systemen gebruiken die in de highrisk-categorie gaan vallen, doen organisaties er goed aan om de impact van het gebruik van AI-systemen alvast in kaart te brengen. Onder andere door een multidisciplinaire AI-taskforce op te zetten (incl. legal, IT, security etc.) en de verplichtingen volgens de AI Act te reflecteren in contracten. Ook zijn inventarisatie van AI-systemen, vaststelling van risico’s en rollen, en het opstellen van een AI compliance plan noodzakelijk.
Tot slot
De ontwikkelingen op het gebied van AI gelden voor alle organisaties, met de AI Act als slechts een onderdeel van veel meer regelgeving rond digitale transformatie. In de bestuurskamer moet er verder gekeken worden dan de waan van de dag, wat vooral een probleem kan zijn bij oudere organisaties met weinig concurrentie, waar bestuursposities ingenomen worden op basis van netwerk in plaats van kennis. Elke organisatie verdient een eigen AI governance taskforce die de impact van AI managed, want er is in dit geval geen ‘one size fits all’.