AI & jouw organisatie: to act or not to act?

Bram Volbeda – Business Consultant

Hoe ga je als organisatie om met AI?

Snellere en nauwkeurigere diagnoses in de gezondheidszorg of inbreuk op privacy door gezichtsher-kenningstechnologie? De opkomst van AI brengt zowel positieve als negatieve impact. De AI Act is een Europese Verordening die het gebruik van AI, Algoritmes en Machine Learning beperkt, en eist dat risico’s voor mens en maatschappij worden geminimaliseerd.  De AI Act is bedoeld dit (beter) te reguleren. In deze blog wordt besproken wát de AI Act inhoudt en wat dit voor jouw organisatie betekent.

Wat is AI volgens de AI Act?

De nieuwe regels gelden voor iedereen die AI (1) ontwikkelt, (2) op de markt brengt of (3) inzet. De definitie uit de AI Act volgt die van de OECD (Organisation for Economic Co-operation and Development) en komt neer op:

“Een autonoom systeem dat gebaseerd op input van buitenaf een uitvoer genereert (zoals een besluit, aanbeveling, tekst of afbeelding), waarbij die uitvoer direct invloed heeft op de omgeving”.

De gebruikte technologie – neurale netwerken, machine learning, statistiek, expertsystemen of zelfs maar een Excelfilter – is in deze definitie niet relevant. Kernbegrip hierbij is “autonomie”, oftewel zonder volledig onder menselijke beheersing te staan.

Waarom de AI Act?

De EU heeft met de AI Act een wereldprimeur; het is de eerste set aan regulaties die de risico’s van het gebruik van AI proberen in te perken én het gebruik ervan in bepaalde toepassingen aan banden legt of verbiedt. De EU erkent echter tegelijkertijd ook het belang van een gunstig economisch klimaat om een van de wereldleiders te blijven op het gebied van AI-innovatie.

Het doel van de AI Act is dat mensen en bedrijven in de EU kunnen rekenen op veilige, transparante, traceerbare, niet-discriminerende en milieuvriendelijke AI-systemen die onder toezicht staan van mensen.

LET OP: de AI Act is een verordening en heeft (lees: krijgt) daarmee dus directe werking in de Lidstaten. Vergelijk dit met de AVG die slechts een Nederlandse vertaling is van de GDPR , waarmee de GDPR zijn directe werking dus gestalte geeft.

Wat houdt de AI Act in?

Het is goed om te weten dat de AI Act onderscheidt gaat maken op basis van waar het AI-systeem voor wordt gebruikt. De AI Act identificeert hiertoe 3 risicovormen van AI:

  1. Verboden (bijvoorbeeld Predictive Policing, Biometrische Surveillance op afstand, Social Credit Scoring, Manipulatie)
  2. Hoog Risico (risico’s voor gezondheid, veiligheid, grondrechten of het milieu zijn toegestaan mits deze voldoen aan strenge voorwaarden)
  3. Laag Risico (bijvoorbeeld een chatbot)
  • Risico-categorie 1: AI zijn verboden en dienen binnen 6 maanden na implementatie van de AI Act te stoppen.
  • Risico-categorie 2: AI heeft de meeste voorwaarden. Deze leveren een bijzondere risico op voor mens en maatschappij. In EU termen gaat het hier met name om fundamentele rechten. Daarnaast krijgen deze vormen van AI een berg aan complianceverplichtingen.
  • Risico-categorie 3: AI kennen geen bijzonderheden en krijgen in de AI Act alleen transparantie verplichten opgelegd en mag het geen beslissingen nemen.

Als een AI-systeem telt als hoog risico, dan moet het volgende geregeld zijn:

  • Fundamental Rights Impact Assessment
  • Risicomanagementsysteem
  • Systeem voor gegevensbeheer
  • Technische documentatie
  • Transparantie
  • Menselijk toezicht
  • Conformiteitsbeoordeling

Meer transparantie

De extra regulaties hebben vooral een groot effect op de transparantie van deze modellen:

  • de content wordt onderhevig aan extra monitoring,
  • het model moet onthullen dat de content AI-gegenereerd is
  • een overzicht moet worden bijgehouden van al het auteursrechtelijke materiaal dat is gebruikt tijdens training van het algoritme.

Belangrijk is dat volgens de wetgeving zowel de leveranciers (’providers’) als uitvoerders (’deployers’) eraan moeten gaan voldoen als het gaat om generatieve AI; modellen zoals het immens populaire ChatGPT.

High risk of niet?

Organisaties moeten gaan bepalen of hun AI-systemen een zogenaamd “High Risk” profiel hebben. Na de voorvraag (is het systeem überhaupt een AI) zijn er 3 opvolgende overwegingen die langsgelopen moeten worden:

  1. Is het systeem een veiligheidscomponent van een gereguleerd product? Denk aan de beveiliging van het sluiten en openen van een liftdeur. In de AI Act is een bijlage (Bijlage II) die de reguleringen benoemt. Als de AI op de lijst staat, dan is hnet “High Risk”;
  2. Staat het systeem op de risicolijst van Bijlage III van de AI Act? Als het antwoord hierop “nee” is, dan is het in principe geen “High Risk”…. Ook al zijn er enorme risico’s denkbaar.

    Bijlage III: biometrische identificatie, kritieke infrastructuur, educatie, werkgelegenheid en personeelsmanagement,toegang tot publieke en private diensten, politie, migratie en grenscontrole of rechtspraak.

Als de AI systemen in een van deze categorieën vallen behoeven ze goedgekeuring voordat ze gebruikt mogen worden. Deze goedkeuring zal worden gedaan door instanties die door de nationale overheden als marktregulators worden aangewezen, en worden ook geregistreerd in een EU-database.

Er zijn echter 4 uitzonderingen die maken dat een AI toch weer niet als “High Risk” wordt gekwalificeerd:

  1. De AI voert slechts een beperkte, specifieke procedurele taak uit;
  2. Detecteren van afwijkingen van gebruikelijke “beslispatronen”, waarna de mens een dubbel-check kan geven;
  3. De AI staat buiten de eigenlijke beslissing;
  4. De AI verhoogt alleen de kwaliteit van het werk.

Uitstapje:
Er wordt nog onderzocht in hoeverre de AI Act (indirect) invloed heeft op de MDR (Medical Devices Regulation). Wetenschappelijk onderzoek speelt een cruciale rol bij het ontwikkelen van nieuwe medische hulpmiddelen. Hierbij kan AI gebruikt worden. Om de AI gebruiken zal het gevoed moetren worden met data. Indien dit klinische data betreft, dan is de kans klein dat het onder de AI Act valt. Ook als echte patiëntengegevens worden gebruikt kan bepaald worden dat het niet onder de AI Act valt, zoals het maar niet commercieel op de markt wordt gezet. Is dat wel het geval, dan is een CE-markering verplicht. En om die te krijgen zal de gebruikte AI moeten worden beoordeeld aan de hand van de regels van de AI Act.

Wanneer gaat de AI-act in?

Op 9 december 2023 hebben de Europese organen het voorstel voor de AI Act aangenomen. Er zullen echter nog verschillende tekstuele aanpassing gaan plaatsvinden en nog wat tegenstellingen van Lidstaten gladgestreken moeten worden. Daarna moet het nog in de verschillende talen worden verrtaald (en beoordeeld). Tot slot zal het in de Europese Staatscourant geplaatst moeten worden. De verwachting die men heeft is dat dit  uiterlijk eind februari 2024 gereed is.

Er zal een transitieperiode gaan gelden voor met name de als “High Risk” gekwalificeerde AI’s van twee jaar. Gebaseerd op deze informatie kan logischerwijs de AI Act vanaf begin 2026 op zijn vroegst in effect zal gaan treden.

Wat kun je doen om jouw organisatie voor te bereiden op de AI-act?

Een logische eerste stap is onderzoeken of jouw organisatie AI applicaties gebruikt in haar processen en om hier een inventarisatie van te maken. Met de inventarisatie in hand is het goed om te evalueren of één of meerdere applicaties geclassificeerd worden als ‘high-risk’ volgens de AI Act. Daarna stel je een voor alleen de ‘high-risk’ applicaties een voor AI op maat gemaakte DPIA op. Zo handelt uw organisatie altijd risicogebaseerd en zorgt u ervoor dat u compliant blijft met de AI Act.

Vervolgens kan er een plan worden opgesteld waarmee de integriteit en de vertrouwelijkheid van informatie gewaarborgd blijft en waarmee risico’s worden geminimaliseerd. Een manier om dit gestructureerd te doen en continu te blijven verbeteren (de wereld om ons heen verandert immers ook continu) is door een norm te implementeren.

Reken op ons team

Met de keuze voor een “Professional-as-a-Service”-rol kun je ook rekenen op andere expertise. Ons security team fungeert als een back-up voor complexe vraagstukken. Kies je voor een CISO? In de praktijk werkt deze vaak nauw samen met een Privacy Officer of Functionaris Gegevensbescherming. We beschikken over beide. Ons privacyteam beheert daarnaast een 24/7 datalek-telefoonlijn. Hiermee wordt dus ook buiten werktijden altijd aan de wettelijke meldingstermijn van 72 uur voldaan.

Benieuwd naar ons team en hoe we jouw organisatie effectief kunnen ondersteunen? Neem contact met ons op.

Blog geschreven door Bram Volbeda, Business Consultant

Deel dit bericht:

Realiteitszin bij het werken met de NEN 7510 in de zorg: balanceren tussen veiligheid en praktisch gemak

In de complexe wereld van informatiebeveiliging in de gezondheidszorg staat één uitdaging centraal: het vinden van de juiste balans tussen veilig...

Klaar om je security, privacy en continuity
binnen jouw organisatie te verbeteren?

Adres

Computerweg 22
3542 DR Utrecht

KvK: 30277648
BTW: NL 8217.37.612.B01

Privacy statement - Disclaimer - © 2024 BMGRIP