Menselijk recht in tijden van datasturing en natuurgeweld
Een Essay door Maxim Februari, pseudoniem van Maximiliaan (Max) Drenth (1963), Nederlandse (rechts-)filosoof, jurist, schrijver en columnist.
Uitgegeven in 2023, Prometheus Amsterdam
Kort
Artificiële Intelligentie (AI) staat de laatste maanden volop in de schijnwerpers. Maxim Februari plaatst deze technologische ontwikkeling tegenover het dwingend karakter van de klimaatopwarming. Daaruit leidt hij af hoe onze democratische samenleving en haar rechterlijke grondvesten onder druk staan.
Aan de hand van concrete voorbeelden doet dit “essay” je nadenken over het hellend valk van informatisering waar we op zitten en de snelheid waarmee we naar een andere samenleving evolueren. Voor Maxim Februari is het de hoogste tijd om opnieuw de eeuwenoude vragen te stellen over hoe we kennis verzamelen, welke normen we willen hanteren, hoe we die vastleggen in recht, regels, instituten en rollen en hoe we die aan elkaar opleggen.
Technologie en klimaat spannen samen
Het gaat snel
De auteur vertrekt vanuit recente ervaringen in Nederland met o.a. de introductie van de CORONA-app en het gebruik van SYRI1. Omdat we de implementatie van dergelijke systemen relatief gemakkelijk aanvaarden stelt hij dat we de huidige manier van besturen – een “triade” van wetgevende, uitvoerende en gerechtelijke macht – al te gemakkelijk vervangen door een aansturing door algoritmes, dataverwerking en IoT2. Deze laatste is complexer, abstracter, hersenlozer, zonder lichaam, afstandelijker en ontmenselijkt.
Na jarenlang negeren zet de natuur ons nu via klimaatopwarming onder druk om snel beslissingen te nemen i.v.m. hoe we ons aanpassen aan nieuwe omstandigheden. Dat we onder deze druk de omwisseling van klassieke besturingsmechanismes naar technologische mechanismes zo gemakkelijk aanvaarden vindt Maxim Februari vreemd. Ze leidt ons immers regelrecht naar een paradox
- Klimaat is een mensenrecht. Het nemen van beslissingen moeten we daarom centraal plaatsen. Dit veronderstelt inspraak en samenspraak om iedereen mee te krijgen in veranderingsprocessen;
- Snelle en geruisloze introductie van technologie zoals algoritmes op basis van dataverwerking versnelt, vermaast, ontmenselijkt en commercialiseert alles en controle gaat verloren.
De mensheid zit ingeklemd tussen twee grote systemen die niet in haar geïnteresseerd zijn. Natuur aan de ene kant, technologie aan de andere kant. Mensheid tussenin – pagina 22
De auteur ziet op de lange termijn zelfs een samenwerking ontstaan tussen natuur en technologie die de mens marginaliseert en zijn schade op de planeet neutraliseert.
Technologieoptimisme leidt naar initiatieven als “AI for Earth”3 van World Economic Forum en Stanfort . Daar wordt een dashboard gemaakt van de ecologische wereld om die met AI algoritmes te sturen en te beheersen.
Het is complex
Mogen we daarin geloven? Vóór Maxim Februari de kernvraag naar ethiek stelt gaat hij in op hoe de werking van democratie en rechtstaat veranderen onder invloed van technologie.
Op vele domeinen schuiven we de beslissingen voor ons uit, waardoor de tijd om tot een conclusie te komen steeds korter wordt. Tegelijk beschikken we over meer data en technologische middelen om beslissingen efficiënt uit te besteden aan systemen. Dat gebeurt met data die verzameld wordt op alle mogelijke manieren en waarvan je als gebruiker vaak niet weet dat die verzameld en verhandeld wordt. Die wordt niet gecontroleerd, beoordeeld, genormeerd, is bevooroordeeld, is niet transparant, niet auditeerbaar en wordt verhandeld tussen commerciële bedrijven. Besluitvormingsalgoritmes zoeken naar patronen in die data. Zo ontstaat een spanningsveld tussen burgers – die aangestuurd worden op basis van uitkomsten van zo’n algoritmes – en de belangen van een overheid – die onmachtig wordt omdat de besluitvorming ligt bij commerciële bedrijven waaraan de algoritmes uitbesteed zijn. Voorbeelden zijn een CORONA-pas die je al of niet toelaat tot een restaurant of schouwburg, gezinnen waar kinderen extra opgevolgd worden omdat er een verhoogd risico op verwaarlozing gesignaleerd is of gezinnen die toeslag voor kinderopvang moeten terugbetalen omdat een algoritme hen van fraude verdenkt.
De relatie tussen burgers en overheid verandert omdat het systeem je aanstuurt aan de hand van data en algoritmes in plaats van op basis van beoordeling door een ambtenaar of rechter. Tegen die laatsten kan je praten, je kan ermee onderhandelen en je kan eventueel protesteren. Dat kan niet tegen computerprogramma’s waarvan niemand goed kan achterhalen hoe beslissingen precies tot stand kwamen of zich er niet voor verantwoordelijk voelen.
Systemen worden complexer en raken steeds meer met elkaar verstrengeld. Daardoor neemt de macht van de overheid verder af en die van de commerciële bedrijven steeds toe. De burger weet vaak niet wat over hem nu wel en wat nu niet bekend is in systemen. Daarenboven werken klassieke controlesystemen als scheiding van verantwoordelijkheden of een auditcomité niet meer. Het is dus nú de tijd om ons weer de grote vragen te stellen
Dit is niet de eeuw van de AI of robotica, maar van rechtswetenschap, de sociale wetenschappen, of de geesteswetenschappen. Of eigenlijk helemaal niet van de wetenschappen, want veel problemen van digitalisering zijn waarde problemen en dus zijn ze moreel of politiek van aard – pagina 103
Op zoek naar ethiek
We moeten ons terug afvragen
- In welke wereld willen we leven?
- Welke normen en waarden zijn echt belangrijk voor ons?
- Wie omschrijft die normen en waarden?
- Hoe worden die omschreven en gehandhaafd?
- Hoe gaan we met deze ethische basis verder in automatisering?
We moeten dit doen vóór we volgende stappen kunnen zetten. De tijd dringt. De mens wordt steeds meer een technologisch wezen, aangestuurd door algoritmes, op de been gehouden door farmaceutische producten, protheses en zelfs vervangorganen.
Door de klimaatverandering rolt de natuur over ons heen en hoe langzamer we reageren, hoe sneller we het straks moeten doen. Door de digitalisering wordt de technologie zelfstandiger. Omdat we daar nu uitermate suffig in meedenken, zal het straks des te scherper moeten. Door onze traagheid van reactie zal de druk op de rechtstaat, die van twee kanten komt, allengs heviger worden – pagina 123
De politiek, de juridische gemeenschap en de burger moeten wakker worden. De technologie gaat vooruit en de natuur eist tempo. Laten we de bedrijven hun gang gaan of nemen we het heft in eigen handen vanuit ethisch uitgangspunten?
Intermezzo’s
De hoofdstukken met deze gedachtegang worden afgewisseld met een aantal intermezzo’s. Daarin worden een aantal fundamenten op een verfrissende manier op scherp gezet.
- Normen en normaliteit zijn 19e-eeuwse begrippen die ontstaan zijn vanuit de statistiek en daarom zijn ze veranderlijk;
- Data wordt achteloos opgeslagen, verhandeld en vaak ook veranderd. Toch accepteren we al te gemakkelijk de resultanten van dataverwerking;
- Ons type menszijn staat onder druk. Kunstenaars zien ons in de toekomst vaak als een hybride wezen, een versmelting van dier en technologie. Maar zal dat wezen in harmonie leven met de natuur en met elkaar? Daarom zijn er regulerende mechanismes nodig.
Bedenkingen
Het boek sluit merkwaardig goed aan bij de actualiteit. De aankondigingen door OpenAI, Microsoft en Google over nieuwe AI-applicaties bijvoorbeeld. Daarover lees je meer in de blogberichten over ChatGPT. Het essay sluit aan bij de brief van experten van het “Future of Life Institute” om zes maanden na te denken over de evolutie van AI alvorens daarmee verder te gaan. Maar in tegenstelling met deze briefschrijvers kan je Maxim Februari niet verdenken van commerciële belangen bij dit schrijven.
Ondanks dat deze tekst doorspekt is met een aantal griezelige voorbeelden van bestaande applicaties (bijv. winkelkarretjes die blokkeren op de rand van de parking van het warenhuis en dus niet bruikbaar zijn voor iets anders) tot afgeschafte applicaties (bijv. SYRI in Nederland, maar ook “Getting it right for every child” in Schotland), zijn er nog veel meer zaken waar we als burger over moeten nadenken. Slimme camera’s worden voor veel lovenswaardige doelstellingen ingezet, maar we kunnen op den duur nergens nog “onbespied” leven.
Het essay positioneert ons terecht op een hellend vlak van efficiëntie, dataverzameling, commercialisering waar we elke dag en stap voor stap in meegaan. Straks worden we “wakker” (woke?) in een maatschappij waar we niet in terecht wilden komen.
De mens leert nu eenmaal door “vallen en opstaan”! Dit essay wil ons behoeden voor al te veel vallen en opstaan vóór we deze boodschap begrepen hebben. We moeten elke dag weer opnieuw nadenken over hoe we de technologieën willen gebruiken
- Hoever we ons laten meesleuren in de commerciële val van “gratis” toepassingen die ons aangeboden worden in ruil voor onze data. Data die meteen gebruikt worden om ons te bestoken met commerciële aanbiedingen of voor administratieve processen;
- Hoe we de overheid ter verantwoording roepen om de gebruikte systemen te vernoemen, om transparant en begrijpelijk uit te leggen welke de belangen zijn van de firma’s aan wie systemen uitbesteed zijn voor ontwikkeling en / of exploitatie;
- In welke debatten we participeren over de ethische basis van informatisering.
1 SYRI: SYsteem Risico Indicatie, een algoritme dat in Nederland werd gebruikt om risicowijken te identificeren, maar waar burgers niet over geïnformeerd werden
2 IoT: Internet of Things, het geheel van meet- en stuurelementen die via internetprotocollen met computers verbonden zijn en onderling communiceren
3 De Planetaire Computer bevat petabytes aan milieubewakingsgegevens, in consistente, analyseklare formaten, AI for Earth – Microsoft AI