Ik ben slecht in schaken. Zelfs zo slecht dat ik zelden win. Als ik toch een beetje een kans wil hebben dan speel ik bij voorkeur tegen iemand die direct en precies kan uitleggen waarom een zet is gedaan. Want de kans dat zo iemand echt goed kan schaken, is niet zo groot.

Over hoe mensen beslissen is veel literatuur en er wordt nog steeds veel onderzoek naar gedaan. Beroemd onderzoek, ook in Nederland. Zo als dat van Adriaan de Groot. Een psycholoog die in 1946 cum laude promoveerde op “Het denken van den schaker”.

enter image description here

Ook in de zorg wordt veel onderzoek naar beslissen door zorgprofessionals gedaan. In het boek “Practical Decision Making in Health Care Ethics: Cases and Concepts” trof ik ook weer schaken als voorbeeld aan.

One way to grasp the difference between a rational choice strategy and a recognition-primed decision strategy is to think of how a computer plays a game of chess. The computer uses a rational choice strategy. It considers all the possible moves, then the opponent’s possible counter moves to these moves, then its possible moves after these counter moves, and so on. After comparing thousands of alternatives, it picks the best move.

This artificial intelligence is so powerful that good computer programs can now beat the best chess players. The beginning chess player, by the way, also relies on rational choice strategy. He compares the advantages and disadvantages of possible moves to find the best one. Of course his ability to compare moves and counter moves is far less than that of a computer. The expert player, on the other hand, relies chiefly on a recognition-primed decision approach. He perceives key patterns on the board, considers them rather briefly, and then makes his moves. He has neither the time nor the cognitive ability to calculate the huge number of possibilities implied by each move he could make.

Beslissingen nemen is bij mensen veel meer dan een rationeel afwegingsproces. Er zit, onder andere, veel patroonherkenning in. En het gaat, zowel bij experts als bij anderen, met regelmaat fout. Mooie voorbeelden daarvan, en waarom ze ontstaan, tref je aan in het boek “How doctors think”. Menselijke beslissers, zoals artsen, die een bepaald patroon vaak hebben gezien, delen een nieuw probleem dat er op lijkt al snel bij diezelfde groep in. “Availability heuristics” heet dat. Daniel Kahneman won voor die theorie in 2002 een Nobelprijs.

Als er niet alleen een rationeel afwegingsproces is, dan is het veel lastiger achteraf de keuze uit te leggen. Groopman, de schrijver van “How doctors think”, adviseert patiënten daarom vooral vragen te stellen die voorkomen dat fouten in het denken ongemerkt blijven. Vragen als “Kan het nog iets anders zijn?” of “Is er iets dat niet in het plaatje past?”. Vragen die de patroonherkenning uitdagen. Zijpad: omdat huisartsen minder in een specialistische tunnel zitten is Groopman fan van een eerste triage door huisartsen.

In het debat over algoritmen, en zeker over hun toepassing binnen de overheid, wordt – wat mij betreft - onterecht vooral de aandacht gericht op registers van algoritmen en het eisen van inzicht in hun werking. Dat kan bij simpele algoritmen, die eigenlijk rekenregels zijn. Zodra het complexer wordt, zoals in het geval van zelflerende algoritmen en patroonherkenning, wordt dat een stuk lastiger. Net als bij mensen. En het is ook helemaal niet nodig.

Als je niet alleen focust op de precieze werking van een algoritme, dan kom je op andere oplossingen. Ik noem er 3.

  1. Consultatie, second-opinion en redundantie
    Is de keuze echt lastig, dan wordt in de zorg vaak een collega geconsulteerd. Of, als de patiënt het initiatief neemt, een second-opinion gevraagd. In machines die het altijd moeten doen, denk aan ruimtevaartuigen, worden beslissingen vaak ook door meerdere systemen of algoritmen genomen. Ik vind het geen gek idee om dat voor gevoelige beslissingen op andere gebieden ook te doen. Dat kan op heel veel manieren. Door meerdere algoritmen tegelijk bijvoorbeeld, met steekproeven en second opinion door mensen of door bij voortduring te monitoren op onregelmatigheden en die te willen gebruiken om van te leren.
  2. Transparant leren en verbeteren op basis van uitkomsten
    In de zorg is het gebruikelijk geworden: de eigen uitkomsten gebruiken om van te leren en te verbeteren. Die uitkomsten geven inzicht in verschillen die relevant kunnen zijn. Tussen ziekenhuizen, of tussen groepen die ze behandelen. Dat kan ook op andere terreinen. Door uitkomsten te monitoren en onderzoek te doen naar gevonden verschillen kun je niet alleen individuele fouten vinden en waar mogelijk herstellen, maar ook structurele fouten repareren.
    Dat, overigens, is niet altijd eenvoudig. Er is bijvoorbeeld, begrijpelijk, veel weerstand tegen het gebruiken van nationaliteit of afkomst bij beslissingen. Ook in de zorg is men er voorzichtig mee. Maar het is in sommige gevallen een heel noodzakelijk gegeven. Uit onderzoek naar etniciteit en kanker, in de Verenigde Staten bijvoorbeeld, blijken er verschillen te bestaan tussen etnische groepen als het gaat om de uitkomsten van diagnose en behandeling van kanker. Verschillen die verklaard kunnen worden door allerlei factoren, zoals sociaal economische en culturele. Maar ook door genetische factoren. Nu steeds meer bekend wordt over genetische factoren van ziekte, en ook behandeling steeds persoonlijker wordt, is het vastleggen van dergelijke gegevens juist een vorm van goede zorg. Zoals bijvoorbeeld ook het aanbod van stamcellen wereldwijd sterk verschilt tussen regio’s, waardoor de kans op een passende behandeling afhangt van je afkomst. Verschillen in uitkomsten onderzoeken vergt daarom een open blik, transparantie en verantwoording.
  3. Ethische begeleiding
    En daarmee kom ik bij mijn derde punt: of het nu om mensen (dokters bijvoorbeeld) of algoritmen gaat, het is de inzet ervan die bepalend is. De bekende dooddoener: met een hamer kun je een spijker inslaan, maar ook een ander pijn doen. Bij de inzet van technologie als CoronaMelder is ethiek daarom voortdurend meegenomen. Dat deden we samen met prof. dr. ir Peter-Paul Verbeek. Met het ECP ontwikkelde hij de aanpak Begeleidingsethiek. Het ministerie van VWS ontwikkelde de daarop gebaseerde “handleiding aanpak begeleidingsethiek voor AI & digitale zorg”. Ethiek beperkt zich natuurlijk niet tot algoritmen. In de zorg is het gebruikelijk om nieuwe onderzoeken, bijvoorbeeld, altijd eerst van een medisch-ethische toetsing te voorzien.


Ik ben, dit alles overwegend, geen fan van een puur instrumentele benadering van AI en algoritmen. Een algoritmeregister en een volledige uitleg van een algoritme (als dat al mogelijk is) voegen niet zoveel toe. Niet in de zorg, niet in het openbaar bestuur. Het gaat om hoe we er mee omgaan. Om de waarborgen, de transparantie en de ethiek van de inzet. Als je je daarop richt kom je tot hele andere oplossingen. Oplossingen die, als je om je heen kijkt in sectoren als de gezondheidszorg, al lang bestaan en hun werking hebben bewezen.

PS
We hebben nog veel te doordenken, zoals terecht door Floor Terra opgemerkt. Denkrichtingen moeten kritisch worden beschouwd. Wat betekent het niet altijd kunnen uitleggen van een algoritme bijvoorbeeld voor het recht op controle van de verwerking en van correctie?

Rationele mensen en niet te vertrouwen algoritmen

In de gesprekken naar aanleiding van deze blog viel mij op dat vaak wordt gedacht dat mensen rationeel zijn en hun handelen kunnen uitleggen en algoritmen niet. Algoritmen zouden daarom met minder vertrouwen moeten worden bekeken. Dat onderscheid maak ik zelf niet. Beide vormen van handelen moeten, wat mij betreft, op dezelfde manier worden beschouwd. Of een diagnose nu door een dokter of een algoritme wordt gesteld: de eisen zijn hetzelfde. Ook omdat mensen niet zo rationeel en bewust handelen als soms wordt gedacht en algoritmen de kans op discriminatie daarom juist ook kunnen verkleinen.

Deze week heeft de Tweede Kamer, onder meer gesteund door Volt Nederland, Fractie Den Haan, PvdA, ChristenUnie, VVD en Pieter Omtzigt een motie aangenomen waarin staat dat de QR-code van positief geteste mensen moet worden geblokkeerd. Die QR-code kan een papieren bewijs zijn, maar ook een bewijs in de app.

Motie blokkeren QR codes na positieve test

Deze blog is geschreven naar aanleiding van deze aangenomen motie. Achter de op zich logische vraag schuilt namelijk een wereld aan dilemma's.

Op LinkedIn plaatste ik twee berichten en vroeg om mee te denken over oplossingen die rekening houden met onder meer privacy en informatieveiligheid. Een bericht over het blokkeren van papieren QR-codes na een positieve test en over het blokkeren van codes in de app zelf. In deze blog zijn beide onderwerpen samengevoegd. Reageren kan op LinkedIn.

Blokkeren van papieren codes

Bij het blokkeren van QR-codes denken veel mensen vooral aan CoronaCheck, de app. Maar meer dan 600.000 mensen hebben al per post hun bewijzen aangevraagd en veel andere mensen hebben een bewijs op papier van bijvoorbeeld hun huisarts gekregen. Daaronder zijn veel ouderen, mensen die minder digivaardig zijn en geholpen zijn door artsen en bibliotheken en mensen zonder burgerservicenummer. Los van alle andere aspecten van het blokkeren na positieve test (ook in de app) levert het blokkeren van papieren codes extra vraagstukken op.

Omdat een coronatoegangsbewijs bewust niet een-op-een aan een persoon is te koppelen, kan zo'n bewijs alleen worden geblokkeerd door ze nu eerst allemaal ongeldig te maken. Mensen moeten dan een nieuw bewijs aanvragen. Nieuwe bewijzen op papier zouden een persoonlijke code moeten hebben om ze bij het scannen aan de deur vanwege een recente positieve test te kunnen blokkeren (met alle risico's vandien).

Om na een positieve test te kunnen blokkeren bij het scannen zou er een publiek toegankelijke zwarte lijst van (codes van) positief geteste mensen moeten komen. Een lijst die voor iedereen beschikbaar is. Door het bestaan van zo'n zwarte lijst kan moedwillig de data van positieve testen verzameld worden en altijd bekend blijven dat iemand positief getest is geweest. Een dergelijke lijst kan ook gelekt worden. Zoals de lijst waar de Belgische Gegevensbeschermingsautoriteit nu onderzoek naar doet.

Maar wellicht overzie ik iets en heeft iemand een goede oplossing die wel meer privacy biedt en die het niet nodig maakt om alle uitgegeven papieren bewijzen te blokkeren?

Blokkeren van codes in de app

In de CoronaCheck-app worden QR-codes elke paar minuten gewijzigd. Daardoor ben je bijvoorbeeld niet te volgen voor scanners. Ook bevatten de binnenlandse coronatoegangsbewijzen niets dat tot jou herleidbaar is. Deze privacybeschermende maatregelen zijn ook wettelijk geborgd.

Natuurlijk kun je het vraagstuk van blokkeren op dezelfde manier oplossen als bij papieren bewijzen (met alle dilemma's van dien, zoals beschreven in de vorige post). Dan zou je alle huidige codes moeten intrekken, opnieuw moeten laten aanmaken en dan wel statisch maken. Maar dan geef je wel veel privacymaatregelen op. Stel je voor dat je het slimmer wilt doen, kan dat? Kun je CoronaCheck als het ware maken tot iets dat voorkomt dat je uit isolatie de kroeg in gaat en blijven voldoen aan eisen van toegankelijkheid, veiligheid en privacy? En moet je dat wel willen? Ik doe hierbij een beroep op jullie denkkracht.

Metafoor

In de passage hiervoor stond eerst "Kun je CoronaCheck als het ware maken tot iets dat een 'slimme enkelband' is" maar veel mensen namen aanstoot aan die metafoor die minder letterlijk moest worden genomen dan mensen deden.

Als u op deze blog bent gekomen omdat u bent verwezen door mensen die geen vertrouwen hebben in ambtenaren in het algemeen en die mij in het bijzonder niet veel goeds toewensen: er is geen complot. Voor een respectvol gesprek over de inhoud van deze blog sta ik altijd open.

De app is zo ontworpen dat er geen stiekem contact is met een database. De app weet ook niet wie jij bent. Je haalt zelf je vaccinatiegegevens of GGD-testgegevens op. Dat doe je met DigiD (alle communicatie is dus gebaseerd op pull, niet op push). Voor mensen zonder DigiD of burgerservicenummer zijn er papieren bewijzen, die kunnen worden ingeladen in de app.

Het toevoegen van een positieve test aan de app kan dus ook alleen uit eigen beweging. De app kan zo worden aangepast dat gebruikers, zeg een of twee keer per dag, verplicht worden om in te loggen met DigiD bij de GGD om te beoordelen of er een recente positieve test is. Als die gevonden wordt, dan kan de QR-code worden geblokkeerd.

Er zijn wel wat nadelen. Stel dat 10 miljoen mensen dat 2 keer per dag doen en iedereen ook 8 uur slaapt, dan zijn er tenminste 300 inlogpogingen per seconde. Dat is meer dan alle systemen aankunnen, dus er zijn mensen die hun code verliezen omdat ze geen contact krijgen. Maximaal 2,6 miljoen mensen per dag kunnen 1 keer inloggen. Daarmee verliezen de overige miljoenen mensen hun QR-code. De wel geslaagde inlogpogingen kosten alleen al aan DigiD-tikken meer dan 150.000 euro per dag. Je zou natuurlijk QR-codes kunnen laten vervallen en mensen vragen ze weer te activeren als ze op pad gaan. Maar dat levert veel pogingen op hetzelfde moment op (de avonden in het weekend bijvoorbeeld), leidt niet tot een prettige gebruikerservaring en waarschijnlijk tot meer gedoe bij de controle (als mensen de code niet hebben geactiveerd door nogmaals in te loggen met DigiD bij de GGD).

Een ander nadeel is dat alle mensen zonder DigiD of zonder burgerservicenummer na een dag hun QR-code in de app kwijt zijn. De oplossing is immers alleen geschikt voor mensen met DigiD dus zij kunnen geen bewijs ophalen van het niet hebben van een positieve test. Je sluit dus veel mensen uit.

Best wel wat consequenties dus. Maar misschien zie ik veel logischere oplossingen over het hoofd?

Tot slot

De Tweede Kamer heeft recent een Commissie Digitale Zaken ingesteld. Deze commissie omschrijft de aanleiding als volgt:

Digitalisering verandert onze samenleving radicaal. Nieuwe technologieën als kunstmatige intelligentie, algoritmen, Big Data, robotica, quantumcomputers, Internet of Things en de cloud hebben grote gevolgen, zeker in samenhang met elkaar. Deze ontwikkelingen gaan snel en hebben invloed op onder meer de werkgelegenheid, onze veiligheid, de democratie, onze privacy, de verhouding tussen burgers onderling, en tussen burgers en de overheid.

Het begrijpelijke verzoek dat een QR-code moet kunnen worden kunnen ingetrokken na een positieve test lijkt vooralsnog niet makkelijk realiseerbaar zonder concessies te doen aan waarden als privacy en laat zien hoe actueel de analyse van de commissie Digitale Zaken van de Tweede Kamer is.