Brenno de Winter gaat in hoger beroep in een rechtszaak die hij voert tegen Bunq-bank. De cybersecurity-expert en privacy-activist eist dat de bank openheid geeft over een cliëntenonderzoek waarin hij werd aangemerkt als rekeninghouder met een verhoogd risicoprofiel en zijn bankrekening werd geblokkeerd.
Eerder stelde een Haagse rechter dat de bank die informatie niet prijs hoeft te geven. Kwaadwillenden zouden met die informatie inzicht kunnen krijgen in het controlemechanisme van de bank en dat systeem eenvoudiger kunnen omzeilen, is de gedachte.
Ook is de vraag of de bank een algoritmen gebruikt voor het inschalen van het risicoprofiel van klanten. Volgens De Winter is dat het geval. Bunq daarentegen stelt dat het risicoprofiel van klanten niet geautomatiseerd wordt opgesteld en met tussenkomst van een persoon tot stand komt, de rechter gaat daar in mee.
Cliëntenonderzoek
Bunq is wettelijk verplicht om verscherpt cliëntenonderzoek uit te voeren om het witwassen van crimineel geld en het financieren van terrorisme te voorkomen. De bank gebruikt daarvoor een transactie-monitoringssysteem. Dat systeem sloeg aan om een betalingstransactie van De Winter.
In de eerdere uitspraak trekt de rechter de conclusie dat ‘de hit van het transactie monitoringssysteem ontstaat op basis van een algoritme zonder menselijke tussenkomst’. Een hit blijft zonder (rechts)gevolg wanneer er geen actie op ondernomen wordt. Bunq heeft uiteengezet dat er menselijke tussenkomst vereist is om te besluiten of naar aanleiding van een hit nadere actie nodig is. In dit geval heeft een medewerker van Bunq besloten een cliëntenonderzoek te starten. ‘Dat is geen besluit geweest van het systeem zelf’, aldus de rechter.
Het daarop volgende onderzoek door medewerkers van Bunq bestaat uit het opvragen van documenten, het (ten onrechte te vroeg) blokkeren van de rekeningen, het beoordelen van de door De Winter ingestuurde documenten en het weer opheffen van de blokkade. ‘Al deze acties zijn door menselijke tussenkomst uitgevoerd.’
De Winter is ervan overtuigd dat de bank wel degelijk algoritmen gebruikt om het risico van rekeninghouders te classificeren en dus verder gaat dan alleen het controleren van transacties. Hij eist inzage in de onderliggende logica van dat systeem. Vandaar dat hij in hoger beroep gaat. Hij verwacht sterk te staan in die zaak en verwijst naar een andere kwestie in 2022 tussen Bunq en de Nederlandsche Bank. Daaruit komt naar voren dat Bunq in clientenonderzoeken naar witwassen gebruikmaakt van ai.
De Validatiecrisis
De Winter kondigde het hoge beroep aan tijdens een presentatie op Cybersec Netherlands. Tijdens het evenement in de Utrechtse Jaarbeurs presenteerde De Winter zijn nieuwe boek: ‘De Validatiecrisis’. Daarin schetst hij tal van voorbeelden van bedrijven en organisaties die technologie inzetten, zoals ai-systemen, maar de uitkomst van deze systemen niet goed valideren waardoor ze een risico vormen voor klanten en burgers.
Hij wijst op tech-optimisme en ‘onkritisch vertrouwen’ in die systemen, met name door leveranciers en gebruikers, en biedt handvatten, oplossingen en denkrichtingen om deze systemen beter te valideren. Computable komt binnenkort met een boekbespreking van dat werk.
Never waste a crisis blijkt uit het rechtbankverslag dat er geen validatiecrisis is omdat er een menselijke schakel tussen het besluit zit. Enige gelijk dat Brenno krijgt betreft het ontbreken van een klachtenprocedure want verder wijst de rechter klachten af. Wat betreft de signalering via algoritmen is het wel handig om te weten dat er dagelijks meer dan 20 miljoen transacties plaats vinden in het Nederlandse betalingsverkeer. En dat er alarmbelletjes afgaan bij de kleine zelfstandige ondernemer is niet zo vreemd als de herkomst van sommige inkomsten financiering van terrorisme doen vermoeden want wie bewijst dat Brenno niet de wolf in schaapskleren is?
Klinkt als een gekke vraag maar jaren later bekende een oud-collega dat hij goede criminele contacten had. Ik insinueer niks maar de dure horloges kon hij niet betalen met het salaris als softwareontwikkelaar. Een optie is dat de boekverkoop voor goede inkomsten zorgde want ook Brenno is broodschrijver en niet van software. AI heeft trouwens al een boekbespreking over het zoeken van spijkers op laag water door Brenno want hij komt niet met de insider informatie die oud-collega wel had.
Terug naar de signalering van een anomalie op basis van algoritmen want te goed van vertrouwen waren ze ook bij Hof van Twente. Tenslotte viel Bunq over de ‘source(s) of income before 2023-11-27’ terwijl een communicatie middels Whatapp ook al frappant is omdat je bij dit soort verzoeken eerder een brief van je bank zou verwachten. Mijn vraag is daarom of de ervaringen van Brenno met Bunq uitgelokt zijn want één incident om een breder probleem onder de aandacht te brengen klinkt niet als een crisis maar als een roep om aandacht.
De banken zijn al net zo erg als Microsoft, Apple en Google. Ze sluiten je account en vertellen je niet waarom. Geven ze nog wel je bezittingen terug, of ben je die net als bij die cloud bedrijven definitief kwijt?
(dit is overigens INCLUSIEF toegang tot je EIGEN Personal Computer of mobiele telefoon…)
“De Winter is ervan overtuigd dat de bank wel degelijk algoritmen gebruikt om het risico van rekeninghouders te classificeren en dus verder gaat dan alleen het controleren van transacties. Hij eist inzage in de onderliggende logica van dat systeem.”
Het is onmogelijk om iets te controleren als je het nergens mee kunt vergelijken, dus die classificatie is onmogelijk zonder een of ander “algoritme”
Dus het is zeer zeker van groot belang voor de normale klanten dat ze die onterechte lock-out kunnen vermijden en snel ongedaan maken. Voor rekening van de afsluiter.
En de instantie die niet heel precies wil vertellen waarom moet verboden worden.
Jaren terug ooit eens een betaling aan een computerwinkel die niet ging van mijn gewone rekening, maar gelukkig wel van mijn andere rekening. Kort daarna contact met de bank, ze waren bang voor misbruik van mijn rekening. Blokkade opgeheven en nooit meer mee te maken gehad. Deed altijd al het meeste contant, en voor zover de noodzaak niet al duidelijk was, wordt het steeds duidelijker; al oud: gebruik je verstand, betaal contant. (ook leuk: Doe niet zo PINnig, betaal contant, gezien op de markt)