In het geval van falen, een ongeluk of schade door een robot, kan de programmeur van de software die de robot aanstuurt, aansprakelijk worden gesteld. Dat zei rapporteur Mady Delvaux tijdens een seminar over robotica in Brussel. Ze deed die uitspraak namens een speciaal comité voor wet- en regelgeving dat de Europese Commissie adviseert over allerlei juridische en maatschappelijke zaken rondom robotisering en kunstmatige intelligentie.
Delvaux lichtte dinsdag 7 februari 2017 samen met vier mederapporteurs de inhoud van een voorlopig adviesrapport toe tijdens het Brusselse roboticaseminar. Doel is om tot wet- en regelgeving op het gebied van robotisering en kunstmatige intelligentie te komen.
In de recente discussie over aansprakelijkheid bij bijvoorbeeld ongelukken met zelfsturende auto’s is het volgens de groep van belang om duidelijkheid te verschaffen. Daarin nemen de adviseurs duidelijk het standpunt in dat mensen altijd juridisch verantwoordelijk blijven voor het handelen van robots.
Hoe die aansprakelijkheid van programmeurs eruit zal zien, is nog niet uitgewerkt. Het is bijvoorbeeld maar de vraag of juridische instanties de broncode van producten mogen inzien om te kijken of hier fouten in zijn gemaakt. Volgens de huidige regels vallen broncode en objectcode namelijk onder het auteursrecht.
Privacy en security by design
Verder braken de parlementariërs een lans voor privacy by design en security by design, waarbij ontwikkelaars bij de infrastructuur, algoritmes en technologie van robots rekening houden met beveiliging en privacy.
Het adviesrapport wordt 16 februari 2017 voorgelegd aan de Europese Commissie. Die heeft vervolgens drie maanden de tijd om de inhoud te bestuderen en aan te geven welke aanbevelingen worden gevolgd en omgezet in wet- en regelgeving.
Wordt hier met “de programmeur” degene bedoeld die de code ingetikt heeft, of de fabrikant?
Kijk ik bijvoorbeeld naar de medische sector, komt na het programmeren nog een behoorlijk zwaar verificatie en validatieproces alvorens een product vrijgegeven wordt.
Hiermee wordt dan ook de fabrikant aansprakelijk, en niet de programmeur
Interessant als het een opensource project betreft waar honderden programmeurs aan gewerkt hebben. Hoe weet je dan welke regel code uiteindelijk ‘de boosdoener’ is om daarmee de betreffende programmeur aan te wijzen en wat als er closed source wordt gebruikt waarbij niet duidelijk is door wie dat statement is ingetypt?
En wat te doen bij de steeds meer gebruikte methode van neurale netwerken. Is dan degene die de robot bepaalde dingen heeft geleerd verantwoordelijk of de maker van het mechanisme van het neuraal netwerk die niet eens weet dat het in die robot wordt toegepast.
Kortom hier zal het laatste nog niet over gezegd zijn.
Lijkt mij dat de fabrikant de verantwoordelijkheid heeft en niet één van zijn vele werknemers want daar ga je nooit uitkomen.
Klein voorbeeld de programmeur maakt een deel van de software en zegt erbij dat het alleen geschikt is voor een prototype. Vervolgens vind zijn manager het geen probleem om dit in productie te nemen ondanks de waarschuwing van de programmeur dat het nog niet af is (dit zal menigeen bekend voorkomen).
Robotisering is enorm complex en niet te vergelijken met de hiervoor genoemde medische sector.
Wat als een robot door het validatieproces heen komt en toch faalt. Is dan de maker van het validatieproces verantwoordelijk?
Ik denk of eigenlijk hoop dat dit enkel bedoeld is om de discussie over regelgeving hierover op te starten. Het begrip robot wordt nogal eens herleid tot een entiteit die op een bepaalde wijze iets doet volgens een geprogrammeerd actieschema. Robotisering gaat echter veel verder dan dit. In wezen is elk stuk geschreven software een robot. Het inter acteren van een stuk software met de buitenwereld (mensen of machines) maakt het echter pas een robot. Het is en blijft echter het resultaat van de samenwerking van een aantal professionals en niet een soort van technisch hondje waar het baasje voor verantwoordelijk is. Verantwoordelijkheid voor gevolgen van de inzet of fouten van deze robot is dan ook naast garantie een bedrijfsrisico dat verzekerd moet worden. gelukkig is de foutenkans bij het inzetten van robots bewezen veel lager dan bij de inzet van mensen.
In het betreffende rapport staat nergens dat de programmeur aansprakelijk is. Er staat dat, afhankelijk van de situatie, wellicht de fabrikant, programmeur, gebruiker of zelfs de robot zelf aansprakelijk kan zijn. En dat laatste is nogal een lastig punt in het rapport, want een robot heeft geen status als rechtspersoon.
Dus de kop dat Delvaux vindt dat de programmeur aansprakelijk is, is wel heel erg kort door de bocht.
Inderdaad ’n beetje naïef om die ene beroepsgroep van “programmeurs” aansprakelijk te stellen in zo’n voorlopig adviesrapport. Hoe zit het met de betrokken software architect(en) en ontwerper(s), of – zoals hiervoor al terecht opgemerkt – met de betreffende fabrikant, de effecten van “machine learning” en inderdaad bij “open source”?
Hopelijk beschikt de EU-groep, die dit voorlopig adviesrapport gedurende maar liefst drie maanden gaat reviewen, wel over de juiste expertise…
Nogmaal, het artikel trekt een verkeerde conclusie, het rapport beweert nergens dat de programmeur per definitie aansprakelijke is.
Beetje kort door de bocht-maatregel. In hoeverre moet deze verantwoordelijkheid gedeeld worden met andere verantwoordelijken zoals de ontwerper, de analist, de opdrachtgever? Bij gebruik van open source software, wie is dan verantwoordelijk? Hoe werkt dit bij interfaces. Ik hoop dat er mensen met enige IT kennis gaan bijdragen aan de discussie over deze verantwoordelijkheid.
Sluit me grotendeels aan bij vorige sprekers, ook het (al dan niet geautomatiseerd) testen speelt hierin nog een rol. Er is nooit een persoon alleen verantwoordelijk.
Ik denk zelfs dat fouten niet geheel uit te sluiten zijn en dat wetgeving waarbij de eigenaar/uitgever van de software moet aantonen dat er voldoende zorgvuldig is gewerkt (logboek, documentatie, testrapporten) beter aan zou sluiten bij de realiteit.
Hoe zou je een zelfrijdende auto moeten programmeren om te kiezen tussen het doodrijden van een fietser of frontaal te botsen op een tegenligger? Elke keuze is fout!
Ik snap de fuzz rond dit onderwerp niet goed. We gebruiken al jaren robots. Robots om facturen af te drukken, robots om onze administratie te doen, robots om orders te verwerken en pakbonnen af te drukken. Alleen nu de robots bewegende delen krijgen ontstaat er ineens heel veel gedoe over. Waarom?
@robert: Wel een pakkende titel van het artikel om reacties te krijgen…