Kun je ai vertrouwen voor juridisch werk? Die vraag staat centraal in het onderzoek naar de kwaliteit en toepasbaarheid van llm-adviezen (large language models) binnen de juridische dienstverlening dat is uitgevoerd door juridisch adviesbureau ICTRecht. Dat testte vier ai-systemen op vijfenzeventig juridische vraagstukken.
Uit de test komt naar voren dat vooral de betaalde versies van ChatGPT 4o Plus van OpenAI en Claude 3.5 Sonnet van de Amerikaanse ai-startup Anthropic goed presteren bij complexe juridische analyses. Bij basale vragen sloegen ze echter verrassend vaak de plank mis. ICTRecht adviseert juristen dan ook om ai vooral te gebruiken voor verkennende analyses en niet voor eenvoudige juridische vragen.
‘Veel juristen denken dat ai vooral goed is in feitelijke, rechttoe-rechtaan antwoorden’, zegt Arnoud Engelfriet, hoofd kennisoverdracht bij ICTRecht. ‘In werkelijkheid maken de systemen bij basisvragen opvallend veel subtiele fouten. Maar ze blinken uit in het structureren en verkennen van complexe juridische materie, zoals due diligence-checklists (boekenonderzoek bij overnames, n.v.d.r.) en contractanalyses.’
Dat maakt ai volgens de onderzoekers ‘waardevol als ondersteuning’, maar niet ‘als vervanger’. ‘Het grote risico is dat ai juridisch klinkende, maar incorrecte informatie presenteert’, voegt Mark Zijlstra, hoofd juridische tech bij ICTRecht, toe. ‘Een nep-arrest valt nog op, maar een verzonnen lijst met juridische criteria is veel lastiger te herkennen. Juristen moeten ai daarom niet gebruiken voor definitieve antwoorden, maar om de juiste vragen te leren stellen en hun eigen analyses te verrijken’, deelt hij.
Welke ai is geschikt voor juristen?
De testresultaten laten duidelijke verschillen zien tussen de systemen. Zoals gemeld presteren betaalde versies van ChatGPT 4o Plus en Claude 3.5 Sonnet het beste en geven ze bruikbare analyses bij ingewikkelde rechtsvragen. Gratis versies van ai-tools zoals Copilot van Microsoft en Gemini van Google blijven achter.
‘Voor grote organisaties met gevoelige data is een Microsofts enterprise-oplossing de veiligste keuze, terwijl voor mkb-juristen de betaalde versies van ChatGPT, Claude of Gemini een goed alternatief zijn’, stellen de onderzoekers. Ook compliance en gegevensbescherming speelden een rol in het onderzoek.’ In de betaalde versies van de ai-systemen zijn de contractuele waarborgen rond geheimhouding en privacy redelijk goed geregeld, maar fundamentele zorgen over Amerikaanse regelgeving en dataveiligheid blijven bestaan’, deelt Guido Grevink, die binnen ICTRecht verantwoordelijk is voor business development.
Download hier het volledige rapport dat concrete aanbevelingen bevat voor juristen die ai veilig en effectief willen inzetten.
“dat heb gestaan op feesboek”
een klassieker waar misschien straks een variant van uit komt.
Overtuigd van het eigen gelijk want 1000 anderen in dezelfde bubble.
‘Voor grote organisaties met gevoelige data is een Microsofts enterprise-oplossing de veiligste keuze, terwijl voor mkb-juristen de betaalde versies van ChatGPT, Claude of Gemini een goed alternatief zijn’, stellen de onderzoekers.
stellen de onderzoekers 😛
Het grote risico is dat ai juridisch klinkende, maar incorrecte informatie presenteert’
Overtuigende zelfverzekerde leugenaars hebben inderdaad een streepje voor.
Gillend rijk en maar nicht gewusst gaat prima samen, blijkbaar.
Misschien een verplichte waarschuwing als je AI gebruikt
LET OP: AI kan schade toebrengen aan eeh alles.
Gebracht met afschuwelijk fotos, ook al weten we dat dat niet helpt.
Nou ja, ook weer de mening uit een een onderzoek.
Het Nederlandse rechtsgebied is breed waardoor er tientallen specialisaties voor MKB-juristen zijn want het empirische onderzoek dekt maar een klein deel (1/5) af. Redactie springt dan ook in conclusies die voorbarig zijn door zowel een opzet van het onderzoek als een beperking in rechtsgebieden. Naar mijn opinie luidt de conclusies dan ook anders want ik lees dat in een markt waar snelheid en accuratesse steeds belangrijker worden AI het onderscheidende kenmerk van de vooruitstrevende juridische afdelingen wordt. Wat betreft business development nu nog naar een ‘no cure, no pay’ want al die klassieke MKB-juristen schrijven in de inspanningsverplichting nog met een vork zonder resultaat.