Pratende computers zijn een gevaar voor de menselijke autonomie
Nu computers echte gesprekken kunnen voeren, kan het leven een stuk makkelijker worden. Maar er zijn volgens Pauline Kuss (Law and Technology) ook gevaren. Het is niet altijd duidelijk dát we met een slim computersysteem praten. Bovendien kunnen we onbedoeld veel persoonlijke informatie prijsgeven.
Met wie spreek je, als je naar een restaurant belt? En met wie spreken zij, als er iemand belt om een tafeltje te boeken? Het wordt steeds waarschijnlijker dat er geen mens aan de andere kant van de lijn hangt, maar een computer. Zoals de intelligente assistent Google Duplex, die telefoongesprekken kan voeren met kappers en restaurants. Zodat mensen dat zelf niet meer hoeven te doen.
In de toekomst gaan mensen veel met computers praten, denkt Pauline Kuss. Die kunnen taken uit handen nemen en versimpelen. Zo kan iedereen een eigen digitale assistent krijgen, die gesprekken voert en relaties onderhoudt. Maar we zullen niet altijd weten dát we met een computer praten. Ze zijn meestal niet fysiek en herkenbaar aanwezig. Ze worden immers zo levensecht mogelijk gemaakt. Pas als we denken met een echt mens te praten, wordt een interactie de moeite waard.
De keerzijde is dat er manipulatie dreigt. Door met een computer te praten, geven we informatie over onszelf prijs, mogelijk zonder dat we de gevaren daarvan overzien. Die informatie kan gebruikt worden om reacties op ons af te stemmen. Zo kan er bijvoorbeeld ingespeeld worden op emoties om een product te verkopen, of ons te bewegen tot politiek stemgedrag. En wat te denken van regelrechte fraude, misbruik en inbreuken op de privacy?
Kuss denkt dat het hoog tijd is de ethische implicaties van deze ontwikkeling te doordenken. Als juriste kijkt ze wat de Algemene Verordening Gegevensbescherming (AVG) kan betekenen. Het uitgangspunt van deze richtlijn is dat mensen zelf beslissen of en waarvoor ze informatie vrijgeven. In hoeverre kunnen ze dat straks nog?
De wetten zijn in ieder geval nog niet toegesneden op deze nieuwe technologie. Hoewel de AVG volgens Kuss wel beperkt welke data er verwerkt mag worden, en waarvoor, wordt het manipulatieve potentieel van deze slimme computersystemen over het hoofd gezien. Zo kunnen niet alleen bedrijven, maar ook individuen een systeem als Duplex onbehoorlijk gaan gebruiken. Daar heeft de richtlijn onvoldoende oog voor.
Om te beginnen is er volgens Kuss meer transparantie nodig. Laat mensen weten dat ze met een computer praten, zodat ze beter kunnen afwegen wat ze prijsgeven en wat het systeem wil bereiken. Is dat een goed gevoel geven, een haarmasker verkopen, met persoonlijke gegevens aan de haal gaan? Bovendien moet er nagedacht worden over hoe mensen toestemming kunnen geven voor het verwerken van hun persoonlijke data, en hoe ze dat kunnen controleren. En waar de grens getrokken moeten worden tussen wat een fijn, levendig gesprek is en doelbewuste misleiding.
Makkelijke vragen zijn het niet. Wat niet wegneemt dat er bij stilgestaan moet worden. Dat niet doen staat volgens Kuss gelijk aan het opgeven van persoonlijke autonomie. En dat voor een prettige gebruikservaring.
Cijfer: 8,5In de rubriek ‘Masterscriptie’ schrijven we iedere maand over een opvallende masterscriptie. Wil je ook aandacht voor je afstudeeronderzoek? Stuur je thesis naar ons op.