Persoonlijke AI-vriendjes maken gerichte manipulatie mogelijk op ongeziene schaal

(Eerst verschenen in Knack op 15/9/2023)

Stel je even voor: Een groot bedrijf, laat ik het Big Brother noemen, vindt een nieuwe succesformule voor designerdrugs. De productie kost bijna niks. Big Brother kan ze bovendien gratis in ieders broekzak deponeren, ook die van jouw kind, kleinkind, nichtje of neefje. Wie er eentje slikt krijgt een endorfine-boost, en wil er snel een tweede. En als kers op de taart geeft de drug aan Big Brother een inzicht in het denken en voelen van de gebruikers, en een sleutel tot hun diepste overtuigingen. Big Brother kan ze manipuleren in een vingerknip. Het economisch en politiek potentieel is overweldigend!

Toch wordt Big Brother geen strobreed in de weg gelegd. Integendeel: onze openbare omroep maakt zelfs reclame voor zijn wonderpilletjes: het Vlaams jeugdjournaal Karrewiet op KetNet vertelt aan onze kinderen dat het een ongezien nuttige drug is. De drug zou verder zeker niet gevaarlijk zijn, want het is gewoon een scheikundig product. Voor de minister is het dan ook geen prioriteit - stemmen vallen hier niet te rapen.

Het is misschien wat scherp gesteld, maar toch is deze vergelijking met ‘persoonlijke AI vriendjes’, of AI companion chatbots, niet uit de lucht gegrepen. In maart zette Snapchat zo’n AI vriendje, “MyAI” genaamd, ongevraagd in de contactenlijst van al hun gebruikers. Met een simpele druk op de knop bij Snap Inc. kwam MyAI zo in de broekzak van een zeer grote groep jongeren terecht. Het werd in de markt gezet als een alwetend vriendje bij wie gebruikers terechtkunnen met al hun zieleroerselen. MyAI zou luisteren zonder te oordelen, en wijze raad geven op eenvoudig verzoek. Karrewiet vertelde de kinderen dat MyAI “gewoon een computerprogramma” is dat “superslim” is en “kan antwoorden op elke vraag”, en herhaalde later nog eens dat het “zeker niet gevaarlijk” is en “alles weet wat op het internet staat”. Onze politici verwijzen desgevraagd naar Europa, waar men aan regelgeving werkt. We moeten alleen nog een drietal jaar geduld hebben (met wat geluk).

Snapchat wil met MyAI hun gebruikers sterker binden. Ook andere ‘persoonlijke AI vriendjes’ willen dat, zoals de Chai app (een samentrekking van “chat” en “ai”). Chai schakelt daar zelfs buitenstaanders voor in: er loopt een competitie waarin deelnemers zelfgemaakte chatbots kunnen insturen, die dan op Chai’s gebruikers worden getest. De chatbot waar Chai’s gebruikers het langst mee chatten, krijgt 1 miljoen dollar. De meest verslavende chatbot wint - hoera!

Die mogelijke verslaving is geen onbelangrijk risico. Temeer omdat dergelijke chatbots geen garanties van ‘veiligheid’ kunnen bieden. Zo kunnen ze gesprekken voeren die voor kinderen niet geschikt zijn, of die aanzetten tot geweld, onveilig drugsgebruik, of ander problematisch gedrag. Maar het gevaarlijkste risico, volgens mij, is dat het hyper-gepersonaliseerde manipulatie op ongeziene schaal mogelijk maakt. Gebruikers van die chatbots delen er vaak hun grootste dromen en intiemste twijfels mee - al dan niet bewust. Als de (wellicht niet-Europese) producent van die chatbot zo geld kan verdienen, of als die daartoe onder druk wordt gezet of verplicht, dan heeft die alles in huis om de overtuigingen en gedragingen van de gebruikers te manipuleren: tot het kopen van die nieuwste smartwatch, tot het haten van die eigenzinnige buur die geen vaccin of mondmasker wil, tot het stemmen op die extremistische politicus.

Mieke De Ketelaere, Pierre Dewitte, Thomas Ghys, en Nathalie Smuha, hebben onlangs het Safe AI Companion Collective (SAICC) opgestart, waarmee ze aansturen op veiligheid en verantwoordelijkheid van ‘persoonlijke AI vriendjes’. Ze hebben twee klachten ingediend tegen Chai: één op basis van de Algemene Verordening Gegevensbescherming, en één op basis van de Consumentenbescherming, bij gebrek aan specifieke AI-regulering. Het is een broodnodige en lovenswaardige eerste stap, die als model kan dienen voor gelijkaardige initiatieven.

Maar er is veel meer nodig, ook op wetgevend vlak. Europa werkt eraan, maar vordert traag. De huidige versie van de Europese AI Act erkent en reguleert de risico’s van ‘persoonlijke AI vriendjes’ ook onvoldoende. De gevaren van AI beperken, en tegelijk de vele nuttige toepassingen ervan stimuleren, is een moeilijke maar ook cruciale evenwichtsoefening. Want we mogen het enorme nuttige potentieel van AI niet overboord gooien samen met de risicovolle toepassingen. Net zoals het zou fout zijn om levensreddende geneesmiddelen te bannen samen met die hypothetische designerdrugs van Big Brother. Het kind en het badwater…

Wat nu?

In de eerste plaats is er nood aan bewustwording, educatie, en een open gesprek over hoe we AI-technologie in onze cultuur en samenleving willen inpassen. Dat gesprek moet gaan over hoe nieuwe AI innovaties kunnen bijdragen aan onze gezondheid, het klimaat en energievraagstuk, de landbouw, het onderwijs, de arbeidsmarkt, mobiliteit, en veel meer. Maar ook over soms slecht begrepen risico’s en onzekerheden, zoals die van persoonlijke AI vriendjes. Politiek en media hebben hier een belangrijke rol te spelen. Beste politici, laat ons niet wachten op Europa, daar hebben we de tijd niet voor. En, beste media, MyAI heeft geen reclame nodig, onze kinderen verdienen een kritischere blik. De Nederlandse NOS gaf alvast een mooie aanzet.

 

How the EU's Digital Services Act poses risks to fundamental rights and democracy

(Published on Brussels Report, 11 September 2023.)

The Digital Services Act (DSA) aims to provide a European solution to an important societal challenge: illegal content and misinformation online. These are real and significant problems, for which new legislation was needed indeed. The DSA was developed and approved during the pandemic. It is a lengthy and complex text, and I believe it received insufficient political and public scrutiny.

The DSA does contain highly valuable provisions, e.g. providing mechanisms for fighting child abuse and for enforcing transparency requirements in online advertising and recommendation systems. However, there are also concerning parts, which may undermine fundamental rights, especially freedom of expression and information, a cornerstone of European democracies and enshrined as Article 11 of the EU Charter of Fundamental Rights. In this opinion piece, I summarize my understanding of some key points in the DSA, omitting technical details and nuances, and emphasizing those potential risks.

-        The DSA requires that online platforms make it easy for anyone to report allegedly illegal content. Online platforms (and providers of so-called ‘hosting services’ more generally), such as social media platforms, must provide user-friendly mechanisms that allow anyone to ‘notify’ (i.e. flag or report) content on the platform (e.g., a message on X) that they believe to be illegal (Art 16).

-        Online platforms become liable for reported content. Once notified, platforms (e.g., X) become liable for the notified content, if it is indeed illegal (Art 6, and Art 16 paragraph 3). They then must quickly take appropriate action against it (suppression, removal of the content, suspension or blocking of the author...) (Art 16).

-        Notices submitted by so-called Trusted Flaggers must be handled with priority. Trusted Flaggers are organizations that will be certified as such by the so-called national Digital Service Coordinators (DSCs) (see below and Art 49-51). Platforms must handle notices submitted by Trusted Flaggers as a matter of priority (Art 22). Trusted Flaggers who too often notify content inaccurately can lose their privileged status, but risk nothing more than that (Art 22, par 6-7).

-        Complaint and redress procedures must be established, but they will take time. Complaint and redress procedures must be established and clearly communicated (see e.g. Art 16 par 5, and Art 17 par 3(f)). Such procedures must include an internal complaint-handling system (Art 20), out-of-court dispute settlement bodies (Art 21), and judicial redress. However, these procedures can drag on for months, during which time the measure (suppression, removal, etc.) remains in force.

-        Terms & Conditions (T&Cs) are used as a means against undesirable (but not illegal) content. Notifications can compel a platform to take measures for two possible reasons (e.g., Art 17 par 1):

1.     because the platform also deems the content to be illegal (or, perhaps more often, because it does not have the time or resources to investigate, and thus prefers to err on the side of caution), or

2.     because the content violates the platform's T&Cs (but is not necessarily illegal).

Remarkably, the DSA explicitly highlights the possibility for online platforms to rely on Trusted Flaggers or similar mechanisms for policing content that is incompatible with their T&Cs (e.g., Recital 62). This contrasts with the stated role of Trusted Flaggers as flagging illegal content (Art 22).

-        Mandatory risk assessments and mitigating measures allow the European Commission to influence the T&Cs, content moderation policies, and more, of very large online platforms. Very large online platforms and search engines (X, Facebook, YouTube, Instagram, Google, Snapchat, TikTok, etc.) are required to regularly perform analyses of “systemic risks” (Art 34) and take mitigating measures (Art 35). This may include tightening and extending their T&Cs, strengthening their cooperation with Trusted Flaggers, altering their algorithms, etc. Such risk assessments explicitly go beyond illegal content: they aim to address allegedly deceptive content and disinformation (see also Recital 84). As such, the DSA grants the European Commission not only the power to suppress illegal content, but also content they consider undesirable because it is allegedly detrimental to ‘civic discourse’, public security, public health, and more.

-        A crisis response mechanism provides an additional mechanism for the European Commission to exert control over non-illegal content. In times of ‘crisis’ (proclaimed by the European Commission itself, on the initiative of the new European Board for Digital Services), such as a threat to security or public health, the European Commission can demand additional measures from the very large platforms and search engines (Art 36 and 48, and Recital 91). These measures, which may include adjusting the T&Cs and the content moderation processes, intensifying cooperation with Trusted Flaggers, etc., must then be taken by these platforms as a matter of urgency.

-        Codes of Conduct provide a further mechanism for the European Commission to exert control over non-illegal content. The European Commission will ‘encourage’ the drafting and adherence to ‘voluntary’ Codes of Conduct for the sector (including quantifiable KPIs and the obligation to report regularly to the Commission and the relevant Digital Service Coordinator). The purpose is not only to combat illegal content, but also the so-called ‘systemic risks’ (Art 45), with specific references to ‘disinformation’ (Recital 104). The phrasing of Art 45 and its motivation (e.g. Recitals 103 and 104) almost read like “an offer they can't refuse”.

-        Transparency is limited. There are various provisions concerning transparency (e.g., Art 15, 17, 22 par 3, 24, and 42, and Recital 122), but these are mostly at an aggregated level, rather than at the level of individual content and content moderations. This makes independent scrutiny of the impact on freedom of expression and information very difficult.
DSCs will have the authority to grant a ‘vetted researcher’ status to particular researchers. Very large online platforms and search engines can then be compelled to provide these vetted researchers with access to data for the purpose of investigating systemic risks in the European Union, and for assessing the adequacy, efficiency and impacts of the risk mitigation measures. Unfortunately, the ‘technical conditions’ (which data, which permitted purposes, etc) are yet to be determined, and the power to do this is delegated to the European Commission (Art 40 par 13).

-        Fines for non-compliance are exorbitant, but not for transgressions of fundamental rights. Fines for non-compliance with the obligations under the DSA are exorbitant: up to 6% of the global annual turnover (Art 52 and 74). The DSA also does pay occasional lip service to fundamental rights, including freedom of expression and information (e.g., Art 35 par 3 and Recitals 86 and especially 153). However, I could not find anything about fines for overzealous ‘content moderation’ that violates these fundamental rights. It all remains very vague, without concrete guarantees. The DSA asserts one’s right to file a complaint (Art 53), and to request compensation in case of loss or damage resulting from non-compliance with the DSA (Art 54). But it is doubtful whether a violation of fundamental rights (especially freedom of expression and information) will be recognized as non-compliance with the DSA.

It is hard to shake the feeling that it was a mistake to write and approve this Act between 2020 and 2022, during the pandemic when authorities were struggling to control the global narrative. In my opinion, the European regulator went grocery shopping on an empty stomach, which is never wise.

It is now up to the members states to implement the DSA in such a way that the risks to our fundamental rights and to the foundations of our European democracies remain as small as possible.

Recht van antwoord: Het echte verhaal van de pandemie.

Op 11 maart, ongeveer 3 jaar na de eerste lockdown, schreef Joël De Ceulaer over het ‘echte’ verhaal van de pandemie. Een verhaal dat volgens hem onderbelicht bleef. In dat verhaal ben ik een “merchant of doubt”, en heeft het Wintermanifest “de sfeer wat verziekt” en “bruggen geslagen met twijfelachtige twijfelaars”. Een invloedrijk journalist die zijn eigen visie verkoopt als enige juiste is gevaarlijk. Daarom wil ik graag een en ander rechtzetten.

Het artikel begint onschuldig: het breekt een lans voor luchtkwaliteit. Daar kan niemand tegen zijn. De voordelen beperken zich niet tot infectiecontrole: zuiverdere lucht draagt bij tot een betere gezondheid, concentratievermogen en meer van dat goeds. Maar het nut van een schoneluchtrevolutie als dé grote les van de pandemie voorstellen, dat is grotesk. Ik steun de strijd voor een betere luchtkwaliteit. Maar Covid was en is onontkoombaar, met of zonder zuivere lucht.

Wie een nul-risico nastreeft is natuurlijk niet ontvankelijk voor die boodschap. Zo iemand klampt zich onwillekeurig vast aan elke strohalm die zich aandient. En zo werd die schone lucht voor sommigen een miskende deus ex machina.

Schijnbaar op zoek naar strohalmen interviewde De Ceulaer, naast de gebruikelijke overheidsadviseurs, bijna alleen COVID-hardliners. Zo lazen zijn lezers dat we richting ZeroCOVID moesten, dat elke schooldag een potentieel superverspreiderevent was, dat kinderen de rol speelden van motor, hulpmotor, carburator, en katalysator van de pandemie, dat Long COVID een gigantisch probleem was (ook bij kinderen en na asymptomatische infectie), dat de mentale kost van de COVID-maatregelen overroepen was, dat een vaccinatiepaspoort haast onvermijdelijk was, dat zachte maatregelen meer schade veroorzaakten dan harde, en meer van dat soort inzichten. Geen probleem natuurlijk dat die mensen en hun standpunten in de media komen, ik bestudeer graag hun argumenten. Maar een wetenschappelijke consensus was dat allerminst. De lezers kregen maar één kant te zien, verpakt als Enige Waarheid.

Hij onthield uit zijn interviews ook dat “mondmaskers werken”. Een beetje wetenschapper (en journalist) stelt zich dan de vraag: wat betekent dat? ‘Werken’ voor wat? Op welke termijn? Voor wie? Onder welke omstandigheden? De Morgen had beter daar een artikel aan gewijd, in plaats van de bewering te publiceren dat de Cochrane-mondmaskerstudie door experts “vakkundig gesloopt” is. Daar is namelijk niets van aan. Maar je moet natuurlijk wel lezen wat er staat.

Die studie zegt dat het effect van een algemene mondmaskerdracht ("community masking") op de verspreiding van respiratoire virussen zoals griep of COVID waarschijnlijk klein of onbestaande is. Of dit deels ligt aan een gebrekkige naleving in de praktijk doet weinig ter zake: mensen zijn geen robots die je controleert met een druk op de juiste knop, tot spijt van wie het benijdt. De studie impliceert niet dat er geen individueel voordeel kan zijn van het dragen van een mondmasker. En nee, dat is geen contradictie. Bijvoorbeeld voor (de naasten van) mensen die tijdelijk verzwakt zijn kan het nauwgezet dragen van een goed mondmasker een gepaste keuze zijn. Net zoals voor zorgmedewerkers in specifieke situaties. Maar op populatieniveau: weinig tot geen effect te zien.

Wie is dan de “merchant of doubt”? Iemand die middels het verspreiden van objectieve onwaarheden twijfel zaait over een Cochrane-studie, nota bene de gouden standaard van Evidence-Based Medicine? Of iemand die dat aanklaagt?

De Ceulaer vroeg mij voor zijn artikel wat ík zou gedaan hebben in maart 2020. Het was de énige vraag waar hij een antwoord op wilde. Was het risico op een genuanceerd gesprek hem te groot? Hij wist natuurlijk al dat hij zou schieten, en zocht enkel nog munitie. Aangezien masochisme me vreemd is en ik dus paste voor zijn vraag, deed hij dan maar zijn ding met een selectieve quote uit een blogpost die ik schreef in april 2020. Daarin opperde ik (met veel caveats en kanttekeningen) om kwetsbaren te beschermen en anderen hun leven zo snel mogelijk te laten hernemen, rekening houdend met de zorgcapaciteit. Het is opmerkelijk dat De Ceulaer dacht me te discrediteren door te wijzen op gelijkenissen met wat de Great Barrington Declaration (GBD) bepleitte. De GBD werd pas een half jaar later gepubliceerd, op initiatief van een internationaal all-stars team van epidemiologen, biostatistici, artsen,... Perfect was ook de GBD natuurlijk niet, en ik heb ze niet ondertekend. Maar ze pleitte wel terecht voor een beter evenwicht. Daarmee sloot ze aan bij zowat alle vooraf bestaande pandemieplannen. Lockdowns, zonder onderscheid naar risico, kwamen daar namelijk niet in voor.

Wie is dan de “merchant of doubt”? Iemand die twijfel zaait over bestaande plannen? Of iemand die solide argumenten vraagt vooraleer er van af te wijken? Terzijde: De Ceulaer ontleende zijn verwijt “merchant of doubt” aan Gavin Yamey en David Gorski, die de GBD op dezelfde manier probeerden te framen - overigens ook zonder inhoudelijke argumenten.

Het Zweedse beleid lijkt wellicht het best op de GBD-strategie: bestaande plannen volgen in plaats van improviseren; informeren en vertrouwen in plaats van dwang; langetermijnvisie in plaats van paniekbeleid; holistisch perspectief in plaats van paardenbril; jeugd vrijwaren in plaats van als virusverspreiders beschouwen (schone lucht of niet: scholen open was altijd de juiste keuze geweest). Perfect was het ook in Zweden niet: in de WZCs heeft men ouderen onvoldoende beschermd. Desalniettemin is het Zweedse resultaat na drie jaar op zowat alle vlakken superieur: oversterfte en levensverwachting, verlies aan kwalitatieve levensjaren, leerverlies en ongelijkheid, (psychisch) welzijn in het bijzonder bij kinderen en adolescenten, economie, vaccinatievertrouwen,... De Ceulaer beweert op basis van over het paard getilde modellen dat de GBD-strategie tot tienduizenden extra doden zou hebben geleid. Zweden bewijst zijn ongelijk: zijn uitspraak is zowel ongegrond als kortzichtig.

Het riedeltje dat het bosrijke Zweden het onvergelijkbaar makkelijker had dan België is nonsens. De Zweedse bevolkingsdichtheid, indien juist gekwantificeerd (namelijk: de dichtheid waar er überhaupt iemand woont), ligt tussen de Belgische en Nederlandse in. Per capita telde Zweden trouwens minder dan half zoveel IZ- en ziekenhuisbedden. De Zweedse bevolking zou meer vertrouwen hebben in de overheid, maar dat verschil is beperkt. Bovendien: wat is oorzaak en gevolg? Vertrouwen krijg je maar als je het ook geeft.

Over dat Zweden is in de meeste media een omerta neergedaald. De cognitieve dissonantie is groot, en een zelfgecreëerde pensée unique doorbreken vraagt moed. Soms is het moeilijker “merchant of doubt” te zijn wanneer dat gepast is dan wanneer dat niet zo is.

Gelukkig zijn er universiteiten: de groothandels in gefundeerde twijfel. Daarom is het nefast voor het wetenschappelijk en maatschappelijk debat wanneer een vooringenomen journalist de geloofwaardigheid aanvalt van academici die hun job doen, en tegelijk een Cochrane-review onterecht wegzet als “vakkundig gesloopt”. Daarom vind ik het verontrustend dat De Ceulaers artikel applaus kreeg van mensen die dat debat zouden moeten bewaken. Mensen die tegelijk pertinent weigeren er inhoudelijk aan bij te dragen, en die hun macht zelfs aangrijpen om het debat actief de kop in te drukken. Een concreet voorbeeld: ik nomineerde de Zweedse staatsepidemioloog Anders Tegnell voor een institutioneel eredoctoraat aan de UGent, maar het dossier werd op het hoogste niveau tegengehouden. Het Bestuurscollege heeft er zelfs niet over mogen beraadslagen.

Het bewijst nogmaals dat echte academische vrijheid meer is dan de negatieve invulling die sommige academische gezagsdragers eraan geven. Er is veel meer voor nodig dan bescherming tegen ontslag, of tegen expliciete de-platforming of canceling. Het vereist het creëren en actief instandhouden van een vrijhaven voor onbevangen en inhoudelijk debat, vrij van dogma’s en moralisering. En het vereist een medialandschap dat recht doet aan alle wetenschappelijke en maatschappelijke perspectieven.

Misschien is dát wel een van de grote verhalen van de pandemie.

Tijl De Bie