Stasi 2.0

I den prisbelønnede tyske film De andres liv fra 2006 er der en scene, hvor hovedpersonen, Stasi-agenten Gerd Wiesler, er blevet degraderet. I stedet for at være ledende efterforsker sidder han nu i et dårligt belyst rum i Stasi-hovedkvarteret i Berlin med en læselampe og et dampapparat og åbner kuverter.

I det tidligere DDR overvågede Ministeriet for Statssikkerhed, i folkemunde kendt som Stasi, nemlig alle borgeres korrespondence med familiemedlemmer og venner i Vesten. Alle breve, der skulle ud af landet, kom en tur forbi Stasis hovedkvarter, hvor de blev åbnet og læst af en medarbejder fra ministeriet, inden de – eventuelt – blev sendt videre til modtageren.

Men Ministeriet for Statssikkerhed blev opløst i 1990, mens DDR senere samme år blev genforenet med Forbundsrepublikken Tyskland. Og scener som afbildet i den Oscar-belønnede film hørte nu udelukkende hjemme i historiebøgerne.

Naturligvis, for den form for totalovervågning, som Stasi-agenternes gennemlysning af alle borgeres private breve var et eksempel på, hører selvfølgelig ikke hjemme i vestlige demokratier, hvor der hersker brevhemmelighed, og privatlivets fred generelt er ukrænkelig.

I en god sags tjeneste

Derfor er EU-Kommissionens aktuelle forslag til et nyt direktiv, som har til formål at beskytte børn mod seksuelt misbrug, chokerende læsning.

Forslaget, som blev offentliggjort den 11. maj, har stort set ingen opmærksomhed fået i danske medier, til trods for at de nye regler, hvis de vedtages i den form, som EU-Kommissionen ønsker, er den største trussel mod privatlivets fred i Europa, siden den statslige totalovervågning i DDR ophørte.

Umiddelbart er formålet med forslaget, som har fået overskriften “Regulation of the European Parliament and of the Council laying down rules to prevent and combat child sexual abuse” og i øvrigt kan læses her, sympatisk og anerkendelsesværdigt.

Der deles enorme mængder billeder af seksuelt misbrug af børn under 18 via chat-apps, ligesom de samme apps i stor stil bruges af voksne til grooming af mindreårige for at få dem til at deltage i seksuelle aktiviteter, påpeger EU-Kommissionen. Derfor er der brug for strenge regler om chatkontrol, som skal gælde for alle tjenester og apps, der gør det muligt for europæiske børn at kommunikere med andre på internettet, uanset om det er på mobilen, computeren, spilkonsollen eller den allestedsnærværende tablet.

Vil gælde stort set alle chat-apps og sociale medier

De foreslåede regler om chatkontrol er omfangsrige, men essensen er som følger:

1) I samarbejde med myndighederne skal alle relevante tjenester – typisk sociale medier og chat-apps som Facebook Messenger, Instagram, Snapchat, TikTok, WhatsApp osv., men også spilplatforme som Discord og Twitch – tage stilling til, om de udgør en risiko for børn.

Som udgangspunkt vil der være tale om, at en given tjeneste udgør en risiko, hvis den kan bruges og typisk også bliver brugt af børn. Kun tjenester, der f.eks. kontrollerer alle brugeres identitet og ikke giver adgang til mindreårige – eller som kun i ekstremt begrænset omfang anvendes af børn, EU-Kommissionen nævner LinkedIn som eksempel – vil blive betragtet som sikre.

Med andre ord vil stort set samtlige sociale medier og chat-apps, som vi alle sammen bruger dagligt til en stor del af vores kommunikation med andre, i praksis få risiko-stemplet og blive underlagt den nye EU-chatkontrol.

2) En tjeneste, som udgør en risiko, vil modtage et såkaldt opsporingspåbud. Påbuddet forpligter udbyderen til at implementere teknologi med kunstig intelligens – præcis hvilken er ikke nærmere defineret, og noget af den krævede teknologi eksisterer muligvis slet ikke endnu – som skal kunne overvåge alle chats i den pågældende app med det formål at scanne indholdet for børnepornografiske billeder samt samtaler, hvor mindreårige bliver udsat for grooming.

Hvis den kunstige intelligens registrerer en overtrædelse, vil det pågældende fund blive sendt videre til et nyoprettet EU-center, der fysisk vil få til huse sammen med Europol i den hollandske hovedstad, Haag.

Her gennemgås alle de førnævnte anmeldelser, og vurderer medarbejderne, at der er tale om strafbart forhold, bliver sagen overdraget til Europol, der fordeler videre til de enkelte medlemslandes politimyndigheder.

EU-Kommissionen accepterer en fejlkvote på 10 procent

Det tyske tech-medie Netzpolitik har dækket sagen om den foreslåede chatkontrol intenst og har bl.a. afsløret, at EU-Kommissionen forventer en fejlkvote på 10 procent.

Den tyske regering er nemlig skeptisk over for EU-Kommissionens forslag og har sendt et dokument med hele 61 spørgsmål om fortolkning, konsekvenser, implementering osv. til bureaukraterne i Bruxelles. Bl.a. har regeringen spurgt, hvad og hvor meget der kan gøres for at undgå falske positive træffere.

Svarene er ikke offentlige, men fremgår af et lækket dokument, som Netzpolitik har publiceret den 29. juni. Og her kan man læse, at EU-Kommissionen vurderer, at den type chatkontrol-software, som angiveligt er i stand til at genkende tegn på grooming af mindreårige, rammer rigtigt ni ud af ti gange. Falske træffere vil blive bortsorteret, når fundet gennemgås manuelt af medarbejderne fra førnævnte EU-center, meddeler Kommissionen.

Med andre ord forventer og accepterer forslagsstillerne, at hver tiende private chat, der er blevet stemplet som mistænkelig og skal gennemlæses af en EU-medarbejder, ikke på nogen måde indeholder mistænkelig eller krænkende adfærd.

Snarere – og dette er min personlige vurdering – kan der være tale om billeder eller samtaler, som misforstås af den kunstige intelligens. F.eks. hvis en teenagedreng sender et billede til sin onkel for at vise, hvilke fremskridt han har gjort med styrketræningen. Eller hvis en deprimeret teenager chatter med en voksen uden for familien (f.eks. en lærer, træner eller rådgiver), og vedkommende forsøger at opmuntre og trøste den unge.

Hvad med kryptering?

Flere af de mest udbredte chat-apps, f.eks. WhatsApp og Signal, garanterer deres brugere, at alle chatsamtaler beskyttes ved hjælp af såkaldt end-to-end kryptering. Det betyder kort fortalt, at alt indhold krypteres, inden det forlader afsenderens mobil eller computer, og først afkrypteres og kan læses, når det når frem til modtageren. Samtalepartnernes enheder udveksler krypteringsnøgler, så det kun er de to indbyrdes, der har adgang til samtalens indhold. Hverken tjeneste- eller internetudbyderen kan læse med.

Hvis EU-Kommissionens chatkontrol bliver til virkelighed, betyder det muligvis, at vi må sige farvel til end-to-end kryptering, som ellers er blevet indført af flere og flere tjenester igennem de seneste år, i takt med at forbrugerne lægger mere og mere vægt på sikkerhed. Ikke mindst set i lyset af et stigende trusselsniveau i forbindelse med cyberkriminalitet.

Men hvis det bliver et lovkrav, at en given tjeneste skal være teknisk i stand til at udføre chatkontrol og dermed scanne indholdet af alle samtaler, er det svært at se, hvordan det skal kunne lade sig gøre uden at slukke for krypteringen.

Ifølge Netzpolitik forestiller EU-Kommissionen sig, at såkaldt client-side-scanning kan være en mulig løsning. Her indbygges teknologi i app’en, som scanner indholdet på mobilen eller computeren, inden samtalen krypteres og sendes til modtageren – meget lig den teknologi, som Apple for godt et år siden planlagde at indbygge i iOS 15.

Stasi 2.0

Jeg skrev ovenfor, at EU-Kommissionens forslag efter min mening er chokerende læsning, og at reglerne, hvis de bliver gennemført uden væsentlige ændringer, er den største trussel mod privatlivets fred i Europa, siden den statslige totalovervågning i DDR ophørte. I dette tilfælde takket være et fælleseuropæisk “Ministerium for børnesikkerhed”.

Og det siger jeg uden at ryste på hænderne. Der er immervæk tale om, at alles kommunikation via de mest udbredte chat-apps vil blive overvåget og scannet konstant. Det svarer fuldstændig til, at myndighederne som i DDR-tiden åbnede samtlige breve og læste dem for at forhindre, at nogen skrev eller sendte noget ulovligt. Eller til, at alle telefonsamtaler blev aflyttet hele tiden.

Allerede i dag har Facebook og Google implementeret screening-teknologi, som scanner og analyserer alle billeder hos alle brugere. Hvert billede tildeles en unik hash-værdi, som beregnes baseret på data i det pågældende billede, og alle hash-værdier sammenlignes med værdierne i en database over kendte børnepornobilleder, der vedligeholdes af det amerikanske “National Center for Missing and Exploited Children” (NCMEC).

Men EU-Kommissionens forslag er langt mere vidtgående. Det er ikke bare ulovlige billeder af mindreårige, der skal scannes efter, men forsøg på grooming og forførelse i private samtaler. Det lader sig simpelthen ikke gøre, uden at indholdet af alle chatsamtaler i alle apps bliver læst og analyseret af kunstig intelligens – og hvis der er en træffer, læst manuelt af medarbejdere fra førnævnte EU-center.

Monitoring private conversations is “intrusive” but this is an acceptable balance because the algorithms do not “understand” the conversations.

Am I losing my mind, did actual thinking human beings write this text? pic.twitter.com/nON5xzPJM7

— Matthew Green (@matthew_d_green) May 11, 2022

Fundamental krænkelse med vidtrækkende konsekvenser

At EU-Kommissionen forsikrer os allesammen om, at det slet ikke er noget problem, fordi den kunstige intelligens jo ikke “forstår” samtalerne, beroliger mig sjovt nok ikke (se Tweet ovenfor). Her er der tale om en fundamental krænkelse af alle borgeres ret til privatliv og en himmelråbende overtrædelse af menneskerettighederne.

Hvis du ligesom den svenske EU-kommissær Ylva Johansson, der er ansvarlig for indre anliggender, mener, at reglerne er rimelige og nødvendige, så tænk lige over, hvad teknologien vil kunne blive brugt til i fremtiden.

I lyset af den stigende polarisering i samfundet på grund af alvorlige kriser som coronapandemien og krigen i Ukraine er det ikke svært at forestille sig, at politiske kræfter fra den ene eller den anden fløj ville kunne ønske sig at overvåge borgernes chatsamtaler efter andre kriterier. Og vupti, så befinder vi os samme sted som Kina og andre ægte totalitære stater.

Uskyldige borgere i myndighedernes søgelys

Ovennævnte fejlkvote på ti procent er heller ikke til at spøge med. Der er knap 450 millioner borgere i EU. 67 millioner af dem er børn. Det bliver til mange, mange millioner chatsamtaler hvert år – også mellem børn og voksne – hvoraf hundredtusindvis af helt normale og uskyldige, men immervæk private samtaler vil dukke op som fejlagtige træffere på de chatkontrollerende EU-medarbejderes bord, hvor de vil blive gennemlæst.

Enhver, der forestiller sig, at der ikke også vil finde hundredvis – eller sågar tusindvis – af ubegrundede ransagninger og efterforskninger sted imod uskyldige borgere på det grundlag, er simpelthen naiv.

Lukket land for mindreårige

En anden mulig konsekvens af EU-Kommissionens forslag er naturligvis, at langt de fleste sociale medier og chat-apps kan blive lukket land for personer under 18.

Hvis en given tjeneste vælger at kontrollere alle brugeres identitet og på forhånd udelukke mindreårige, så kan app’en slippe for det indgribende risiko-stempel og f.eks. fastholde garantien om end-to-end kryptering. Det betyder selvfølgelig også et farvel til enhver form for anonymitet, som kan være livsvigtig for mennesker, der lever under prekære forhold, f.eks. politiske aktivister, journalister, mindreårige transpersoner, migranter, flygtninge eller andre forfulgte.

This document is the most terrifying thing I’ve ever seen. It is proposing a new mass surveillance system that will read private text messages, not to detect CSAM, but to detect “grooming”. Read for yourself. pic.twitter.com/iYkRccq9ZP

— Matthew Green (@matthew_d_green) May 10, 2022

Totalovervågning ikke foreneligt med demokratiske værdier

I en tid, hvor EU-landene sammen andre vestlige lande udviser stor solidaritet med Ukraine, fordi vi finder det nødvendigt og uomgængeligt at forsvare fundamentale demokratiske værdier og menneskerettigheder, er det skræmmende og forstemmende, at EU-Kommissionen i ramme alvor er parat til at indføre en form for totalovervågning, som selv Ministeriet for Statssikkerhed i det tidligere DDR næppe havde kunnet forestille sig.

Lad os håbe, at EU-bureaukraterne blot er forblændet af deres egne gode hensigter, og at de kan bringes til at forstå de alvorlige langtrækkende og negative konsekvenser, skulle deres forslag blive til virkelighed.