Stasi 2.0

Detta är en kommentar. Kommentaren ger uttryck för skribentens åsikter

I den prisbelönta tyska filmen De andras liv från 2006 finns en scen där huvudpersonen, Stasi-agenten Gerd Wiesler, har degraderats. I stället för att vara den ledande utredaren sitter han nu i ett dåligt upplyst rum i Stasis högkvarter i Berlin med läslampa och ångapparat och öppnar kuvert.

I det tidigare DDR övervakade Ministeriet för Statssäkerhet, populärt känt som Stasi, alla medborgares korrespondens med familjemedlemmar och vänner i väst. Alla brev som skulle ut ur landet gjorde en resa förbi Stasi-högkvarteret, där de öppnades och lästes av en anställd på ministeriet innan de – eventuellt – vidarebefordrades till mottagaren.

Men Ministeriet för Statssäkerhet upplöstes 1990, medan DDR senare samma år återförenades med Förbundsrepubliken Tyskland. Och scener som skildras i den Oscarsbelönade filmen hörde nu hemma i historieböckerna.

Naturligtvis, för den typ av total övervakning som Stasi-agenternas genomsökning av alla medborgares privata brev var ett exempel på, hör inte hemma i västerländska demokratier där brevhemlighet råder, och privatlivets integritet i allmänhet är okränkbar.

I det godas tjänst

Därför är EU-kommissionens aktuella förslag till ett nytt direktiv, som syftar till att skydda barn mot sexuella övergrepp, chockerande läsning.

Förslaget, som publicerades den 11 maj, har i stort sett inte fått någon uppmärksamhet i svenska medier, trots att de nya reglerna, om de antas i den form som EU-kommissionen vill, är det största hotet mot den personliga integriteten i Europa sedan den statliga övervakningen i DDR upphörde.

Syftet med förslaget, som har rubriken ”Regulation of the European Parliament and of the Council laying down rules to prevent and combat child sexual abuse” och som också kan läsas här, är sympatiskt och viktigt.

Enorma mängder bilder av sexuella övergrepp mot barn under 18 år delas via chattappar, och samma appar används ofta av vuxna för att grooma minderåriga för att få dem att delta i sexuella aktiviteter, påpekar EU-kommissionen. Därför behövs strikta regler för chattkontroll, som måste gälla för alla tjänster och appar som gör det möjligt för europeiska barn att kommunicera med andra på internet, oavsett om det är på mobil, dator, spelkonsol eller den alltid närvarande surfplattan.

Kommer att gälla för praktiskt taget alla chattappar och sociala medier

De föreslagna reglerna för chattkontroll är omfattande, men kärnan är följande:

1) I samarbete med myndigheterna måste alla relevanta tjänster – vanligtvis sociala medier och chattappar som Facebook Messenger, Instagram, Snapchat, TikTok, WhatsApp osv, men också spelplattformar som Discord och Twitch – avgöra om de utgör en risk för barn.

Som utgångspunkt utgör en viss tjänst en risk om den kan användas och vanligen också används av barn. Endast tjänster som till exempel verifierar alla användares identitet och inte ger tillgång till minderåriga – eller som endast används i ytterst begränsad utsträckning av barn, som exempelvis LinkedIn – kommer att betraktas som säkra.

Med andra ord kommer praktiskt taget alla sociala medier och chattappar som vi alla använder dagligen för en stor del av vår kommunikation, i praktiken att få riskstämpeln och omfattas av EU:s nya chattkontroll.

2) En tjänst som utgör en risk får en så kallad spårningsorder. Föreläggandet ålägger leverantören att implementera AI-teknik – exakt vilken är inte närmare definierat, och en del av den nödvändiga tekniken kanske ännu inte ens finns – som ska kunna övervaka alla chattar i den aktuella appen. Syftet är att skanna innehållet efter barnpornografiska bilder samt konversationer där minderåriga utsätts för grooming.

Om den artificiella intelligensen upptäcker en överträdelse kommer det att vidarebefordras till ett nyinrättat EU-centrum, som fysiskt kommer att vara inrymt tillsammans med Europol i nederländska Haag.

Här granskas alla sådana anmälningar, och om granskarna anser att det föreligger ett brott överlämnas ärendet till Europol, som distribuerar det till de enskilda medlemsstaternas polismyndigheter.

EU-kommissionen accepterar 10 procent felträffar

Tyska teknikmediet Netzpolitik har bevakat förslaget om den föreslagna chattkontrollen intensivt och har bland annat avslöjat att EU-kommissionen räknar med en felkvot på 10 procent.

Den tyska regeringen är nämligen skeptisk till EU-kommissionens förslag och har skickat ett dokument med hela 61 frågor om tolkning, konsekvenser, genomförande m.m. till byråkraterna i Bryssel. Regeringen har bland annat frågat vad och hur mycket som kan göras för att undvika falska positiva träffar.

Svaren är inte offentliga, men förekommer i ett läckt dokument som publicerades av Netzpolitik den 29 juni. Där kan du läsa att EU-kommissionen uppskattar att den typ av chattkontrollprogramvara som ska kunna känna igen tecken på grooming av minderåriga, träffar rätt nio av tio gånger. Falska träffar kommer att sorteras bort vid den manuella granskningen av personalen vid ovannämnda EU-center, meddelar kommissionen.

Med andra ord förväntar sig och accepterar förslagsställarna att en av tio privata chattar som har stämplats som misstänkta och behöver granskas av en EU-anställd inte på något sätt innehåller misstänkt eller kränkande beteende.

Snarare, och detta är min personliga bedömning, kan det vara bilder eller konversationer som missförstås av artificiell intelligens. Till exempel om en tonårspojke skickar en bild till sin farbror för att visa vilka framsteg han har gjort med styrketräningen. Eller om en deprimerad tonåring chattar med en vuxen utanför familjen (som en lärare, tränare eller rådgivare) och de försöker uppmuntra och trösta ynglingen.

Men kryptering då?

Flera av de mest använda chattapparna, till exempel WhatsApp och Signal, garanterar sina användare att alla chattkonversationer är skyddade med så kallad end-to-end-kryptering. I korthet innebär det att allt innehåll krypteras innan det lämnar avsändarens mobil eller dator, och endast dekrypteras och kan läsas när det når mottagaren. Samtalsparternas enheter utbyter krypteringsnycklar så att endast de två har tillgång till innehållet i konversationen. Varken tjänste- eller internetleverantören kan tjuvläsa.

Om EU-kommissionens chattkontroller blir verklighet kan det innebära att vi måste säga adjö till end-to-end-kryptering. Det har annars införts av fler och fler tjänster de senaste åren, vartefter konsumenterna lagt mer och mer tonvikt på säkerhet. Inte minst mot bakgrund av en ökande hotnivå i samband med it-brottslighet.

Men om det blir ett lagkrav att tjänster måste kunna utföra chattkontroller och därmed skanna innehållet i alla konversationer, är det svårt att se hur det kan vara möjligt utan att stänga av krypteringen.

Enligt Netzpolitik ser EU-kommissionen framför sig att så kallad client-side-scanning kan vara en möjlig lösning. Där byggs tekniken in i appen, som skannar innehållet på mobilen eller datorn innan konversationen krypteras och skickas till mottagaren – mycket lik den teknik som Apple planerade att bygga in i iOS 15 för drygt ett år sedan.

Stasi 2.0

Jag skrev ovan att Europeiska kommissionens förslag enligt min mening är chockerande läsning och att reglerna, om de genomförs utan betydande förändringar, är det största hotet mot integriteten i Europa sedan den statliga övervakningen i DDR upphörde. I det här fallet på grund av ett paneuropeiskt ”ministerium för barnsäkerhet”.

Och det säger jag utan att darra på manschetten. Det handlar om att allas kommunikation via de mest utbredda chattapparna ständigt kommer att övervakas och skannas. Detta motsvarar helt att myndigheterna under DDR-eran öppnade alla brev och läste dem för att förhindra att någon skrev eller skickade något olagligt. Eller att alla telefonsamtal avlyssnades hela tiden.

Redan idag har Facebook och Google implementerat screeningteknik, som skannar och analyserar alla användares bilder. Varje bild tilldelas ett unikt hashvärde, som beräknas baserat på data i den bilden, och alla hashvärden jämförs med värdena i en databas med kända barnporr-bilder som hanteras av National Center for Missing and Exploited Children (NCMEC).

Men EU-kommissionens förslag är vida mer långtgående. Det är inte bara olagliga bilder av minderåriga som det måste skannas efter, utan även försök till grooming och förförelse i privata konversationer. Det går helt enkelt inte att göra utan att innehållet i alla chattkonversationer i alla appar läses och analyseras av artificiell intelligens – och om det anses misstänkt, läses manuellt av personal från ovannämnda EU-centrum.

Monitoring private conversations is “intrusive” but this is an acceptable balance because the algorithms do not “understand” the conversations.

Am I losing my mind, did actual thinking human beings write this text? pic.twitter.com/nON5xzPJM7

— Matthew Green (@matthew_d_green) May 11, 2022

Fundamental kränkning med långtgående konsekvenser

Att EU-kommissionen försäkrar oss alla om att detta inte alls är ett problem, eftersom den artificiella intelligensen ju inte ”förstår” samtalen, lugnar mig faktiskt inte (se Tweet ovan). Detta är en kränkning av alla medborgares fundamentala rätt till privatliv och en uppenbar kränkning av de mänskliga rättigheterna.

Om du, liksom den svenska EU-kommissionären Ylva Johansson som är ansvarig för inrikes frågor, tycker att reglerna är rättvisa och nödvändiga, tänk på vad tekniken skulle kunna användas till i framtiden.

Mot bakgrund av den ökande polariseringen i samhället, på grund av allvarliga kriser som koronaviruspandemin och kriget i Ukraina, är det inte svårt att föreställa sig att politiska krafter från den ena eller den andra kanten skulle vilja övervaka medborgarnas chattar efter andra kriterier. Och vips är vi inte bättre än Kina och andra totalitära stater.

Oskyldiga medborgare i myndigheternas strålkastarljus

Ovanstående felkvot på tio procent är inte heller något att ta lätt på. Det finns nästan 450 miljoner medborgare i EU. 67 miljoner av dem är barn. Det blir många, många miljoner chattar varje år – inklusive mellan barn och vuxna.  Hundratusentals helt normala och oskyldiga konversationer kommer att dyka upp som felaktiga träffar på den chattkontrollerande EU-personalens bord, där de kommer att läsas igenom.

Den som inte tror att hundratals – eller till och med tusentals – ogrundade husrannsakningar och utredningar mot oskyldiga medborgare kommer att äga rum är helt enkelt naiv.

Stängt för minderåriga

En annan möjlig konsekvens av EU-kommissionens förslag är förstås att de allra flesta sociala medier och chattappar skulle kunna stängas för personer under 18 år.

Om en viss tjänst väljer att kontrollera alla användares identitet och utesluta minderåriga i förväg, kan appen slippa riskstämpeln och till exempel fortsätta garantin om end-to-end-kryptering. Naturligtvis innebär det ett farväl till alla typer av anonymitet som kan vara avgörande för människor som lever under osäkra förhållanden, såsom politiska aktivister, journalister, minderåriga transpersoner, migranter, flyktingar eller andra förföljda.

This document is the most terrifying thing I’ve ever seen. It is proposing a new mass surveillance system that will read private text messages, not to detect CSAM, but to detect “grooming”. Read for yourself. pic.twitter.com/iYkRccq9ZP

— Matthew Green (@matthew_d_green) May 10, 2022

Övervakning inte förenligt med demokratiska värderingar

EU-länderna, tillsammans med andra västländer, visar stor solidaritet med Ukraina eftersom vi anser det nödvändigt och oumbärligt att försvara grundläggande demokratiska värden och mänskliga rättigheter. Då är det skrämmande och häpnadsväckande att EU-kommissionen på allvar är beredd att införa en form av fullständig övervakning som inte ens Stasi hade kunnat föreställa sig.

Låt oss hoppas att EU-byråkraterna bara är förblindade av sina egna goda avsikter och att de kan fås att förstå de allvarliga långsiktiga negativa konsekvenserna om deras förslag blir verklighet.

Peter Gotschalk

(f. 1973): Chefredaktör L&B Home. Peter har arbetat för Ljud & Bild sedan 2012. Han har varit aktiv som teknikjournalist i många medier sedan 1998, bland annat som chefredaktör för prylmagasinet GEAR och som journalist för tidningarna PC World och Privat Computer. Peter skriver om mobiltelefoner och andra bärbara enheter samt om teknisk innovation, inklusive 5G, elektrisk mobilitet och smarta hem.