TikTokin ja Metan algoritmikisa vaaransi käyttäjien turvallisuuden – ilmiantajat paljastavat
Suurten sosiaalisen median yhtiöiden sisäpiiriläiset ja ilmiantajat kertovat, että TikTok ja Meta (Facebook ja Instagram) ottivat tietoisia riskejä käyttäjien turvallisuuden kustannuksella voittaakseen algoritmeihin perustuvan ”huomiokilpailun”. Yhtiöt tiesivät, että suuttumusta ja kohua herättävä sisältö sitouttaa käyttäjiä tehokkaimmin – ja päästivät sitä tarkoituksella enemmän käyttäjien syötteisiin.
Ilmiantajat: vihapuhe, väkivalta ja seksuaalinen kiristys jäivät bisneksen jalkoihin
BBC:n dokumenttia varten yli tusina ilmiantajaa ja entistä työntekijää kuvaili, miten somejätit laskivat rimaa sisällön moderoinnissa, kunhan käyttäjien huomio ja käyttöaika kasvoivat. Esille nousivat erityisesti väkivaltaan kannustava sisältö, seksuaalinen kiristys, lasten hyväksikäyttöön viittaavat materiaalit ja terrorismiin liittyvät julkaisut.
Metan insinööri kertoo, että johtotaso ohjeisti sallimaan aiempaa enemmän niin sanottua ”rajatapaus”-sisältöä – esimerkiksi naisvihamielisiä julkaisuja ja salaliittoteorioita – jotta Facebook ja Instagram pysyisivät TikTokin vauhdissa. Hänen mukaansa perusteluna oli suoraan yhtiön osakekurssin lasku.
Samanlainen kehitys näkyy myös muissa some-ilmiöissä. Esimerkiksi kotimaisessa keskustelussa on herättänyt huolta se, miten terveysriskejä vähättelevä sisältö pääsee leviämään suosikkivaikuttajien kautta – tästä esimerkkinä Jaakko Parkkalin solarium-videoon liittynyt kohu ja siihen liitetyt ihosyöpäriskit, joka nosti pintaan sen, miten algoritmit palkitsevat provosoivaa sisältöä myös silloin, kun se voi vaarantaa seuraajien terveyden.
TikTokin sisäinen näkymä: poliitikot etusijalla lasten turvallisuuden kustannuksella
TikTokin työntekijä antoi BBC:lle harvinaisen pääsyn yhtiön sisäisiin valvontatyökaluihin ja käyttäjien tekemien valitusten näkymiin. Hänen mukaansa työntekijöitä ohjeistettiin priorisoimaan poliitikkoihin liittyviä tapauksia useiden lasten ja nuorten turvallisuutta koskevien raporttien edelle.
Ilmiantajan mukaan päätöksiä tehtiin ensisijaisesti siksi, että haluttiin ”ylläpitää vahvoja suhteita” poliittisiin päättäjiin ja näin välttää sääntelyä tai mahdollisia käyttökieltoja – ei siksi, että käyttäjien, erityisesti lasten, riskejä olisi arvioitu objektiivisesti.
Yhdessä tapauksessa poliitikkoa pilkkaava video, jossa tätä verrattiin kanaan, arvioitiin korkeammalle prioriteetille kuin 17-vuotiaan ranskalaisnuoren ilmoitus kyberkiusaamisesta ja identiteettivarkaudesta, tai 16-vuotiaan irakilaisen tytön raportti hänestä jaetuista seksuaalisista valheellisista kuvista. Jälkimmäisessä oli kyse selkeästä seksuaalisesta kiristyksestä korkean riskin maassa, mutta tapauksen kiireellisyyttä ei nostettu.
Algoritmit mustana laatikkona – insinöörit näkevät vain ID-numeroita
TikTokin suositusjärjestelmän parissa 2020–2024 työskennellyt koneoppimisinsinööri Ruofan Ding kuvaa algoritmeja ”mustaksi laatikoksi”, jonka toimintaa on hyvin vaikea valvoa täysin turvallisesti. Hänen mukaansa insinöörit eivät juuri katso sisältöä itse – heille julkaisut ovat vain tunnisteita, numeroita, joiden perusteella mallit optimoivat sitoutumista.
Dingin mukaan sisällön turvallisuus oletettiin erillisten tiimien vastuulle, samaan tapaan kuin auton suunnittelussa eri tiimit vastaavat moottorista ja jarruista. Suositusjärjestelmää kehittävä tiimi ”painoi kaasua”, luottaen siihen, että moderointitiimit ”hoitavat jarrut”. Kun TikTok paransi algoritmia lähes viikoittain kasvattaakseen markkinaosuuttaan, Ding alkoi huomata, että rajatapaus-sisältöä alkoi tihkua käyttäjille erityisesti pitkien katselusessioiden loppupäässä.
Rajatapaus-sisällöllä tarkoitetaan laillista mutta haitallista materiaalia: naisvihamielisiä, rasistisia ja yliseksuaalisoituja julkaisuja sekä salaliittoteorioita, jotka ovat teknisesti sääntöjen rajoilla, mutta aiheuttavat käyttäjille haittaa.
Nuoret kertovat: algoritmi ruokkii vihaa ja radikalisoitumista
BBC:n haastattelemat teini-ikäiset kuvaavat, että ”älä näytä tällaista” -toiminto ei käytännössä toimi: väkivaltaista ja vihamielistä sisältöä pusketaan syötteeseen edelleen, vaikka sitä yrittäisi aktiivisesti välttää.
Yksi nuori, nykyään 19-vuotias Calum, kertoo kokeneensa tulleensa ”radikalisoiduksi algoritmin toimesta” jo 14-vuotiaasta lähtien. Hänelle näytettiin jatkuvasti videoita, jotka lietsoivat vihaa ja vahvistivat rasistisia ja naisvihamielisiä asenteita. Sisältö ”energisoitui” häntä, mutta väärällä tavalla: se vahvisti sisäistä vihaa ympäristöä ja muita ihmisiä kohtaan.
Iso-Britannian terrorisminvastaiset asiantuntijat, jotka seuraavat vuosittain tuhansia somejulkaisuja, kertovat havainneensa antisemitistisen, rasistisen, väkivaltaisen ja äärioikeistolaisen sisällön normalisoitumista. Ihmiset ovat heidän mukaansa turtuneet väkivaltaan ja uskaltavat jakaa äärimielipiteitään entistä avoimemmin.
Metan Reels-kiihdytys: 700 työntekijää kasvuun, mutta ei lisäresursseja turvallisuuteen
Metan vanhempi tutkija Matt Motyl kertoo, että TikTokia jäljittelevä Instagram Reels lanseerattiin vuonna 2020 ilman riittäviä turvatoimia. Metan sisäiset tutkimukset, jotka jaettiin BBC:lle, osoittivat, että Reelsin kommenttiosioissa esiintyi selvästi enemmän kiusaamista, häirintää, vihapuhetta ja väkivallalla uhkailua kuin muualla Instagramissa.
Yhtiö palkkasi 700 työntekijää kasvattamaan Reelsiä, mutta lasten suojelemiseen ei myönnetty kahden asiantuntijan lisäresursseja, eikä vaalien eheyttä turvaava tiimi saanut kymmentä pyytämäänsä työntekijää. Motylin mukaan turvallisuustiimit joutuivat jatkuvasti käymään ”voimatasapainotaistelua” Reels-tiimien kanssa, jotka vastustivat muutoksia, jos ne uhkasivat sitoutumista – ja siten mainostuloja.
Motyl luovutti BBC:lle kymmeniä sisäisiä tutkimusraportteja, joiden mukaan Facebook tiesi algoritmiensa aiheuttamista haitoista. Erään tutkimuksen mukaan alustan algoritmit tarjoavat sisällöntuottajille ”polun, joka maksimoi voitot yleisön hyvinvoinnin kustannuksella” ja että taloudelliset kannustimet eivät ”näytä olevan linjassa” yhtiön julkilausutun mission kanssa ”tuoda maailmaa lähemmäs toisiaan”.
Raportissa todetaan, että Facebook voi ”valita olevansa toimettomana ja syöttää käyttäjille pikaruokaa, mutta se toimii vain rajallisen ajan” – viitaten pinnalliseen, koukuttavaan mutta haitalliseen sisältöön.
Metan sisäinen paniikki TikTokista – rajatapaus-sisältö vapautettiin
Metan entinen insinööri, jota kutsutaan Timiksi, kertoo, että kun TikTokin suosio räjähti, Facebookissa alettiin tietoisesti löysätä rajatapaus-sisällön rajoituksia. Hänen tiiminsä oli aiemmin keskittynyt vähentämään tällaista sisältöä, mutta ”liiketoiminnan suunta” muuttui.
Tim kuvaa ilmapiiriä: ”Häviät TikTokille ja siksi osakekurssi kärsii. Ihmiset alkoivat muuttua paranoideiksi ja reaktiivisiksi: tehdään mitä tahansa, että päästään tasoihin. Mistä saamme 2–3 % lisää liikevaihtoa seuraavalle neljännekselle?” Hänen mukaansa päätös rajatapaus-sisällön rajoitusten purkamisesta tehtiin Metan huipputasolla, varatoimitusjohtajatasolla, joka raportoi suoraan Mark Zuckerbergille.
Samana ajankohtana Facebook julkisuudessa väitti olevansa vain ”yhteiskunnan peili”. Motylin jakamat sisäiset dokumentit kuitenkin kertovat, että yhtiö tiesi vahvistavansa sisältöä, joka herätti vihaa ja jopa yllytti väkivaltaan. Tutkimusten mukaan erityisesti moraalikysymyksiä ja väkivaltaa sivuava, tunteita kuohuttava sisältö kerää poikkeuksellisen paljon reaktioita – ja algoritmi tulkitsee tämän merkiksi siitä, että käyttäjät haluavat lisää samanlaista materiaalia.
Turvallisuustiimien yritykset jarruttaa – ja johdon puolustuslinja
Crowdtangle-seurantatyökalun perustaja Brandon Silverman, jonka yrityksen Facebook osti vuonna 2016, kertoo nähneensä läheltä, miten Mark Zuckerberg oli ”erittäin paranoidi” kilpailijoista ja valmis käyttämään lähes rajattomasti rahaa uhkien torjumiseen. Silvermanin mukaan oli ajanjakso, jolloin Meta oli aidosti itsekriittinen myrkyllisen sisällön suhteen, mutta vähitellen yhtiön suhtautuminen jähmettyi puolustuskannalle: ”Emme ole vastuussa kaikesta yhteiskunnan polarisaatiosta.”
Silverman huomauttaa, että kriitikot eivät väitäkään Metan olevan syypää kaikkeen polarisaatioon, vaan siihen, että se kiihdyttää sitä – usein tavoilla, joita voisi lieventää melko pienillä muutoksilla algoritmeissa ja turvallisuuskäytännöissä.
Meta kiistää jyrkästi väitteet, joiden mukaan se vahvistaisi haitallista sisältöä taloudellisen hyödyn vuoksi. Yhtiön mukaan sillä on tiukat käyttäjiä suojelevat käytännöt ja se on tehnyt merkittäviä investointeja turvallisuuteen. Meta painottaa myös uusien nuorille suunnattujen suojausominaisuuksien käyttöönottoa, kuten Teen Accounts -tiliasetuksia ja vanhempien valvontatyökaluja.
TikTok puolustautuu ja korostaa nuorten suojaominaisuuksia
TikTok pitää ilmiantajien väitteitä ”keksittyinä” ja sanoo investoivansa teknologiaan, joka estää haitallisen sisällön näkymisen jo ennen kuin se päätyy käyttäjien syötteisiin. Yhtiö korostaa tiukkoja suosituspolitiikkojaan sekä työkaluja, joilla käyttäjät voivat räätälöidä kokemustaan.
TikTok kertoo, että teinitilien oletusasetuksissa on yli 50 ennalta määriteltyä turvallisuusominaisuutta, jotka ovat automaattisesti päällä. Samalla ilmiantaja Nick – TikTokin trust & safety -tiimin jäsen, jonka kanssa BBC keskusteli kuukausien ajan – kuvaa toisenlaista todellisuutta. Hänen mukaansa käsiteltävien tapausten määrä on niin suuri, ettei turvatiimi pysty pitämään kaikkea vaarallista sisältöä kurissa, ja erityisesti lapset ja nuoret jäävät alttiiksi.
Nick kertoo, että yhtiössä on tehty leikkauksia ja järjestelyjä, joissa osaa moderointirooleista korvataan tekoälyllä. Hänen mukaansa tämä on heikentänyt kykyä puuttua tehokkaasti terrorismiin, seksuaaliseen väkivaltaan, fyysiseen väkivaltaan, hyväksikäyttöön ja ihmiskauppaan liittyvään sisältöön. Nickin suora neuvo vanhemmille on tyly: jos lapsi käyttää TikTokia, ”poistakaa sovellus ja pitäkää heidät mahdollisimman kaukana siitä mahdollisimman pitkään”.
TikTok kiistää, että poliittista sisältöä priorisoitaisiin nuorten turvallisuuden kustannuksella, ja sanoo väitteiden vääristävän yhtiön moderointijärjestelmän toimintaa. Yhtiön mukaan tietyille aiheille on omat erikoisprosessinsa, mutta tämä ei tarkoita lasten turvallisuustapausten sivuuttamista, sillä niitä käsittelevät omat rinnakkaiset tiimit.
Ilmiantajan mukaan ongelma on kuitenkin se, että ylintä johtoa ei altisteta päivittäin sille pahimmalle sisällölle, jonka kanssa trust & safety -tiimit kamppailevat – ja siksi liiketoiminnan intressit ajavat usein turvallisuuden ohi.
Ei sisällä instagram post:eja
