“Ik vind een app schadelijk als je andere dingen verwaarloost erdoor of als het je slecht laat voelen.” – een jongere die deelnam aan een sessie voor het opstellen van de Code. 

Naast op economische exploitatie gericht ontwerp moet ook – anderszins – schadelijk ontwerp te allen tijde worden vermeden. Onder schadelijk ontwerp wordt onder andere verstaan een ontwerpkeuze in een digitale dienst die de kwetsbaarheid van kinderen onterecht benut of misbruikt, dan wel gedragingen met een negatieve impact voor kinderen niet of onvoldoende adequaat aanpakt. Ontwerp is schadelijk als het negatieve consequenties heeft voor de gezondheid of het welzijn van kinderen. Het welzijn van kinderen omvat alle aspecten van hun ontwikkeling, waaronder hun mentale, sociale, cognitieve en fysieke ontwikkeling. 

Ontwerp kan schadelijk zijn voor de ontwikkeling van kinderen als het hen onvoldoende beschermt tegen mogelijke schadelijke content, contacten of gedragingen. Denk bij schadelijke content bijvoorbeeld aan het (geautomatiseerd) vertonen of verheerlijken van geweld, stereotypering, racisme, desinformatie of pornografische content in een app of game. Schadelijke contacten of gedragingen kunnen te maken hebben met pesten, (seksueel) misbruik, opruiing, haatzaaien, werven voor criminele praktijken en radicalisering.

Verder kan er sprake zijn van ontwerp dat een mogelijk negatieve impact heeft op hun sociale relaties. Denk bijvoorbeeld aan vaste tijdstippen in games waarop kinderen bijzondere achievements (zoals skins en wapens) kunnen behalen, waardoor andere geplande activiteiten met bijvoorbeeld familie of vrienden worden doorkruist. Een ander voorbeeld is (tijdelijke) uitsluiting van deelname in een game wanneer het spel moet worden onderbroken om te gaan eten.

Dit soort mechanismen kunnen leiden tot conflicten met ouders en sociale druk van leeftijdgenoten. Ook kan het een negatief effect hebben op het vermogen van kinderen om zich te concentreren op andere activiteiten, zoals hun schoolwerk, wanneer ze voortdurend worden gestoord door notificaties. Denk aan games die de speler continu terugroepen om de voortgang in het spel zeker te stellen. Ontwerp kan ook excessief gebruik van digitale diensten in de hand werken en zelfs leiden tot gezondheidsproblemen (waaronder slaaptekort, fysieke schade en verslaving). 

Ontwerpkeuzes waarbij kinderen (onbewust) worden gedwongen tot bepaald gedrag dat zij zonder die keuzes mogelijk niet hadden vertoond en/of die een disruptieve werking hebben op hun gezondheid, sociale relaties en andere activiteiten in hun dagelijks leven, moeten bij voorkeur worden vermeden. Dat is zeker het geval als die keuzes aantoonbaar niet in hun belang of schadelijk zijn.

Wordt van bepaalde vormen van ontwerp aangenomen dat ze niet bijdragen aan het welzijn van kinderen of voor hen schadelijk zijn, maar is er geen (overtuigend) bewijs? Wees dan terughoudend en gebruik het liever niet in een dienst die waarschijnlijk ook door kinderen wordt gebruikt. We noemen dat de voorzorgsbenadering. Die benadering gaat uit van het better safe than sorry-principe: als aannemelijk is dat het ontwerp op enige wijze negatieve effecten zou kunnen hebben op kinderen, is het beter om voorzichtig te zijn met de implementatie ervan. 

Pas de voorzorgsbenadering toe als aannemelijk is dat een bepaald ontwerp potentieel schadelijk is voor kinderen. Gebruik daarvoor bijvoorbeeld de uitkomsten van het kind-impact-assessment uit beginsel 1. 

Pas voor het gebruik van beloningen, notificaties en likes de volgende regels toe:

• Vermijd het om persoonsgegevens zodanig te gebruiken dat kinderen worden gestimuleerd langer te blijven, zoals kinderen in ruil voor langer doorspelen gepersonaliseerde in-game-voordelen te bieden (gebaseerd op jouw gebruik van de persoonsgegevens van de individuele gebruiker). 
• Presenteer opties om door te blijven spelen of op andere wijze gebruik van jouw dienst te blijven maken op een neutrale manier, zonder te suggereren dat kinderen zichzelf tekort doen als ze dit niet doen. Probeer de tijdsdruk te verminderen door minder of geen tijdsgebonden opdrachten op te nemen (dit kan verslavend werken). 
• Vermijd functies die met persoonsgegevens het gebruik van de dienst automatisch verlengen. Laat kinderen een actieve keuze maken of ze hun tijd op deze manier willen besteden (datagestuurde autoplay-functies). 
• Introduceer mechanismen als pauzeknoppen, waarmee kinderen op elk moment een pauze kunnen nemen, zonder dat ze hun voortgang in een spel verliezen, of biedt leeftijdsrelevante content om bewuste keuzes over het nemen van pauzes te ondersteunen.
• Beperk het overmatig gebruik van notificaties, of zorg dat deze op simpele wijze uitgeschakeld kunnen worden.
• Zorg ervoor dat kinderen op elk moment kunnen stoppen met het gebruik van de applicatie (en hierbij al hun gegevens kunnen wissen, zie ook beginsel 4 en 5) zonder dat ze zich daarover schuldig voelen.
• Voorkom incentives voor kinderen om zoveel mogelijk (onbekende) vrienden of volgers toe te voegen.

Ontwerp de digitale dienst zo dat gebruikers zo min mogelijk in aanraking komen met schadelijke content, contacten of gedragingen. 

• Promoot en communiceer de communityrichtlijnen van het ontwerp op een manier die aantrekkelijk is en past bij gebruikers van alle leeftijden. Denk hierbij aan communityrichtlijnen en gedragscodes die duidelijk maken wat voor gedrag niet welkom is in je spel of dienst. 
• Zorg voor mechanismen waarmee kinderen op vertrouwelijke wijze ongepast gedrag en inbreuken op de communityrichtlijnen kunnen rapporteren en zorg dat deze gemakkelijk te vinden en gebruiken zijn.
• Wees transparant over welke content mogelijk schadelijk kan zijn voor een specifieke leeftijdscategorie en zorg ervoor dat kinderen deze content kunnen rapporteren wanneer dit mogelijk schadelijk of illegaal is.

Indien de app of game kinderen aanspoort om zich bij het gebruik van een app of game  in de fysieke omgeving te verplaatsen, zorg dan dat dit op een zo veilig mogelijke manier gebeurt.

• Zorg ervoor dat kinderen zich veilig door hun fysieke omgeving kunnen verplaatsen door daar bijvoorbeeld voortdurend op te wijzen of dat spelenderwijs aan ze duidelijk te maken.
• Als gebruikers vanuit de applicatie worden gestimuleerd om specifieke fysieke locaties te bezoeken, zorg dan dat deze locaties passen bij de ontwikkeling van het kind (zie ook de classificering per ontwikkelfase onder beginsel 2 en in de bijlage van het downloadbare PDF). 
• Als kinderen worden aangemoedigd om andere gebruikers offline te ontmoeten, richt dit dan zo in dat het past bij de leeftijd van het kind. Maak bijvoorbeeld profielen van kinderen onder een bepaalde leeftijd niet openlijk zichtbaar voor andere gebruikers.

Kinderrechtenperspectief

Het beschermen van kinderen tegen schadelijk ontwerp houdt direct verband met het belang van het kind: het is niet in het belang van kinderen dat digitale diensten gebruik maken van voor kinderen schadelijk ontwerp of ontwerp dat schade voor kinderen onvoldoende voorkomt. Kinderen hebben onder meer het recht op een optimale en gezonde ontwikkeling (artikel 6 IVRK), recht op gezondheid (artikel 24 IVRK) en bescherming tegen schadelijke content (artikel 17 lid 4 IVRK). Bovendien hebben zij het recht op bescherming tegen geweld (artikel 19 IVRK) (waaronder pesten) en tegen seksueel misbruik (artikel 34 IVRK).

Het waarborgen van het belang van het kind houdt bovendien in dat activiteiten, waaronder digitale diensten, die een impact op hen hebben, dienen bij te dragen aan hun welzijn. Schade moet derhalve zeker worden voorkomen en bij de waarschijnlijkheid van schade dient een voorzorgsbenadering te worden gekozen, bijvoorbeeld door een bepaalde ontwerpkeuze niet te maken.

Daarbij kan je rekening houden met de zich ontwikkelende vermogens van kinderen (artikel 5 IVRK): wat voor jonge kinderen schadelijk is, hoeft niet per se schadelijk te zijn voor oudere kinderen. Bovendien kan het, zeker voor oudere kinderen, ook heel leerzaam te zijn om te leren omgaan met risico’s van digitale diensten. Bijvoorbeeld door hen te laten ondervinden hoe ontwerp hen kan beïnvloeden en hen te leren om daar kritisch op te reflecteren. Kritisch leren reflecteren veronderstelt wel dat kinderen weten dat bepaalde ontwerpkeuzes hen kunnen beïnvloeden en bij voorkeur ook dat zij de mogelijkheid hebben om een andere keuze te maken. Leren kritisch reflecteren op ontwerpkeuzes is niet per se een verplichting voor ontwerpers en zou onderdeel kunnen worden van bredere bewustwordingsactiviteiten rondom digitale technologie.

Wanneer veiligheidsmaatregelen worden ingebouwd in de digitale dienst (safety by design) om kinderen te beschermen tegen schadelijke content of contacten moet rekening worden gehouden met de zich ontwikkelende vermogens van kinderen (artikel 5 IVRK) en andere kinderrechten, zoals hun recht op privacy (artikel 16 IVRK) en recht op vrijheid van informatie (artikel 13 IVRK). Leeftijdsverificatie (zoals bij kansspelen) of contentclassificatie (vergelijkbaar met het systeem van de Kijkwijzer voor audiovisuele media of PEGI voor games) kunnen adequate instrumenten zijn om kinderen te beschermen, waarbij rekening moet worden gehouden met de zich ontwikkelende vermogens  van kinderen (artikel 5 IVRK). 

Gegevensbeschermingsrecht

Gegevensverwerking om gedrag van gebruikers te beïnvloeden of content gericht te laten zien, moet aantoonbaar voldoen aan het gegevensbeschermingsrecht (zie beginselen 3, 4, 5, en 6). Vanuit het oogpunt van behoorlijkheid (artikel 5 (1) (a) AVG) moet er in het bijzonder aandacht zijn voor de gegevensverwerking waarbij de persoonlijkheid, waaronder ook de kwetsbaarheid, van het kind wordt gebruikt in het ontwerp en gebruik van de digitale dienst. Zo is profilering van kinderen niet toegestaan, tenzij het in hun belang is, bijvoorbeeld doordat het bijdraagt aan hun welzijn (zie beginsel 7).

Ook bij het implementeren van safety by design-instrumenten moet aantoonbaar worden voldaan aan het gegevensbeschermingsrecht (zie beginselen 3, 4, 6, 7). Wordt er gebruik gemaakt van leeftijdsverificatie om ervoor te zorgen dat schadelijke content niet toegankelijk is voor kinderen van specifieke leeftijden, dan moet rekening worden gehouden met het beginsel van minimale gegevensverwerking (artikel 5 (1) (c) AVG) (zie beginsel 5).

Overige wetgeving

Verwijderen van illegale informatie – aanbieders van digitale diensten hebben een zorgplicht om onrechtmatige informatie meteen te verwijderen of ontoegankelijk te maken als zij weten of redelijkerwijs behoren te weten van het onrechtmatige karakter ervan (artikel 6:196c lid 4 BW). Er hoeft geen controle vooraf te zijn bij het opslaan en publiceren van informatie op bijvoorbeeld een social media platform, maar de aanbieder heeft wel een onderzoeksplicht als er reden tot twijfel aan de rechtmatigheid van opgeslagen informatie is. Het Meldpunt Kinderporno, onderdeel van het Expertisebureau Online Kindermisbruik, kan bijvoorbeeld helpen bij het verwijderen van kinderporno.     

Mediawet en videoplatforms – aanbieders van videoplatforms moeten maatregelen nemen om kinderen te beschermen tegen content die schadelijk is voor hun lichamelijke, geestelijke of morele ontwikkeling (artikel 4.1a Mediawet) en om gebruikers in het algemeen – kinderen en volwassenen – te beschermen tegen content die aanzet tot geweld, of haat jegens een persoon of een groep van personen op grond van godsdienst, levensovertuiging, politieke gezindheid, ras en geslacht, seksuele gerichtheid, en handicap, en tegen content waarvan de verspreiding een misdrijf vormt (bijvoorbeeld racistische content, kinderporno, of content die het plegen van een terroristisch misdrijf uitlokt) (artikel 2.88 Mediawet). De maatregelen om gebruikers, en in het bijzonder kinderen, te beschermen tegen deze drie categorieën content moeten in een gedragscode worden opgenomen (artikel 3a.3 Mediawet 2008). Ook moet het platform ervoor zorgen dat gebruikers worden geïnformeerd over door anderen geplaatste content, zogeheten user generated content, die mogelijk schadelijk is voor kinderen. Videoplatformen zullen gaan vallen onder het Kijkwijzer-systeem van het NICAM.