OFF #23 | La newsletter pour reprendre le contrôle
Décembre 2024
OFF #23 | Vulnerables
Bonjour,
Il me semble que 2024 a marqué un point de rupture dans notre relation à la technologie, au moins dans deux directions :
Je commence par le plus prometteur : avec le recul, je pense qu’on considèrera cette année comme celle du réveil de différents secteurs de la société civile visant à reprendre le contrôle sur une technologie qui nous a en grande partie échappé.
Dans différents pays se sont multipliées des initiatives en ce sens, qui font de plus en plus de bruit. En France, des mouvements tels qu’Éducation numérique raisonnée sont en train de peser sur le débat public pour revenir sur une politique de digitalisation tous-azimuts de l’école.
En Espagne, le mouvement Adolescencia libre de móviles coordonne des centaines de milliers de familles qui s’engagent à ne pas donner de smartphone à leurs enfants avant 16 ans et a fait des émules (notamment au Royaume-Uni avec Smartphone-Free Childhood). C’est également là-bas qu’est né notre Manifeste OFF, signé par des centaines de personnalités de première ligne.
Le livre du psychologue américain Jonathan Haidt The Anxious Generation, que je mentionnais dans ce billet a été un véritable phénomène mondial qui a fourni une base intellectuelle à certains de ces mouvements. Curieusement, il ne paraîtra en France que le mois prochain.
Mais en même temps, paradoxalement, nos vies ont continué à se numériser de plus en plus profondément, et ce faisant, notre vulnérabilité et celle des institutions garantes de notre liberté et de notre bien-être se sont intensifiées, face à une technologie conçue en grande partie pour nous dépasser, nous mettre à nu et nous contrôler.
Je vous propose ici un passage en revue de 2024, mois par mois, en distinguant des événements – certains graves, d’autres d’apparence triviale – qui nous invitent à une réflexion sur notre fragilité accrue à mesure que toutes les facettes de nos vies reposent sur une matrice digitale :
① JANVIER
L’IA qui opère le service client de l’entreprise de messagerie DPD a commencé à délirer face à un utilisateur, en confessant que la compagnie était la pire du secteur et en lançant des jurons.
L’anecdote semble légère – il ne s’agit pas là d’une question de sécurité nationale – mais dans un contexte où les entreprises font de plus en plus confiance à des IA pour augmenter leur efficience, elle a mis en évidence que les premières peuvent facilement perdre le contrôle sur les secondes, à tel point que celles-ci peuvent se retourner contre elles.
② FÉVRIER
Un jeune de 14 ans, Sewell Setzer, s’est suicidé après être tombé amoureux d’une IA suite à des mois de conversations avec celle-ci via la plateforme Character.AI.
Ce tragique événement n’est hélas que la pointe de l’iceberg de l’épidémie de santé mentale que traversent notamment les adolescents et qui menace de s’intensifier si l’interaction avec des machines se substitue progressivement aux relations humaines.
③ MARS
Suite à un incident technique, les vidéos prises par les caméras de sécurité Wyze dans 13.000 foyers ont été exposées à des tiers. Ce problème vient s’ajouter à la longue liste d’objets connectés susceptibles de révéler notre intimité au-delà de notre activité numérique.
En essayant de contrôler tous les facteurs qui impactent notre vie à travers des trackers, caméras connectées ou assistants vocaux, nous cédons sans le vouloir des données qui décrivent notre vie et cela nous rend plus vulnérables.
④ AVRIL
Le site d’investigation +972 révèle comment l’armée israélienne utilise l’IA dans la guerre à Gaza afin d’identifier de potentiels militants du Hamas.
« Where’s Daddy », « Depth of Wisdom » ou « Alchemist » sont les noms d’algorithmes qui préfigurent une automatisation des conflits, avec des marges d’erreur importantes, des boîtes noires qui produisent des recommandations algorithmiques permettant de tirer sur des cibles de façon soi-disant plus efficiente et où l’intervention humaine s’étiole petit à petit.
⑤ MAI
L’entreprise Engie est victime d’une cyberattaque qui divulgue des données sensibles de millions de clients. Le même mois, la compagnie australienne Medisecure est ciblée par des pirates qui obtiennent les données médicales de 13 millions de clients. En mai toujours, les données personnelles de clients de 400 multinationales sont volées par des cybercriminels à travers leur fournisseur Snowflake (500 millions de personnes affectées).
En fait, les plus grandes entreprises dans le monde s’appuient sur les mêmes services technologiques. Ceci accentue leur dépendance et par conséquent, la vulnérabilité des données au niveau global.
⑥ JUIN
Des millions d’utilisateurs de ChatGPT souffrent d’une espèce d’apnée cognitive lorsque la plateforme d’OpenAI cesse de fonctionner durant plusieurs heures.
À mesure que nous déléguons nos capacités réflexives à l’IA, nous désapprenons progressivement à penser et il devient de plus en plus difficile de travailler sans son soutien.
⑦ JUILLET
Pendant 24 heures, le monde est victime d’un des plus grands blackouts technologiques jamais connus. Les compagnies aériennes, les banques, les bourses, etc. se voient affectées mondialement par une faille dans une mise à jour d’un programme de l’entreprise Crowdstrike, utilisé par Microsoft.
La concentration dans le secteur technologique, l’interconnexion entre des services essentiels au fonctionnement de nos infrastructures et la numérisation de tous les aspects de nos vies sont telles qu’un problème minime dans une brique met en péril l’édifice dans sa totalité.
⑧ AOÛT
Strava, une appli populaire parmi les fans de course-à-pied, permet de déduire à l’avance les détails de voyages de chefs d’États tels que Poutine, Macron ou Biden.
Une enquête du journal Le Monde a révélé comment les membres des services de sécurité sont des utilisateurs fréquents de cette plateforme sur laquelle leurs données d’entraînement sont exposées. Cela rend facile de deviner dans quel hôtel ils vont séjourner, et même l’emplacement des luxueuses villas secrètes du président russe.
Miembros del Secret Service posan en una foto publicada en Strava durante los juegos olímpicos de París.
⑨ SEPTEMBRE
Mardi 17 septembre, Israël fait exploser simultanément des milliers de bippers de membres du Hezbollah, tuant des dizaines de chefs de l’organisation et blessant au moins 4.000 personnes.
La lecture de cet événement a été essentiellement faite sous un angle géopolitique. Et comme la plupart d’entre nous ne sommes pas des terroristes, nous ne nous sommes pas sentis directement concernés. En fait, cela signifie qu’un État ou une organisation est capable d’utiliser des dispositifs personnels pour tuer sélectivement leurs propriétaires.
⑩ OCTOBRE
Des hackers prennent le contrôle de robots de ménage de la marque Ecovacs. Ceux-ci comment à crier des obscénités, à poursuivre des chiens ou des enfants, et probablement à révéler des images captées par leurs caméras.
Ceci constitue un avertissement de plus que les objets connectés sont susceptibles d’être hackés à travers le Bluetooth ou des réseaux wifi. Aujourd’hui, il s’agit de robots dotés d’une dextérité limitée, mais imaginez si vous aviez un robot humanoïde du type Tesla Optimus à la maison, qui ne répondait plus à vos ordres.
⑪ NOVIEMBRE
Sept familles françaises assignent TikTok en justice considérant que la plateforme a mis en danger la vie de leurs enfants, 2 desquels se sont suicidés, 4 ayant fait des tentatives et 1 victime d’anorexie aggravée. Regroupées dans le collectif Algos Victima, elles défendent que leurs enfants ont été exposés à des contenus faisant la promotion du suicide, des automutilations et de la privation d’aliments.
L’algorithme de TikTok – de façon similaire à d’autres réseaux sociaux – connaît de mieux en mieux ses utilisateurs et leur offre des vidéos sur-mesure répondant à leurs aspirations, même quand celles-ci révèlent une curiosité pour le fait de se causer du mal. De façon générale, ils intensifient la pression sociale. Les adolescents sont particulièrement vulnérables face à ces mécanismes.
⑫ DÉCEMBRE
Le Tribunal Constitutionnel de la Roumaine annule les résultats des élections présidentielles dont le candidat d’extrême droite complotiste et pro-russe Calin Georgescu était arrivé en tête du premier tour.
Inconnu quelques semaines avant le scrutin, celui-ci a bénéficié d’une campagne massive de promotion sur TikTok, présumément financée par la Russie, qui aurait manipulé son algorithme. Nos cerveaux, et par conséquent, nos démocraties, sont spécialement vulnérables face à des plateformes qui connaissent presque tout de leurs utilisateurs et qui savent sur quel levier actionner pour influencer nos décisions.
Conférences
Dans les dernière semaines, je suis intervenu à de nombreuses occasions sur l’impact du numérique dans nos vies, en particulier sur l’éthique de l’IA et sur les défis de l’éducation dans un monde hyper connecté. Vous pouvez consultez mon agenda et solliciter une conférence ici.
Vous pouvez également consulter :
Mes dernières apparitions dans les médias
Suscríbete a OFF, la newsletter para retomar el control.
Una vez al mes, propongo una reflexión sobre una faceta específica de la digitalización de nuestras existencias y sus consecuencias.