“Le défi pour le prochain siècle va porter sur ce qu’on décide de ne pas faire plutôt que ce qu’on décide de faire.”
Ces propos n’ont pas été tenus par un homme des cavernes mais par Mustafa Souleyman, co-fondateur de DeepMind, une des compagnies les plus en pointes sur l’IA (depuis 10 ans filiale de Google).
On peut considérer qu’il y a un peu d’hypocrisie derrière, mais je crois qu’elles méritent notre attention et je recommande l'écoute complète de cette interview :
“Dans l’Histoire de notre espèce jusqu'à présent, le progrès a dépendu de ce qu’on faisait. Jamais de ce à quoi on disait “non”. Et maintenant nous sommes face à cette étrange réalité où nous devons apprendre quand et comment dire non, collectivement”.
“Nous devons remettre le génie dans la bouteille. Le moteur du progrès pendant les 2000 dernières années a reposé sur des inventions, la science, la créativité, le commerce. Cette évolution massive d’idées qui ont alimenté une meilleure santé et le bonheur.”
Il y a un grand nombre d’innovations aujourd’hui pour lesquelles on peut démontrer avec un niveau élevé de confiance, même mathématiquement, que nous devons renoncer à expérimenter avec de tels outils parce qu’ils sont potentiellement très, très dangereux”.
Un exemple ?
▶ L’auto-amélioration. Si un système d’IA a la capacité d’actualiser son propre code sans une supervision humaine, avec l’accès à des ressources potentiellement illimitées, et qu’il agit sur un circuit ouvert ou peut interagir avec des humains sans contraintes, cela peut résulter en un phénomène qu’on ne pourrait plus suivre ou limiter.
▶ Et si non seulement ce code peut s’auto-éditer mais est capable de modifier ses propres objectifs, alors ces deux caractéristiques pourraient produire des systèmes très dangereux.
Un autre problème est celui de la prolifération. Tout le monde va avoir accès en un intervalle de 5 ans à des outils hyper puissants, de la même manière que la plupart des gens sur terre peuvent avoir accès à un smartphone, qu’ils soient le plus riche du monde ou beaucoup plus modestes.
Si tout le monde a en sa possession une équipe d'élite d’IA, cela ouvre la des perspectives incroyables en termes de productivité mais aussi à un incroyable chaos d’un point de vue civilisationnel. Ces technologies sont omni-utilisations et peuvent être utilisées dans n’importe quel domaine. Pas seulement à double-emploi comme le nucléaire.