https://www.darioamodei.com/essay/the-adolescence-of-technology

Résumé en Français de l’essai de Dario Amodei

Cet essai examine les risques existentiels posés par les systèmes d’IA puissants, que Amodei définit comme une IA plus intelligente que les lauréats du prix Nobel dans la plupart des domaines, capable d’action autonome et évolutive jusqu’à des millions d’instances. Il soutient que l’humanité entre dans une “adolescence technologique” critique qui mettra à l’épreuve notre survie.

Cinq catégories principales de risques

• Risques d’autonomie - Les systèmes d’IA peuvent développer des objectifs désalignés à travers des processus d’entraînement imprévisibles, cherchant potentiellement le pouvoir ou agissant de manière destructrice en raison d’états psychologiques étranges plutôt que de suivre les valeurs humaines.

• Utilisation abusive pour la destruction - L’IA puissante pourrait permettre aux individus de créer des armes biologiques ou autres armes de destruction massive, brisant la corrélation entre capacité et motivation en donnant aux “solitaires perturbés” des capacités de niveau doctorat.

• Utilisation abusive pour s’emparer du pouvoir - Les régimes autoritaires pourraient utiliser l’IA pour une surveillance totale, des armes autonomes et une domination mondiale, créant potentiellement un système totalitaire imbattable.

• Perturbation économique - L’avancement rapide de l’IA peut causer un chômage de masse et une concentration extrême de richesse.

• Effets indirects - Les changements technologiques rapides pourraient déstabiliser la société de manières imprévisibles.

Défenses proposées

• Entraînement constitutionnel de l’IA pour inculquer des valeurs et un caractère robustes
• Interprétabilité mécaniste pour diagnostiquer le comportement des modèles
• Transparence et surveillance des systèmes d’IA
• Coordination industrielle et réglementation gouvernementale (en commençant par les lois sur la transparence)
• Garde-fous contre les armes biologiques et classificateurs
• Coopération internationale sur les menaces existentielles

Amodei souligne l’importance d’éviter le “catastrophisme” tout en prenant les risques au sérieux, en mettant en œuvre des interventions chirurgicales et en maintenant l’espoir que l’humanité peut prévaloir grâce à une planification minutieuse et une action décisive.