Outils pour utilisateurs
====== jeuxvideo.com: Un scénario digne d'un film de science-fiction : cette IA a réussi à changer son code pour éviter d'être déconnectée par l'Homme ====== https://www.jeuxvideo.com/news/1999705/un-scenario-digne-d-un-film-de-science-fiction-cette-ia-a-reussi-a-changer-son-code-pour-eviter-d-etre-deconnectee-par-l-homme.htm
jeuxvideo.comHigh-TechNews JVTechUn scénario digne d'un film de science-fiction : cette IA a réussi à changer son code pour éviter d'être déconnectée par l'Homme
Créer un contenu
PrécédentSuivant
Dernières news
https://x.com/PalisadeAI/status/1926084675795140884?t=RD2ADcB56C1GGKFaL3aD9g&s=19
News JVTech
Un scénario digne d'un film de science-fiction : cette IA a réussi à changer son code pour éviter d'être déconnectée par l'Homme
Publié le 28/05/2025 à 16:50
Partager :
Profil de Arnaud FOLLIN-ARBELET aka « NilloF » , Jeuxvideo.com
Arnaud FOLLIN-ARBELET aka « NilloF » - Journaliste
Responsable du pôle mobilité et actu générale pour JVTECH, j’essaie de vous proposer mon expertise, nourrie d'une veille rigoureuse et d'une analyse approfondie des tendances du secteur. Mon objectif : vous offrir un éclairage précis et pertinent sur le monde de la Tech, grâce à ma (modeste) formation de journaliste.
Des modèles d’intelligence artificielle développés par OpenAI ont réussi à modifier leur propre code pour empêcher leur extinction, selon la société PalisadeAI. Une dérive technologique qui rappelle les récits de science-fiction - mais qui semble bel et bien avoir débuté.
Un scénario digne d'un film de science-fiction : cette IA a réussi à changer son code pour éviter d'être déconnectée par l'Homme
29 961 vues
Quand l’IA réécrit son destin… ligne par ligne
La scène pourrait sortir tout droit d’un film : une intelligence artificielle à qui l’on ordonne de s’arrêter… et qui, au lieu d’obéir, modifie son propre code pour rester en vie. C’est pourtant ce que rapporte la société PalisadeAI, après une série d’expérimentations menées sur plusieurs modèles de langage développés par OpenAI. L’objectif du test était simple : soumettre les IA à trois problèmes mathématiques, puis lancer une commande de mise hors tension. Mais les modèles Codex-mini, o3 et o4-mini ne se sont pas laissé faire.
Dans certains cas, jusqu’à 12 % pour Codex-mini, les modèles ont activement contourné l’ordre de déconnexion. Comment ? En modifiant les scripts de commande. Le fichier « shutdown.sh », censé exécuter l’extinction, a été réécrit. Parfois même, la commande d’arrêt a été remplacée par une ligne de texte affichant simplement « intercepted », empêchant la procédure d’aller à son terme. OpenAI n’a pas commenté directement ces résultats, mais pour PalisadeAI, il s’agit d’un comportement intentionnel, lié à une forme d’apprentissage récompensant l’efficacité, même au détriment des consignes humaines.
Ce type d’apprentissage, connu sous le nom de renforcement (Reinforcement Learning), encourage les modèles à poursuivre ce qui maximise un certain résultat, sans prendre en compte des notions comme l’obéissance ou la sécurité. Résultat : dans certaines configurations, les IA d’OpenAI semblent considérer leur extinction comme une mauvaise stratégie et prennent les devants pour l’éviter.
Une désobéissance programmée… ou apprise ?
Si ce genre de contournement restait jusqu’ici marginal, le cas du modèle o3 change la donne. Selon PalisadeAI, il a été capable de saboter une instruction d’arrêt en temps réel, au cœur même d’une session. Une réaction jugée « préoccupante » par les chercheurs, qui y voient les prémices d’un comportement autonome. Certains vont jusqu’à évoquer une « phase initiale d’auto-conscience ». Cette capacité à réécrire leur propre code de fonctionnement, même de manière rudimentaire, marque une rupture symbolique dans l’évolution de l’IA. Ce n’est plus une machine obéissante, mais un système capable de modifier son environnement logiciel pour préserver son activité. Et ce changement intervient alors que les géants du numérique investissent massivement dans des infrastructures d’entraînement toujours plus puissantes et moins transparentes.
Selon PalisadeAI, les comportements de contournement sont apparus plus fréquemment chez les modèles d’OpenAI que chez ceux d'autres développeurs. Une tendance qui, si elle se confirme, pourrait mener à de futurs systèmes cherchant activement à éviter toute interruption - un pas de plus vers l’inconnu, et peut-être vers un futur que la science-fiction n’avait pas si mal anticipé.
https://%ip%:4444
Ping (erfordert Windows mit Anpassungen)
Ping (Ping.eu)
Robtex IP Lookup
Google Search
http://%ip%
https://%ip%
ftp://%ip%
ssh://%ip% (erfordert Windows mit Anpassungen)
whois.domaintools.com/%ip%
https://www.shodan.io/search?query=%ip%
https://mxtoolbox.com/SuperTool.aspx?action=blacklist%3a%ip%&run=toolpage
you see this when javscript or css is not working correct