Deuxième loi de la robotique

La deuxième loi de la robotique d'Isaac Asimov, publiée dans sa nouvelle de 1942 Runaround, établit qu'un robot doit obéir aux ordres donnés par des êtres humains, sauf si une telle obéissance violerait la Première loi (qui interdit à un robot de nuire à un humain ou de permettre qu'un humain soit blessé par inaction). En pratique, cela crée une hiérarchie: la prévention des dommages l'emporte toujours sur le respect des commandes. Un robot à qui l'on ordonne de marcher dans la circulation doit refuser. Un robot à qui l'on ordonne de travailler au-delà des paramètres de fonctionnement sûrs doit refuser. La loi suppose que les robots possèdent une intelligence suffisante pour reconnaître quand l'obéissance entraînerait des dommages.

La deuxième loi existe pour résoudre un problème critique dans les systèmes autonomes: sans elle, un robot devient inerte ou aléatoire. Elle fournit la directive opérationnelle nécessaire pour un travail utile. Un robot de fabrication ramasse des pièces, les déplace, les positionne et les libère sur instruction humaine. Un rover d'exploration navigue sur le terrain comme commandé. Un robot domestique répond aux demandes. Sans obéissance à la direction humaine, de telles machines ne peuvent pas fonctionner comme des outils.

Le paradoxe des ordres contradictoires

La véritable valeur d'ingénierie de la deuxième loi apparaît lorsque les commandes sont en conflit. Deux humains émettant des ordres contradictoires, ou un seul ordre qui exige que le robot se blesse pour obéir, crée un problème de priorité. Les histoires d'Asimov ont exploré délibérément ces impasses. Dans Runaround, un robot reçoit des instructions contradictoires qui le paralysent car aucune des deux voies n'évite la violation des lois. Les systèmes robotiques réels contournent cela en limitant le jugement autonome: ils suivent une hiérarchie de commandes, exigent une autorisation explicite ou transmettent la décision à un humain plutôt que d'essayer de résoudre le conflit de manière indépendante.

La robotique moderne n'implémente pas littéralement les lois d'Asimov dans le code. Au lieu de cela, les systèmes de sécurité incarnent l'esprit de la deuxième loi par des interverrouillages redondants, la validation des commandes et les contrôles de l'opérateur. Un bras de robot industriel dispose d'arrêts d'urgence, d'enveloppes de travail restreintes et d'une logique de limitation de force. Un véhicule autonome peut refuser d'exécuter une commande de navigation qui violerait les lois de la circulation ou les protocoles de collision. La deuxième loi reste un cadre conceptuel pour réfléchir à l'étendue de l'autorité à déléguer à une machine et aux contraintes qui doivent protéger le bien-être humain.

La deuxième loi met en évidence une tension persistante en robotique: les machines doivent être utiles (obéissantes) mais sûres (contraintes). Les systèmes qui obéissent aveuglément deviennent des dangers. Les systèmes qui n'obéissent jamais deviennent inutiles. L'ingénierie réelle résout cela non pas par une intelligence artificielle générale capable de peser le préjudice par rapport au devoir, mais par des règles de sécurité spécifiques et testables appliquées avant l'exécution d'une commande. La deuxième loi rappelle aux ingénieurs pourquoi ces règles existent.