Le dilemme du train:
"Un train sans conducteur fonce le long d'une voie sur laquelle trois personnes sont attachées. Vous pouvez les sauver en actionnant un aiguillage qui le fera changer de direction, vers une autre voie sur laquelle une seule personne est attachée. Le faites-vous?"

(Ce dilemme est aussi une parfaite métaphore de l'élection en cours)

J'ai souvent constaté quand on posait cette question aux gens que le premier réflexe était de chercher une échappatoire. :)
En l'occurrence: "on peut pas couper le courant, plutôt?", ou "j'essaie de foncer les détacher". J'ai l'impression que l'esprit a du mal avec les prises de position morales fortes.
Si vous jouez le jeu, sans essayer de tricher avec l'énoncé: vous avez une réponse?

Ce n'est pas une devinette, hein. Je vous donne la réponse majoritaire: la plupart des gens optent pour "le moindre mal" et changent le train de voie.

Après, le twist sur ce dilemme: imaginez maintenant qu'il n'y ait qu'une seule voie avec les trois personnes attachées. Le train peut être arrêté en cas de choc avec quelqu'un de suffisamment lourd. À côté de vous il y a un gros monsieur que vous pouvez faire tomber sur la voie. Le poussez-vous?

Dans les deux cas vous êtes acteur direct du dénouement: vous sacrifiez une vie de vos mains pour en sauver trois. Pourtant on perçoit clairement que les deux situations ne sont pas équivalentes alors qu'elles semblent avoir le même "poids moral".
La raison est bien sûr que la décision n'a pas le même poids émotionnel. Ce qui fait la différence, c'est la proximité.

C'est d'ailleurs ce qu'on essaie de quantifier quand on cherche des échappatoires et des solutions tangentes: qui sont ces gens? Est-ce que je sacrifie un enfant pour sauver trois nazis? Est-ce que je sauve un proche au prix de trois, dix, cent personnes?
Bref, nous ne sommes pas purement "utilitaristes".

C'est une question qui se pose concrètement en intelligence artificielle, notamment pour les voitures sans chauffeurs.
Dilemme 1: la voiture roule entourée de deux voitures. une avec une famille de cinq personnes, une avec une personne seule. Devant elle, un énorme chargement tombe d'un camion. Freiner ne suffira pas. Doit-elle: se déporter à gauche et mettre en danger la voiture avec la famille, à droite vers la voiture avec une seule personne, ou rester/freiner et sacrifier le conducteur?

Follow

Dilemme 2: au lieu de deux voitures, c'est un vélo et une voiture avec famille: la voiture a de meilleures chances de subir des dégâts moins important. Mais elle contient cinq personnes là ou le vélo n'en représente qu'une.

Dilemme 3: Deux vélos. L'un a un casque, l'autre non. Celui avec un casque a de meilleures chances, l'autre ne respecte pas la loi. Et de plus, si on le protège, il devient de fait PLUS SÛR de rouler sans casque, puisque les voitures vont davantage vous épargner. Mindfuck

Et surtout, une question essentielle dans ce débat: en cas d'accident mortel, qui est responsable?
Considère-t-on l'I.A. comme une personne?
Si non, est-ce le programmeur de l'I.A.? Le fabricant de la voiture? Le conducteur?
Les intelligences artificielles vont VRAIMENT représenter des casse-tête dans pas longtemps du tout. :-)

@bouletcorp le problème du 3 se pose déjà. Il ne faut pas rendre le casque obligatoire pour les vélos :)

@Bouletcorp L'IA ce n'est qu'un tas d'algorithmes écrits par des humains, il ne faut pas s'abriter derrière l'expression "Intelligence Artificielle" pour justifier nos conneries ou des prises de décision hasardeuses.

@Bouletcorp faut-il que le code des algorithmes, et toutes les données utilisées pour produire une décision, soient connus et accessibles publiquement pour permettre de déterminer une responsabilité ?

@gordon @Bouletcorp Au même titre qu'une personne doit expliquer ses choix et décisions devant la justice s'il doit être amené à le faire, une IA le doit aussi. Et le plus simple reste encore que l'algo soit en effet, consultable :)

@gordon peu de chance que ça suffise, une IA peut/pourra apprendre de son environnement et surement qu'une voiture à Paris n'apprendra pas pareil qu'à New Delhi. @Bouletcorp

@shagshag @Bouletcorp c’est pour ça que je ne parle pas seulement du code (l’algorithme), mais aussi des données connues par le programme qui ont servi à construire le modèle décisionnel

@gordon Je doute que ça permette de déterminer une responsabilité, une explication oui, il y en a toujours, mais une responsabilité bof, à part dire c'est à cause de son milieu d'existence (ce qu'on dit aussi pour les humains ceci dit) @Bouletcorp

@shagshag @Bouletcorp justement, si l’analyse de l’algo démontre que l’IA a été conçue pour toujours choisir de se déporter sur la droite, c’est une décision que doit assumer le développeur

@gordon ha oui dans ce cas oui :) même si c'était peut être la moins pire décision dans le cas de l'accident. @Bouletcorp

@Bouletcorp Et si c'est l'IA, s'agit-il de l'IA de cette voiture ou de toutes les voitures du même modèle ?

@Bouletcorp C'est pour ça que je n'aime pas l'utilisation de l'expression "Intelligence Artificielle", c'est une réduction simpliste, les algorithmes si existent et ils ont des auteurs.

@jeancharles Pas forcément, non. Les "auteurs" ont souvent recours aux mathématiques génétiques: on fout plein d'algos avec variables qu'on met en compétition et on sélectionne de nouvelles versions, etc…
Certains algos "poussent" plus qu'ils ne sont écrits. On arrive à des résultats que personne n'aurait pu inventer, qui ont évolués tout seuls.

@Bouletcorp Il y a encore des humains derrière, ne serait-ce que pour sélectionner. C'est trop facile de s'abriter et de masquer le responsabilités derrière l' #AI

@jeancharles @Bouletcorp A vrai dire, non, les algorithmes "évolutifs" apprennent bien d'eux même, de la même manière à laquelle on inculque à un bébé a marcher.

Du coup ces ordinateurs font des choses qui peuvent paraitre insensées d'abords, mais qui sont justifiés.

Par exemple, avec Alpha Go, l'ordinateur à battu un champion du monde de Go grâce à un mouvement qui était au départ considéré insensé et non conventionnel.

@mmmaxou @Bouletcorp Je préfère qu'on parle d'algorithmes et pas d' #AI que je vois comme un danger (pour la démocratie entre autres).

@jeancharles @Bouletcorp La distinction est assez floue, les AI sont des Algorithmes et inversements. Simplement du fait que l'on puisse faire une correlation entre des comportements humains et certains algorithmes, ce terme est apparu.

Je pense personnellement qu'a contraire c'est une aubaine pour la société, mais que c'est extrèmement délicat comme sujet et va demander beaucoups d'efforts ...

@Bouletcorp @jeancharles @mmmaxou bon je suis probablement à la bourre et c'est mais : moralmachine.mit.edu/ allons juger un peu 😋

@Thorn Cette nouille n'est pas sur Mastodon, mais oui, on en parle souvent! :D

@Bouletcorp Il a émis la possibilité de venir, l'autre jour.

@Bouletcorp ces dilemmes m'ont fait penser à ce court métrage animé de TED-ed youtu.be/ixIoDYVfKA0 et cette étude participative du MIT moralmachine.mit.edu/

@Bouletcorp Ou sinon on programme les IA à partir de sondages sur internet et on dira que c'est "la majorité humaine qui aura décidé"

@Bouletcorp le site moral machine est très instructif à ce sujet.

@LucilePeyre @Bouletcorp

Ces dilemmes montrent que la question ne se posent pas que pour une #IA ! Comment déterminer des responsabilités dans ces cas-là, où pourtant les acteurs sont tous sauf artificiels ?

@Bouletcorp Et si l'IA est déclaré responsable, c'est donc qu'elle a et est reconnue en mesure d'assumer des responsabilités, elle peut donc prétendre à une identité civile. Et des droits. D'un autre côté, si un chien dressé à la défense mords un passant, c'est le maître qui est tenu responsable, pas le dresseur. Pourquoi n'en serait-il pas de même pour les IA. La responsabilité du conducteur est donc de ne pas se mettre en situation dangereuse ingérable pour l'ia.

@Bouletcorp C'est pour ça que l'avis du CCNE est important sur toutes ces questions. Ce n'est pas aux constructeurs de décider de l'éthique, à défaut de pouvoir la soumettre au vote. Il faudrait pour cela élargir sa mission cependant.

@Bouletcorp L'idée principale en vogue est de rendre les fabricants de voiture "intelligente" responsables (responsabilité objective, sans devoir prouver faute). Le fabricant fournirait une assurance. Certains sont même tellement convaincus de la sureté de leurs systèmes qu'ils la fourniraient eux-même sans passer par un assureur classique. Le cas échéant, les vendeurs se retourneraient ensuite contre les développeurs de l'IA, mais les victimes seraient déjà indemnisées.

@Bouletcorp Je n'ai plus l'adresse, mais il y avait un jeu en ligne qui se basait justement sur cette situation de voiture face à des piétons, avec + ou - de passagers, avec des âges/genres variés, etc. Je ne sais pas si c'était utilisé pour la recherche ("serious game") ou pas.

@Bouletcorp bof non. On ne pense pas : "que faire si notre machine ne marche pas", mais "comment faire pour que notre machine marche"

Parce que si on se met à vouloir contrôler une perte de contrôle c'est qu'on en a trop pris.

@technolapin @Bouletcorp Ben, elle sera tôt au tard confronté à des sacrifices :x

@Technowix @Bouletcorp oui donc on fait pas les cons et on minimise les accident au lieu de délirer sur comment l'engin doit dérailler.

@technolapin ben relit ce qu'a dis @Bouletcorp , quel choix faire quand la vie d'une des deux cas est mis en jeu :p

@Technowix @Bouletcorp ben justement, tu n'es pas libre du choix.
Tu ne prévoit pas un accident.

@Bouletcorp @technolapin *facepalm* la voiture a largement le temps de calculer, de choisir, contrairement à un humain, par contre si elle va à 130km/h, elle ne peux pas contrôler la physique...

@Technowix @Bouletcorp ben justement, tu fait en sorte que ses capteurs détectent l'obstacle avant de passer le cap critique.
C'est bien plus faisable que d'espèrer que ton engin va faire ce qu'il faut dans un cas de disfonctionement.

@Bouletcorp @technolapin tu détecte comment une voiture qui se carambole devant toi ? Un pneu qui éclate ?

@Technowix @Bouletcorp le pneu qui éclate on sait gérer, l'ia le sait encore mieux.
La voiture qui se carambole devant-toi, l'ia le voit venir.
Et surtout, l'ia respecte les distances de sécurité.

@Bouletcorp @technolapin oué, ben même en respectant tout, pas dis que les autres le respectent. Notamment les humains.

@Technowix @Bouletcorp l'ia prévoit les comportement possibles des autres véhicules. Pas besoin d'être devin pour ça.
Le seul truc, c'est les capteur qu'il faut perfectionner et diversifier.

@Bouletcorp @technolapin c'est vrais, on a plus aucunes victimes à cause de tremblement de terres/catastrophes naturelles x) merci les capteurs.
Y'a toujours le chaos, peu importe dans quoi un truc peut aller mal

@Technowix @Bouletcorp là on parle d'une machine, pas d'un tremblement de terre.
Le chaos est maîtrisable.On a créé l'ingénieurerie pour ça.

@Bouletcorp @Technowix dès que tu peux imaginer un sénario, tu peut travailler à l'éviter.

@Bouletcorp @technolapin bien sûr, mais ne pas avoir de plan en cas de catastrophe est pire encore.

@Technowix @Bouletcorp la catastrophe n'arrive que si l'appareil a été mal utilisé.
Je ferait pas confiance à une voiture prévue pour prendre des décisions ultra complexes quand elle faillit à faire un truc aussi simple que de fonctionner.

@Bouletcorp @technolapin barf, si l'erreur existe pas j'me demande pourquoi on continue à chercher des ingénieurs x'D

@Technowix @Bouletcorp ben non c'est leur boulot de concevoir des systèmes qui ne sortent pas du bon fonctionnement.

@Technowix @Bouletcorp non, mais la fiabilité 99.996% existe
Et les quelques poussières qui restent sont le cas où ton engin n'agit pas comme prévu.
Donc tu lui demande pas d'agir comme prévu.

Sign in to participate in the conversation
Octodon

Octodon is a nice general purpose instance. more