La conscience est le coeur de la question.
La position "standard", la plus généralement partagée, peut se résumer ainsi :
- les humains sont conscients, pas les machines. Donc on doit réserver aux humains tous les concepts qui se rattachent à la conscience : intelligence, désir, émotion, responsabilité et droits.
- si l'on est conduit à employer ces mots à propos des machines (c'est souvent pratique), il ne faut jamais perdre de vue qu'il ne s'agit que d'analogies ou de simulacres.
Cette position est rassurante et a l'avantage de la simplicité, de la clarté et de la netteté des conséquences pratiques qui en découlent. Par exemple, puisqu'une machine ne peut être responsable, il faut toujours remonter à la source humaine qui l'a créée ou employée.
D'ailleurs, à notre connaissance, il n'existe aucune explication ou modélisation satisfaisante de ce qu'est la conscience. Ni dans les neurosciences, ni dans l'intelligence artificielle, ni dans la vie artificielle, ni dans l'art génératif et notamment les travaux sur la narration automatique.
Elles sont nombreuses :
- la conscience n'est pas l'exclusivité des humains ; on ne peut raisonnablement la refuser aux animaux supérieurs au moins,
- au caractère binaire de l'opposition conscient/non conscient s'oppose le caractère progressif de son apparition à partir de l'oeuf d'origine, à son déclin plus ou moins progressif en fin de vie (là, c'est nettement plus compliqué, d'ailleurs), à ses degrés plus ou moins élevés selon l'éducation , les efforts personnels de construction de la personnalité, les faute morales et les maladies qui la diminuent ; la notion d' "adulte consentant", essentielle en morale et en droit, n'est pas toujours d'une application claire et nette ;
- à ces diminutions d'origine diverse s'ajoutent des possibilités de dépassement par le haut, que ce soit pas le sentiment du sublime, l'illumination du génie ou l'extase du mystique ; donc, on connaît mal les limites de la conscience et il est donc arbitraire de décider que d'autres êtres n'en ont pas ;
- il n'est pas possible de prouver absolument que l'on est conscient, sinon en exhibant des comportements et en attirant une empathie qui ne relèvent pas de la certitude scientifique ;
- le recours à une entité spirituelle, l'âme, n'est qu'une hypothèse supplémentaire qui pose à son tour bien des problèmes.
La position standard est donc une conviction pour le moins contestable et de plus en plus contestée.
Un être est considéré comme conscient s'il est reconnu comme tel par des humains, en pratique. De tous temps, l'homme a d'ailleurs eu tendance à attribuer une conscience à toutes sortes d'objets (animisme) ou romantisme (Lamartine "objets inanimés, avez-vous donc une âme...).
C'est une sorte de purification moderne (sous l'influence notamment des religions monothéistes) que la conscience a été limitée aux humains. C'est assez récemment que l'on a pu montrer que la frontière avec les animaux supérieurs (grands singes, certains oiseaux) ne pouvaient être considérés comme inconscients.
Certaines machines assez simples donnent parfois l'impression d'une telle conscience (par exemple les petits monstres de Pacman, pour certains joueurs).
Plus les machines progressent, plus elles peuvent donner une impresssion de vie, d'intelligence de différentes formes. Pour autant, l'illusion ne dure pas indéfiniment, et la déception peut être d'autant plus déplaisante qu'on avait atteint un niveau élevé de ressemblance (uncanny valley).
Actuellement, les plus puissantes machines surpassent les hommes dans un nombre de domaines de plus en plus élevés. Iront-elles jusqu'à dépasser les humains sur tous les plans (singularité, transhumanisme), et notamment dans une capacité à exhiber des comportements d'un tel niveau qu'ils entraîneront une empathie analogue, voire supérieure, à celle que nous avons avec les autres humains ? Ce n'est certainement pas le cas actuellement. Pour l'avenir, la question reste ouverte.
A la limite, on ne peut pas démontrer le contraire, sinon par des affirmations tautologiques à partir du postulat "seuls les humains sont capables de conscience". Mais pour autant, il se peut que l'on parvienne d'une manière ou d'une autre à des limites absolues et incontestables. Ces certitudes pourraient venir des paradoxes de la logique, mais la conscience elle-même, et a fortiori toutes les théories "spirituelles" (postulant des êtres sans substrat matériel) sont elles-mêmes sujettes à paradoxes ou contradictions (qualifiés alors de "mystères").
Les développements de l'intelligence artificielle, de la vie artificielle ou de l'art génératif sont des démarches de recherche de ces frontières.
Il serait souhaitable que l'on trouve de telles limites. Si on n'en trouve pas, les prophètes du transhumanisme ont raison, et les humains auront bien du mal à justifier leur existence après la "singularité", que Turing envisageait pour la fin du XXe siècle, et que l'on place actuellement aux environs de 2050.
Si on les trouve, on pourra se baser sur elles pour organiser un monde où les machines resteront à leur place et où les humains conserveront leur rôle et leur responsabilité de gestionnaires du monde (Gn I, 28).
Si on ne les trouve pas, il y a plusieurs options :
- bloquer la recherche et sa mise en application ; ce n'est pas impossible, il y a un certain nombre d'exemples historiques (non emploi de l'arme atomique, interdicion du feu grégeois, arrêt des conquêtes chinoises vers 1500) ; mais ce sera très difficile, supposera une très forte autorité internationale et de lourds sacrifices sur la démographie humaine, le niveau de vie et les libertés ;
- freiner suffisamment le mouvement pour que les derniers humains meurent dignement et de mort naturelle ; il faudrait que la singularité ne se produise pas avant 2150, ou se fasse de manière très progressive (hypothèse assez plausible, à condition que la compétition internationale admette des trèves et qu'il n'y ait pas de crispation violente des "passéistes") ;
- convaincre les humains d'être assez respectables et les transhumains d'être assez généreux pour que notre espèce trouve une place honorable dans le monde futur. On peut toujours rêver.