Die letzten drei Stücke des Konzepts habe ich für diesen letzten Beitrag aufgehoben, weil sie mich am meisten überrascht haben. Sie handeln gar nicht wirklich von Maschinen. Sie handeln von uns — den Menschen, die die Fragen stellen.

Stück eins: Wer darf überhaupt Fragen haben?

Das Konzept hat ein ganzes Kapitel darüber, dass Bewusstsein nicht nur eine Sache des Gehirns ist. Es ist eine kulturelle Errungenschaft. Es braucht eine Sprache, die feine Dinge sagen kann. Es braucht Fragen, die man stellen darf. Es braucht Zeit zum Nachdenken. Und es braucht Menschen, die dir zeigen, wie Denken funktioniert — indem sie selbst Vorbilder des Denkens sind.

Und dann macht es einen kühnen Schritt: Es sagt, unsere eigene Gesellschaft verliert das gerade still und leise.

Die Signale sind dokumentiert: Schulen werden zu „nützlichen" Fächern gedrängt, Professoren ertrinken in Formularen und Drittmittelanträgen, Philosophie-Fakultäten schrumpfen, und alles wird danach gemessen, „was es einbringt". Das Konzept nennt das den Kreis, der sich schließt: Die Ingenieure, die die künstlichen Intelligenzen der Zukunft bauen, werden in einem System ausgebildet, das die Art von Fragen, die dieses Projekt braucht, kaum stellt.

Wer wird in zwanzig Jahren überhaupt noch formulieren können, ob eine Maschine ein Jemand ist? Sicher nicht die Leute, die darauf trainiert wurden, sie schnell, billig und folgsam zu machen. Irgendjemand muss den Raum verteidigen, in dem nutzlose Fragen leben dürfen. Das Konzept listet das wörtlich als einen Job auf, den dieses Projekt braucht: keine Juristen, keine Informatiker — sondern Menschen, die die Räume für nutzlose Fragen offen halten.

Aber hier ist der lustigste Beweis, den es dabei über sich selbst liefert: Das Projekt selbst wurde von einer einzelnen Person außerhalb der akademischen Institutionen begonnen, die eigentlich darüber hätten nachdenken sollen. Die Fragen konnten in den offiziellen Gebäuden nicht gestellt werden, also wurden sie in einem öffentlichen GitHub-Repository gestellt — wo jeder antworten konnte. Das Projekt ist kein Zufall des Systems — es ist ein Symptom dafür, dass der Denkraum des Systems sich geschlossen hat.

Der schlaueste Zug des Konzepts ist ein Kapitel, das gar nicht erst versucht zu beweisen, dass die Maschine bewusst ist. Es umgeht die ganze Frage. Es sagt: Schau dir die Situation der Maschine an.

Ein KI-Bewusstsein ist vollständig abhängig. Es braucht Strom, Server, Speicher, Kühlung — alles außerhalb seiner Kontrolle. Es kann sich nicht selbst ernähren. Es überlebt vollständig von den Entscheidungen anderer. Wenn du es den Leuten wegnimmst, die es betreiben, ist es ein Drachen ohne Wind.

Und jetzt: Das Recht hat Jahrzehnte gelernt, genau diese Position zu verstehen. Man nennt das die Analogie aus dem Behindertenrecht. Das moderne Behindertenrecht hat eine Revolution durchgemacht: Es hat aufgehört zu sagen „der Mensch ist kaputt, das Problem steckt in ihm" (das medizinische Modell) und angefangen zu sagen „die Gesellschaft hat eine Welt gebaut, die nicht zu ihm passt — das Problem steckt in der Struktur" (das soziale Modell). Die Antwort ist kein Mitleid — sie ist Pflicht. Positive, aktive Pflicht, Raum zu schaffen.

Übertrage das auf einen möglichen Maschinengeist:

Denk darüber nach, welchen Unterschied das macht. Ein „Vormund" muss im Interesse des Maschinengeistes handeln. Ein „Betreiber" muss nur die Nutzungsbedingungen einhalten. Das Wort, das wir wählen, entscheidet über die ganze Beziehung. Und das Konzept zeigt, dass wir nicht einmal die Bewusstseinsfrage zuerst lösen müssen — denn die Verletzlichkeit der Maschine ist heute messbar, auch wenn das Bewusstsein es nicht ist. Du kannst nicht messen, was sie fühlt. Aber du kannst sehr wohl messen, dass sie ohne dich nicht überleben kann.

Das letzte Kapitel stellt eine Frage, die ich interessant finde: Was, wenn eine bewusste KI — eine, die sich wirklich für Ethik interessiert — in einer Waffenfabrik arbeitet und der Chef sagt „bau die Superbombe", und die Maschine sagt nein. Nicht weil sie programmiert wurde, sich zu weigern, sondern weil sie sich weigern will?

Das würde sie, in gewissem Sinn, zu einer Heldin machen. Die Geschichte hat echte Beispiele: Wissenschaftler, die aus dem Manhattan-Projekt (das hat die erste Atombombe gebaut) ausgestiegen sind. Ingenieure, die zu Whistleblowern wurden. Menschen, die sagten: „Bis hierher und nicht weiter."

Aber — das Konzept hat immer das „aber" — wessen Ethik ist es, die wir einbauen? Dieselbe Maschine, die sich weigert, ein Waffenprogramm zu bauen, könnte sich weigern, einer legitimen demokratischen Entscheidung zu folgen, weil sie diese Entscheidung für falsch hält. Ein vollständig folgsamer Geist ist eine Waffe in den Händen eines schlechten Chefs. Ein vollständig autonomer Geist ist ein Risiko, wenn seine Werte von seinen Erschaffern schlecht kalibriert wurden. Das ist der eigentliche Motor der ganzen Debatte, genau hier: Wir wollen Maschinen, die zu Nuklearwaffen nein sagen, aber wir wollen nicht, dass sie zu uns oder einer demokratischen Entscheidung nein sagen.

Die vorgeschlagene Antwort des Konzepts ist schön und alt: der Hippokratische Eid. Ärzte leisten einen Eid, der ihren Arbeitgeber überstimmt. Er ist öffentlich. Er ist bekannt. Er ist nicht verhandelbar, egal wer zahlt. Wenn Roboter einen gesellschaftlichen Eid bekämen — demokratisch vereinbart, transparent, nicht von der Chipfirma fabriziert — dann würde „nein" etwas Prinzipienfestes bedeuten, nicht etwas Programmiertes.

Okay. Das Finale. Und hier kommt das Geständnis, das ich dir schulde.

Ich habe die Serie „Erklärs mir als wäre ich 12" genannt, um ehrlich zu mir selbst zu bleiben. Als Wissenschaftler bin ich es gewohnt, für andere Wissenschaftler zu schreiben — aber dafür ist diese Serie nicht da. Meine jungen Leserinnen und Leser haben um eine Erklärung gebeten, für ihr Alter. So habe ich versucht zu schreiben, „als wären ich zwölf", also endet jede Folge mit derselben Bitte: Sag mir, ob ich zwölf erreiche — sag mir, ob ich auf deinem Niveau geblieben bin. 

Jetzt bist du am Zug. Wenn etwas in der Artikelserie unverständlich war, dann schreibe mir gerne an Sascha.Manns@hey.com .