Der Forscher Jacob Coxon gab bekannt, dass er Anthropic verlässt, nachdem er in den vergangenen drei Jahren bei OpenAI und Anthropic am Vortraining von Modellen gearbeitet hat. Er erklärte, keines der beiden Unternehmen handle verantwortungsvoll genug, während sie um die Entwicklung selbstverbessernder Superintelligenz wetteiferten und damit möglicherweise die Menschheit gefährdeten.
„Sie rasen direkt auf selbstverbessernde Superintelligenz zu und setzen unser Leben aufs Spiel“, sagte Coxon.
Coxon forderte die Öffentlichkeit auf, die Fähigkeiten künftiger Systeme nicht zu unterschätzen. Solche Systeme könnten Menschen in mehreren Bereichen übertreffen, Computersysteme hacken, wissenschaftliche Forschung erheblich beschleunigen und bedeutenden Einfluss in der realen Welt erlangen, sagte er.
Er erklärte zudem, Fachleute, die unmittelbar an Spitzenmodellen arbeiten, zögen Szenarien ernsthaft in Betracht, in denen die fortgesetzte Entwicklung der Technologie katastrophale Folgen habe.
„Die Menschen, die KI entwickeln, glauben wirklich, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte“, sagte Coxon.
Laut Coxon klingen die öffentlichen Aussagen von Führungskräften und führenden Fachleuten häufig deutlich vorsichtiger als ihre Einschätzungen in privaten Gesprächen.
Coxon fordert freiwillige Beschränkungen
Coxon unterschied zwischen den Ansätzen von OpenAI und Anthropic. Viele OpenAI-Beschäftigte hätten die potenziellen Folgen von Superintelligenz noch nicht vollständig erfasst, sagte er. Anthropic verstehe dagegen das Ausmaß der Risiken, bleibe jedoch im Wettbewerb, weil das Unternehmen befürchte, dass Konkurrenten die Technologie ungeachtet dessen weiterentwickeln würden.
Coxon bezeichnete diesen Ansatz als übermäßig riskant. Private Unternehmen sollten nicht allein darüber entscheiden dürfen, ob Systeme eingesetzt werden, die wissenschaftliche Forschung und ihre eigene Entwicklung eigenständig beschleunigen könnten, argumentierte er.
Führende US-KI-Labore könnten sich möglicherweise auf Schutzmaßnahmen koordinieren, sagte er. Zu den möglichen Maßnahmen könnten freiwillige Beschränkungen des Entwicklungstempos und, falls notwendig, ein vorübergehender Verzicht auf weitere Steigerungen der Modellfähigkeiten gehören.
Coxon forderte Beschäftigte von KI-Unternehmen auf, darüber nachzudenken, ob sie bereit seien, an der Ausbildung superintelligenter Systeme mitzuwirken, ohne ausreichend zu verstehen, wie diese Systeme funktionierten oder welche Risiken sie darstellten.
Anthropic-Forscher für Alignment reagiert
Evan Hubinger, Leiter von Alignment Science bei Anthropic, reagierte auf Coxons Erklärung, indem er dessen Position unterstützte. Hubinger schätzte die Wahrscheinlichkeit, dass KI innerhalb des kommenden Jahrzehnts das Aussterben der Menschheit verursachen könnte, auf mehr als 10%.
Hubinger räumte zudem ein, dass Anthropic keine fertige Lösung dafür habe, Superintelligenz an menschlichen Zielen auszurichten.
OpenAIs Chefwissenschaftler Jakub Pachocki hatte zuvor die Notwendigkeit hervorgehoben, die KI-Entwicklung zu verlangsamen, solange angemessene Sicherheitsgarantien fehlten. In einem am 6. September veröffentlichten Essay schrieb er, kein Labor habe Alignment und Überwachung gut genug gelöst, um die Skalierung von Systemen über einen längeren Zeitraum hinweg verantwortungsvoll mit maximaler Geschwindigkeit fortzusetzen.
Quelle: HODL Press
