Wenn es um komplexe Spiele geht, zieht der Mensch gegen Computer meist den kürzeren. Künstliche Intelligenz (KI) hat bereits Spitzenspieler beim Schach oder dem asiatischen Brettspiel Go geschlagen. Sogar beim Curling, wo es neben taktischem Geschick auch auf Fingerspitzengefühl ankommt, unterlagen erfahrene Teams schon der Technik.

Umso erstaunlicher, dass bei manchen Computerspielen aus der Urzeit der Branche bisher der Mensch die Nase vorne hatte. Bis jetzt. Denn ein Computersystem namens Go-Explore schnitt nun gegen menschliche Gegner in allen Spielen für den Atari 2600 besser ab.

Wohl gemerkt: Die Konsole kam im Jahr 1977 auf den Markt. Aber bei Spielen wie »Pitfall« führten die bisher angewendeten Algorithmen nicht zum Erfolg. Das Jump ’n’ Run-Spiel von 1982, bei dem die Figur Pitfall Harry per Joystick durch eine Dschungel-Landschaft gesteuert wird und Hindernissen ausweichen muss, war zu komplex für die Technik.

Forscher entwickelten für solche Aufgaben nun eine Art Umgebungsgedächtnis. Das Computersystem baut beim Erkunden der Spielumgebung ein Archiv auf und greift immer wieder darauf zurück, wenn die Figur neue Hindernisse überwinden muss. Das berichten US-Forscher um Adrien Ecoffet von den Uber AI Labs in San Francisco in der Fachzeitschrift »Nature«.

Grundsätzlich näherten sich die Forscher dem Problem durch das sogenannte Reinforcement Learning, dem Lernen durch Verstärkung. Dabei lernt ein System durch Versuch und Irrtum, welche Aktionen belohnt und welche etwa durch Punktabzug bestraft werden.

Aber: »Bestehende Algorithmen zum Lernen durch Verstärkung scheinen Schwierigkeiten zu haben, wenn komplexe Umgebungen wenig Feedback bieten«, schreiben die Wissenschaftler mit Blick auf den Spielaufbau.

Das System bekommt ein Gedächtnis

Deshalb erweiterten sie das System durch eine Art digitales Gedächtnis. Dabei werden einzelne Spielzustände gespeichert. Nach jeder Erkundungsrunde wählt die KI im Archiv den Zustand oder Weg aus, der mit der…