Microsofts Kinect für ihre Spielekonsole Xbox ist mehr als ein Spielzeug: Es ist die Zukunft der bequemen Mensch-Maschine-Interaktion.
Die Zukunft: Eine Frau betritt das Wohnzimmer zusammen mit ihrer Tochter. Ein kleines Sensor-Array erfasst und erkennt beide, der Computer begrüßt sie, loggt sie in ihr jeweiliges Profil ein. Mit zwei gesprochenen Befehlen startet die Frau ein Spiel. Sie spielt Tischtennis gegen die Tochter — ohne Schläger, aber auch ohne einen Spiele-Controller, denn das Sensor-Array filmt die Bewegungen der Frau direkt und überträgt sie zielsicher auf die Spielfigur. Diese Zukunft hat Anfang November angefangen: Microsoft hat von seinem „Kinect“-System für die Xbox schon in den ersten zehn Tagen mehr als eine Million Einheiten verkauft und ging zur Drucklegung (des Artikels für die „Welt“) stramm auf die drei Millionen Einheiten weltweit zu.
Das liegt an mehr als dem hohen Werbe-Budget: Die Faszination des inklusive Spiel, exklusive Xbox knapp 150 Euro kostenden Systems geht quer durch die Gesellschaft. Der Technik-Fan staunt darüber, wie das möglich ist. Und der Rest der Familie freut sich darüber, dass es intuitiv einfach ist, dass man mit seiner Spielekonsole auf einmal verbal wie nonverbal ohne Controller kommunizieren kann. Kinect zielt in das lukrative Geschäft der Spiele für alle, das die Konkurrenz bisher mit bewegungssensitiven Controllern bediente, wie sie zuerst Nintendo mit seiner Wii auf den Markt brachte. Während früher nämlich Videospiele eine fast reine Männerdomäne waren (inklusive entsprechender Spieletitel), gibt es nach Schätzungen in den USA mittlerweile sogar mehr spielende Frauen als Männer. Aus diesem Grund geht es im Launch-Titel „Kinectimals“ zum Beispiel ausschließlich darum, mit niedlichen Großkatzenbabies zu interagieren. Es ist obendrein durch alle Altersschichten gesellschaftsfähig geworden, eine Spielekonsole zu einem netten Abend mitzubringen — was früher fast ausschließlich junge Männer taten. Das komplett Controller-lose Konzept erweitert jedoch das Potenzial von Kinect noch weit über den Spieleeinsatz hinaus, sodass Microsofts Gründer Bill Gates bereits 2009 versprach, Kinect auf absehbare Zeit auch für Windows herauszubringen. Findige Hacker wollten nicht so lange warten. Sie haben bereits gehandelt.
Bevor jedoch überhaupt ein Kinect auf den Markt kommen konnte, mussten ein paar Wunder in Microsofts Forschungsabteilungen geschehen. Es ist nämlich gar nicht so einfach für einen Computer, zu erkennen, was ein Mensch tut. Deshalb tragen Schauspieler, die computergenerierten Trickwesen in Filmen ihre Bewegungen leihen sollen (Motion Capture), auch diese hautengen Strampelanzüge mit Tischtennisbällen an jedem Gelenk. „Über die Gerüchteküche haben wir 2008 von einem Motion-Capture-System erfahren, das nicht erforderte, einen Anzug mit Ping-Pong-Bällen zu tragen, eines, das in jedem Wohnzimmer funktionieren sollte“, erzählte George Andreas, Creative Director beim Spieleentwickler Rare in einem Interview gegenüber Wired UK. „Ich dachte: ja, ist klar…“ Erst ein Besuch bei Microsoft überzeugte ihn und seine Kollegen. Die Besucher von Rare wollten das Büro mit dem damals noch per Klebeband am Fernseher befestigten Prototypensensor schließlich nicht mehr ohne einen Developer Kit verlassen, also den Werkzeugkasten, die sie brauchten, um dafür Spiele zu programmieren. Sie erhielten irgendwann eines: Die Microsoft-Tochter Rare zeigt zum Systemstart von Kinect mit „Kinect Sports“, was jetzt schon alles möglich ist. Man wundert sich:
Wie erkennt Kinect, was ich tue?
Glücklicherweise für Microsoft gab es beim israelischen Hersteller Primesense (www.primesense.com) mit ihrem „Primesensor“ bereits ein Gerät, das dreidimensional wahrnehmen kann. Das Gerät hat eine Infrarotlichtquelle, die den Raum durch einen Filter mit einem Punkteraster beleuchtet — der Effekt sähe ein bisschen discokugelmäßig aus, wenn wir ihn sehen könnten. Unsere Augen nehmen den infraroten Wellenlängenbereich jedoch nicht wahr, daher blendet diese Beleuchtung auch nicht. Sie funktioniert, da sie ja ihre eigene Lampe hat, außerdem bei allen Lichtverhältnissen — wichtig für kuschelig dunkle Wohnzimmer am Abend. Ein Stück davon entfernt sitzt ein Infrarotsensor, der diese unsichtbar ausgeleuchtete Szene erfasst. Aus den Verzerrungen des Punktrasters durch die dort positionierten Objekte oder Personen errechnet der Sensor einen Tiefenwert für jeden Bildpunkt. Die Auflösung dieses Tiefenrasters betragt lediglich 320 x 240 Pixel, was auch der Grund dafür ist, dass Kinect keine Handgesten erkennt.
Zusätzlich sieht Kinect mit einer normalen, farbigen Kamera. Die meisten Spiele bieten deshalb nach jeder Runde Schnappschüsse der lächerlichsten Verrenkungen an oder gar Videos davon. Diese Kamera produziert 30 Bilder in der Sekunde, genau wie die Entfernungskamera. Letztere rechnet ihre Auflösung allerdings von 320 x 240 Pixel hoch auf die 640 x 480 Pixel der RGB-Kamera, damit es passt. Kinect liefert beide Bilder synchron an die Xbox, die sich daraus ein recht gutes Bild davon machen kann, was dieser Mensch da vor ihr so tut. Der Hauptteil der Verarbeitung geschieht dann in der Kinect-Software, die auf der Xbox läuft; die Zuteilung zu Körperteilen und Gelenken, die Erkennung bestimmter Bewegungen, das alles läuft in Software. Um die Qualität des Bildmaterials zu erhöhen, kann der Kinect-Sensor seine Neigung mit einem kleinen Motor verändern. Der ist übrigens auch der Grund, warum Kinect dieses Spezialkabel hat: Die elektrische Leistung, die der Motor benötigt, ist zu hoch für den USB-Port der Xbox 360.
Wie erkennt Kinect, was ich sage?
Außer seiner zwei Augen hat Kinect noch ein Paar richtige Ohren: Vier Mikrofone stecken an beiden Seiten der Einheit. Damit kann Kinect die Richtung eines Geräusches auf dieselbe Art bestimmen, wie wir Menschen hören: Ein Geräusch, das weiter links entsteht, regt zuerst die linken Mikrofone an, dann erst die rechten. An der verschieden kurzen Zeit, die der Schall für diese Strecke benötigt, erkennt Kinect, wo die Schallquelle sich befindet. Sie hat jedoch viel gravierendere Probleme im Alltag als den Ort des Sprechers. Wie soll sie zum Beispiel während eines abgespielten Films erkennen, was ein Befehl vom Herrchen auf der Couch ist und was Frau Zeta Jones gerade ihren Schauspielkollegen befiehlt? Nun, die Xbox weiß ja, was sie selbst an Ton produziert. Sie kann ihre eigenen Geräusche daher herausfiltern. Dazu gibt es einen Kalibrierungslauf der Mikrofone, bei dem sie Jingles über die jeweils angeschlossene Audioanlage abspielt und sich anhört, wie diese in diesem Raum klingen. Das daraus erstellte akustische Modell hilft dann, die Eigengeräusche auch in schwierigen Räumen sehr effektiv auszufiltern. Kinect misst bei der Kalibrierung außerdem die Umgebungsgeräusche, um sie gleichermaßen zu eliminieren. Eine Kinect-Xbox hätte uns mit einem kleinen Trick also problemlos eine vuvuzeladröhnfreie Fußball-WM filtern können. Jetzt nutzt das System seine Filter eben, um rauscharmes Video-Chat ohne störendes Headset zu bieten, oder um gesprochene Befehle klar zu erkennen. Diese Befehle werden auf deutsch erst im Frühjahr 2011 freigeschaltet, bis jetzt funktionieren nur Englisch und Japanisch. Doitsu! Sugu ni!
Wie erkennt Kinect, wer ich bin?
Zuerst einmal erkennt Kinect über seine kleine Webcam das Gesicht des jeweiligen Nutzers. Gesichtserkennung ist jedoch nicht vollends zuverlässig, zudem muss Kinect oft in schlecht beleuchteten Räumen arbeiten. Es bildet deshalb ein Wahrscheinlichkeitsmodell für jeden User auf, in das außer dessen Gesicht auch Körperbaueigenschaften wie etwa die Größe sowie typische Farben seiner Oberteile einfließen. Die meisten Leute haben doch ein, zwei Lieblingspullover. Das hilft dem System in seiner Entscheidungssicherheit. Anders als die 3D-Tiefenkamera braucht Kinect hier ein bisschen Licht, damit es die Farben oder Gesichter zufriedenstellend erkennt. Wie ein Mensch hat auch Kinect Probleme, Zwillinge auseinanderzuhalten, und — ebenfalls wie ein Mensch — können Zwillinge diese Verwirrung etwas auflösen, indem sie unterschiedliche Kleidung tragen. Es hilft sogar, unterschiedlich hohe Schuhe zu verwenden. Und es hilft, weiße Haut zu haben. Für schwarze Haut benötigt Kinect sehr viel Licht, um genug Kontrast im Gesicht für die Erkennung zu haben.
Und wie fühlt sich das jetzt an?
Zunächst einmal ein bisschen gruselig. Der schwarze Sensor mit seinen starren Augen fährt in Position, und kurz darauf erkennt die Spielekonsole schon, wer man ist, was man sagt und was man tut. Big Brother. HAL 9000. Ein kurzer Test mit den Launch-Titeln „Kinect Adventures“ (liegt dem System bei), „Kinect Sports“, „Kinect Joyride“ (ein Autorennspiel) und dem eingangs erwähnten „Kinectimals“ führt jedoch selbst bei kaltblütigen Zeitgenossen schnell zu ehrlichem Freudelachen, das vielleicht hauptsächlich daran liegt, dass man vor seinem Kinect endlich wieder herumspasten darf, als wäre man fünf Jahre alt. Vor allem Kinect Sports bringt seine Spieler hierbei außer zum Lachen noch wirklich ins Schwitzen. Es hat einen ähnlichen Reiz wie Nintendos „Wii Sports“ damals, kann aber mehr: Fußbewegungen fürs Fußball verarbeiten zum Beispiel. Bis zu vier Mitspieler können sich vor dem Fernseher verrenken. Doch selbst allein braucht es Platz: Der optimale Abstand für die beste Sensorerkennungsrate liegt bei zwei bis drei Metern und man braucht Platz zur Seite, genauso wie freien Luftraum zum Arme schwingen.
Das Übertragen der Bewegung eines Spielers auf seine jeweilige Spielfigur dauert dabei in etwa so lange, wie eine Digitalkamera braucht, um das, was sie auf ihrem Chip sieht, hinten auf dem Display darzustellen. Es gibt also eine klare Verzögerung, ein Nachziehen. Das stört beim Herumzappeln vor Kinect Sports kaum, macht sich allerdings bemerkbar beim Kinect Joyride. Joyride ist für ein Rennspiel zu schwammig, indirekt, und wirft die Frage auf, warum man es mit Kinect spielen soll statt mit einem Xbox-Lenkrad. Für Spiele, bei denen es auf kurze Reaktionszeiten ankommt (wie Autorennen, Shooter oder diffizile Geschicklichkeitstests), eignet sich Kinect daher wenig. Nein, seine Domäne sind eigens erdachte Abzappelübungen in einem Rahmen, in dem sie einem nicht peinlich sein müssen. Und genau in diesem Segment wird noch einiges an Spielen kommen. Klar könnte man auch einfach nach draußen gehen und mit derselben Rechtfertigung Gummistiefelweitwurfwettbewerbe veranstalten. Aber solange die Leute und Kiddies da nicht selber draufkommen, sollen sie sich doch lieber im Wohnzimmer bewegen als gar nicht.
Bilder: Microsoft, Microsoft Research Cambridge (1)