14.02.2020 – Lesezeit: 4 Minuten

Marketing, Vertrieb und Service / Technologie

Künstliche Intelligenz lässt Blinde sehen

Sehbehinderte schöpfen Hoffnung: In einem Pilotprojekt mit einem 12-Jährigen hat Microsoft gezeigt, wie eine modifizierte HoloLens und Künstliche Intelligenz (KI) Blinden oder Sehbehinderten helfen können, andere Menschen oder Dinge wieder wahrzunehmen.

Am schönsten hat es wohl der erste Schriftprophet Jesaja in der Lutherbibel von 1912 formuliert: „Alsdann werden der Blinden Augen aufgetan werden, und der Tauben Ohren geöffnet werden.“ Beides wird dank moderner Technik mehr und mehr zur Realität.

Man denke nur an Neil Harbisson. Von Geburt an nur schwarzweiß und in Grautönen sehend, war der Brite dank eines selbstentwickelten Eyeborg, den er sich mit 21 implantieren ließ, in der Lage, Farben zumindest hören zu können. Und so wurde der Aktivist und Avantgarde-Künstler bald zum ersten von einer Regierung anerkannten Cyborg.

Die Art und Weise, wie eine HoloLens dem zwölfjährigen Theo auf der Stirn sitzt, erinnert etwas an Harbissons Eyeborg. Microsoft hat das Pilotprojekt um die eigene Mixed-Reality-Brille nach dem englischen Namen von Japans Hauptstadt „Project Tokyo“ genannt. Genauer handelt es sich um eine leicht modifizierte und durch KI erweiterte HoloLens samt Stirnband, Kameras, Sensoren und Lautsprechern.

Hören statt sehen ist der Clou

Theo konnte mit dieser Vorrichtung im Rahmen des Pilotprojektes im Dezember 2019 zwar weiterhin nicht sehen, aber hören, welche Personen sich im Raum befanden. Dazu musste er nur den Kopf hin und her drehen, bis er über die in der modifizierten HoloLens integrierten Lautsprecher den Namen „Martin“ hörte. Martin Grayson ist ein leitender Ingenieur in der Softwareabteilung von Microsoft in Cambridge und wurde wie sein Forschungskollege Tim Regan in weniger als fünf Sekunden von Theo geortet. Seine Mutter Elin war begeistert über die gelungene Demonstration.

Martin Grayson (links) „ortet“ seine Kollegin Cecily Morrison mithilfe des „Project Tokyo“

Theo ist laut Microsoft Teil einer Forschungsgemeinschaft bestehend aus Menschen mit Sehbehinderungen, die zusammen mit Tim Regan, Martin Grayson und dem Team um der Wissenschaftlerin Cecily Morrison an dem Projekt zur Entwicklung intelligenter persönlicher Assistenten mitwirkten. Theo nutzt den persönlichen Assistenten mit der HoloLens als KI-Hardware, um erkennen zu können, wer sich in seiner unmittelbaren Umgebung befindet. Langfristiges Ziel des Projektes ist es, intelligente persönliche Assistenten zu entwickeln, die nicht nur in der Lage sind, vordefinierte Aufgaben zu lösen, sondern Menschen mit Behinderungen auch ein barrierefreies, inkludiertes Leben zu ermöglichen.

Paralympics in Brasilien gaben den Anstoß

Das „Project Tokyo“ hat mit der japanischen Hauptstadt übrigens nichts zu tun, sondern ist 2016 im Rahmen der Paralympischen Spiele in Brasilien entstanden. Cecily Morrison, die als Forscherin heute Teil der Human Experience & Design (HXD) Community bei Microsoft Research Cambridge ist, hat damals mit ihrem Team eine Gruppe von sehbehinderten Sportlern nach Rio de Janeiro begleitet und dabei unter anderem gelernt, wie sie mit ihren Mitmenschen interagierten. In Folge wurden verschiedene Technologien entwickelt, um fehlende Sinneseindrücke zu ersetzen und mit Hilfe von Künstlicher Intelligenz zu erweitern.

Der blinde Peter Bosher (links) mit der modifizierten HoloLens im Austausch mit Cecily Morrison (rechts)

Ergebnis der weiteren Entwicklung war der Einsatz der Microsoft HoloLens als Basis, mit der sich Hologramme in die reale Welt projizieren lassen. Die Graustufenkamera des Gerätes diente den Forschern nunmehr dazu, die Umgebung zu scannen, die HD-Farbkamera, um Gesichter präzise erkennen zu können, Lautsprecher auf Ohrhöhe für eine räumliche Tonwiedergabe. Schließlich haben die Wissenschaftlerinnen und Wissenschaftler einen intelligenten Algorithmus, sprich eine Art KI entwickelt, die den Sehbehinderten wie dem kleinen Theo zum Beispiel das Erkennen von Personen in unmittelbarer Nähe ermöglichen.

Mehr Inklusion heißt das große Ziel

Unterschiedliche Klickgeräusche lenken die Aufmerksamkeit auf eine bestimmte Person, um dann zu signalisieren, dass diese nun im Fokus der HoloLens ist, gefolgt von der Nennung ihres Namens. Ein Ziel des Microsoft-Projektes ist auch, Kindern mit Sehbehinderung zu helfen, aus ihrer – dem Autismus ähnelnden – sozialen Abgeschlossenheit herauszufinden und die Fähigkeit zu entwickeln, mit den Mitmenschen zu interagieren.

Bei Theo hat das den Forschern zufolge schon so gut geklappt, dass er seinen Körper und sein Gesicht unabhängig von der HoloLens zu der Person dreht, die er ansprechen möchte. Ob diese Veränderung nachhaltig ist, konnten sie allerdings nicht sagen. Außerdem beschäftigt sie auch die Frage, ob die Erkenntnisse mit Theo auch auf andere Kinder mit Sehbehinderungen übertragbar sind. Das wird Teil der weiteren Forschungsarbeit sein.

All for One Group geht voran

Die All for One Group, führende IT- und Consulting-Gruppe in der DACH-Region auch im Bereich Microsoft-Lösungen für den Mittelstand, hat für verschiedene Kunden in der Logistik und in anderen Bereichen schon Projekte mit Einsatz der HoloLens und andere AR- oder VR-Brillen (Augmented und Virtual Reality) auf den Weg gebracht.

Darüber hinaus verfügt die All for One Group auch über eine große Expertise bezüglich Künstliche Intelligenz und Machine Learning (ML) in Verbindung, auch aber nicht ausschließlich in Verbindung mit dem Industrial Internet of Things (IIoT). KI und ML führen zu einer wesentlich besseren Analyse und Auswertung der Daten von Maschinen, die per Edge Computing in einem solchen IoT- oder IIoT-Szenario angebunden sind. Ein vielzitiertes Beispiel ist in dem Zusammenhang die Predictive Maintenance oder vorausschauende Wartung.

Aber damit sind die Möglichkeiten des stark wachsenden Internets der Dinge im B2B-Segment lange nicht erfüllt. All for One arbeitet für und mit den Kunden ständig an Lösungen, IoT & Machine Learning oder KI zu verbinden. Hinzu kommen Kompetenzen im Bereich Logistik & Supply Chain, wo es auch zunehmend um vernetzte Prozesse geht und die Stückgüter über RFID Tags oder QR-Codes selbst mehr und mehr zu IoT Devices werden.

Wie auch Sie das Thema Augmented Reality im Mittelstand anpacken können, erfahren Sie in diesem Artikel zur Microsoft HoloLens 2.

Quelle: Titelbild und Artikelbilder Jonathan Banks, Microsoft-News