Über unser Projekt

Menschen mit Sehbehinderung scheitern im Beruf selten an ihrer Qualifikation. Zum Hindernis wird meist die Umgebung: ein Geräteetikett ablesen, eine handschriftliche Notiz entziffern, sich in fremden Räumen orientieren. Solche Aufgaben kosten Zeit oder erfordern fremde Hilfe. Klassische Hilfsmittel sind stark auf den Bildschirmarbeitsplatz zugeschnitten und stoßen überall dort an Grenzen, wo die Arbeit tatsächlich stattfindet.

Genau dort setzt AssistiveXR4Work an. Wir entwickeln ein mobiles Assistenzsystem, das visuelle Informationen automatisch erkennt, sie vergrößert, kontrastreicher darstellt oder vorliest – und sich dabei an die individuellen Sehbedürfnisse der Nutzenden anpasst.

Wie das System funktioniert

Grundlage sind moderne XR-Brillen mit hochauflösenden Kameras. Sie erfassen die Umgebung kontinuierlich, und die Darstellung wird digital aufbereitet, bevor sie im Sichtfeld erscheint: Kontraste werden verstärkt, Inhalte vergrößert, Texte erkannt und auf Wunsch vorgelesen.

Eine integrierte KI ergänzt diese Bildaufbereitung. Sie unterstützt bei der Orientierung, erkennt Objekte im Umfeld und hebt relevante Komponenten hervor. Reicht das im Einzelfall nicht aus, lässt sich per Livestream eine sehende Person zuschalten, die direkt weiterhilft.

Anwendungsbeispiele

• Im Meeting: Inhalte eines Whiteboards werden automatisch erkannt und vergrößert, handschriftliche Notizen in Klartext übertragen und direkt weiterverarbeitet.
• In technischen Arbeitsumgebungen: Das System unterstützt bei der Orientierung im Raum und hebt die Komponenten hervor, auf die es gerade ankommt.
• Unterwegs im Betrieb: Etiketten, Displays und Beschilderungen werden lesbar gemacht, ohne dass ein separates Hilfsmittel hervorgeholt werden muss.

Inklusion trifft Fachkräftesicherung

Das Projekt verbessert die Teilhabe am Arbeitsleben und adressiert zugleich den Fachkräftemangel. Viele qualifizierte Beschäftigte verlieren ihren Arbeitsplatz oder müssen das Tätigkeitsfeld wechseln, wenn ihre Sehkraft nachlässt.

Laut dem Institut für Arbeitsmarkt- und Berufsforschung (IAB), einer Forschungseinrichtung der Bundesagentur für Arbeit, sind Schwerbehinderungen in Deutschland weit verbreitet und entstehen zum Großteil erst im Laufe des Erwerbslebens. Die Wahrscheinlichkeit, fünf Jahre später noch erwerbstätig zu sein, liegt bei den Betroffenen rund 16 Prozentpunkte niedriger. AssistiveXR4Work soll dazu beitragen, dass sie ihren Beruf weiter ausüben können.

Projektrahmen

AssistiveXR4Work ist ein gemeinsames Vorhaben des Karlsruher Instituts für Technologie (KIT) und des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB. Am KIT ist das Zentrum für digitale Barrierefreiheit und Assistive Technologien (ACCESS@KIT) beteiligt.

In den kommenden vier Jahren entsteht ein funktionsfähiger Demonstrator, der anschließend in der Praxis erprobt wird. AssistiveXR4Work ist das Nachfolgeprojekt von InclusiveVR@Work und baut auf dessen Ergebnissen auf.

Häufige Fragen

Was ist XR?

XR steht für Extended Reality und ist ein Oberbegriff für Virtual, Augmented und Mixed Reality – also für Technologien, die reale und digitale Inhalte miteinander verbinden. Für unser Projekt ist besonders der sogenannte Video-Passthrough relevant: Kameras an der Brille nehmen die Umgebung auf, das Bild wird in Echtzeit verarbeitet und auf Displays direkt vor den Augen ausgegeben. Weil das Bild dabei durch den Rechner läuft, lässt sich die reale Umgebung digital verändern, statt nur zusätzliche Inhalte einzublenden.

Warum eine visuelle Hilfe für Personen mit Sehbehinderung?

Sehbehinderung bedeutet in den seltensten Fällen vollständige Blindheit. Die meisten Betroffenen verfügen über nutzbares Restsehvermögen. Dieses Sehvermögen gezielt zu unterstützen – durch Vergrößerung, verstärkte Kontraste oder das Hervorheben wichtiger Bildbereiche – ist oft schneller und intuitiver, als sämtliche Informationen in Sprache zu übersetzen. Sprachausgabe bleibt deshalb eine Ergänzung, die dort greift, wo das Sehen allein nicht ausreicht.

Welche Art von Sehbehinderung wird unterstützt?

Es gibt eine Vielzahl unterschiedlicher Sehbehinderungen. Sie können unter anderem das Sichtfeld, die Farbwahrnehmung oder die Sehschärfe beeinträchtigen. Aufgrund dieser großen Varianz hat sich bereits im Vorgängerprojekt InclusiveVR@Work gezeigt: Eine hohe Anpassbarkeit des Systems ist sinnvoller, als sich auf einzelne Beeinträchtigungen oder Symptome zu fokussieren.

Welche Hardware kommt zum Einsatz?

Aktuell arbeiten wir überwiegend mit der Meta Quest 3. Im Projektverlauf werden wir voraussichtlich auf neuere Brillen umsteigen. Da die Entwicklung auf Unity und OpenXR aufsetzt, sind wir weitgehend geräteunabhängig und müssen uns nicht auf ein einzelnes Modell festlegen.