Mit AVATASI haben wir den ersten digitalen CGI-basierten Gebärdensprach-Avatar für die deutschsprachige Kulturlandschaft initiiert. Gefördert wurde das Projekt von der Kulturstiftung des Bundes. AVATASI übersetzt Textinformationen in 3D-animierte Gebärden und bietet der Museumswelt unter www.avatasi.io erstmalig eine Lösung, mithilfe eines Baukastensystems aus etwa 35.000 Zeichen auf automatisierte Übersetzungen zurückzugreifen.
Warum AVATASI?
Immer mehr Bereiche der musealen Vermittlung werden in den digitalen Raum verlagert. Vor allem für körperlich eingeschränkte, hörgeschädigte und gehörlose Menschen ist der Zugang zu diesen virtuellen Angeboten erschwert. Obwohl die Deutsche Gebärdensprache (DGS) eine eigene Sprache mit eigener Kultur ist und 2021 von der UNESCO als immaterielles Kulturerbe anerkannt wurde, ist sie im Rahmen von digitalen kulturellen Formaten kaum verfügbar. Ein Problem hierbei ist die Asymmetrie zwischen der Vielzahl zu übersetzender Textmengen und den im deutschsprachigen Raum lediglich rund 800 aktiven Gebärdendolmetscher*innen. Zudem sind Inhalte auf musealen digitalen Plattformen oftmals dynamisch, sie müssen regelmäßig und schnell angepasst und verändert werden. Textsprache wird von gehörlosen Nutzer*innen oft als Fremdsprache, Schriftgrößen- und Kontrastanpassungen als unzureichend wahrgenommen. Automatisierte Funktionen, wie TTS-Systeme, beziehen Hörgeschädigte und Gehörlose bislang nicht ein.
Wir haben daher im Rahmen des von der Kulturstiftung des Bundes geförderten Projektes AVATASI in Zusammenarbeit mit der Charamel GmbH und Yomma den ersten Gebärdensprach-Avatar für die deutschsprachige Kulturlandschaft entwickelt und umgesetzt, um digitale barrierefreie Kommunikation zu ermöglichen.
Wie funktioniert AVATASI?
Per kostenlosem Baukastensystem können Museen ihre eigenen Textbausteine aus etwa 35.000 Zeichen unter www.avatasi.io individuell zusammenstellen, Videos der virtuellen Gebärdenübersetzungen generieren und diese auf ihren digitalen Plattformen nutzen. Zur Erfassung und Umsetzung der Zeichen haben wir als Basis eine Text-Library erstellt:
Im ersten Schritt umfasst unser Übersetzungstool über 35.000 Zeichen. Dabei handelt es sich einerseits um Inhalte, die speziell auf das Zeppelin Museum zugeschnitten sind wie z. B. Informationen zur hauseigenen Technik- und Kunstsammlung oder Hintergrundinformationen sowie allgemeine museale Inhalte wie Öffnungszeiten, Preise, Führungen etc.
Der SignTextEditor enthält sämtliche generierte Korpusdaten (Video- und 3D-Daten als Roh- und Finale-Daten, Textinformationen, DGS-Übersetzungen, Bildmaterialen etc.). Mithilfe des SignTextEditors erfolgt die Kontrolle, Bearbeitung und Definition von KI-basierten Regeln im Rahmen eines einheitlichen Prozesses. Die finalen Daten dienen der Generierung der Übersetzung auf Basis der DGS-Regeln.
Nach Zusammenstellen der Sätze und der Eingabe von Variablen (Platzhaltern) kann der Renderprozess gestartet werden. Hierzu laufen im Hintergrund komplexe Animationsverfahren server-basiert on demand ab und rechnen die Video-Outputs heraus. Fertig gestellte Videorenderings sind anschließend im eigenen Museumsaccount verfügbar und können über API oder per Videolink in die eigenen digitalen Plattformen eingebunden werden. Die hierzu aufgebauten Renderstationen (Render-Rechner) in der Cloud sind skalierbar und können DGS-Animationen intelligent per spezieller Animationsverfahren (z. B. KI, inverse Kinematik) automatisiert berechnen.
Wir hoffen mit diesem Innovationsprojekt zur digitalen Teilhabe beizutragen und freuen uns über Rückmeldung und Feedback aus der Community.
AVATASI wurde entwickelt im Rahmen von „dive in. Programm für digitale Interaktionen“ der Kulturstiftung des Bundes, gefördert durch die Beauftragte der Bundesregierung für Kultur und Medien (BKM) im Programm NEUSTART KULTUR.