Page Areas:



Additional Information:

Announcing ICCHP 2016

Logo ICCHP

Campusplan

Hier den Alternativtext zum Bild eingeben!

Our location on campus ...  more of Campusplan (Titel)


Position Indication:

Content

MathInAudio, Darstellung mathematischer Formeln durch künstliche Sprache [DA]

Idee / Ausgangspunkt

Während die Darstellung mathematischer Inhalte mittels Braille-Schrift jahrzehntelange Tradition hat, wurde, zumindest im deutschen Sprachraum, noch kaum je versucht, den Hörsinn hierzu verfügbar zu machen. Fordert man einen Menschen mit mathematischen Kenntnissen, aber ohne Vorwissen über die Bedürfnisse von Menschen mit Sehbeeinträchtigung auf, eine mathematische Formel so auszusprechen, dass ihre Struktur klar kommuniziert wird, dann wird man mit großer Unsicherheit seitens des Sprechers konfrontiert werden – wie soll man verbalisieren, wie weit eine Wurzel oder ein Index riecht, wie gibt man die Struktur eines Bruches wieder, oder wie stellt man gar eine Matrix nur in Worten dar. Tatsächlich gibt es zwar eine große Zahl verschiedener taktiler Notationen für Mathematik, die sich fast alle aus der klassischen Braille-Schrift ableiten, aber es fehlt bisher ein systematisches Regelwerk zur sprachlichen Wiedergabe von Formeln. Sieht man von einigen im Angelsächsischen Raum publizierten Arbeiten – Fitzpatrick et al. [3], [4] – und von einem an unserem Institut im Rahmen des MathInBraille Projekts entworfenen Code – AVCM [5], [6], [7] - ab, so war das Thema bisher noch nicht Gegenstand systematischer Forschung.

Aufgabenstellung / Herausforderung

Basierend auf einer Analyse der Struktur mathematischer Ausdrücke sollen Vorschläge zu einem Regelwerk für die sprachliche Wiedergabe von Formeln erarbeitet werden. Hierbei soll nicht nur der Wortlaut der auszusprechenden Phrasen festgelegt werden, sondern es sollen zusätzlich akustische Parameter wie Pausen, Betonung, Akzentuierung, Prosodie etc. zur Abbildung von Strukturmerkmalen herangezogen werden. Die Arbeiten von Fitzpatrick et al. [3], [4] Sowie der von uns erarbeitete Vorschlag eines verbalen Codes – AVCM – [5] können hierfür als Ausgangspunkt genommen werden.

Die erarbeiteten Regeln sollen als Grundlage für eine zu entwickelnde Software-Lösung verwendet werden: Hierzu ist ein Ausgabe-Modul für die UMCL – Universal Maths Conversion Library – [1], [2] zu implementieren, das eine Teilmenge des Sprachumfangs von MathML in den zu definierenden Code umsetzt. Dies kann dann als Ergänzung zum jetzigen MathInBraille System [7] implementiert werden: Das System, das bisher in der Lage war, nutzerseitig gelieferte mathematische Inhalte in Braille auszugeben, könnte unter Verwendung und nach Einbindung des zu implementierenden Moduls die Ausgabe der Formeln wahlweise auch als Audio-Datei – etwa unter Verwendung einer frei verfügbaren Sprachsynthese – liefern.

Ziel / Ergebnisse

  • Analyse der Struktur mathematischer Ausdrücke
  • Erstellung eines Regelwerkes zur sprachlichen Wiedergabe mathematischer Strukturen unter Berücksichtigung von Wortlaut, Pausen, und Betonung
  • Implementierung eines Ausgabe-Moduls für die UMCL [1], [2], das Mathematik gemäß dem entwickelten Regelwerk als Audio-Datei ausgibt.
  • Einbindung des Ausgabe-Moduls in den MathInBraille Online Service [7], um die akustische Ausgabe mathematischer Inhalte auf Anfrage über das Web zu ermöglichen.

Benötigte Kompetenzen

  • Studium Informatik, Wirtschaftsinformatik oder Mathematik
  • LVA unseres Institutes
  • Mathematische Grundkenntnisse

Kontaktperson

Dipl.-Ing. Bernhard Stöger
a.Univ.-Prof. Dr. Klaus Miesenberger

Literatur

[1] Archambault, D., Batusic, M., Berger, F., Fitzpatrick, D., Miesenberger, K., Moco, V., Stöger, B.: The universal maths conversion library: an attempt to build an open software library to convert mathematical contents in various formats. In: Stephanidis, C. (ed.) Proceedings of 3nd International Conference on Universal Access in Human-Computer Interaction (joint with HCI International 2005). Las Vegas, Nevada, USA (July 2005), 9 pages (proceedings on CD-Rom)
[2] Archambault, D., et al.: Umcl on sourceforge. "http://sourceforge.net/projects/umcl/" (2012)
[3] Bates, E. and Fitzpatrick, D. (2010). Spoken Mathematics using Prosody, Earcons and Spearcons. In Miesenberger, K., Klaus, J., Zagler, W., and Karshmer, A., editors, Proc. ICCHP 2010 Part II (11th International Conference on Computers Helping People with Special Needs), volume 6180 of LNCS, pages 407–410, Vienna, Austria. Springer.
[4] Fitzpatrick, D. (2006). Mathematics: How and What to Speak. In Miesenberger, K., Klaus, J., Zagler, W., and Karshmer, A. I., editors, Proc. ICCHP 2006 (10th International Conference on Computers Helping People with Special Needs), volume 4061 of LNCS, pages 1199–1206, Linz, Austria. Springer.
[5] Batusic, M., Miesenberger, K.: Mathinbraille. In: Gelderbloom, G., Soede, T., Adriaens, L., Miesenberger, K. (eds.) Everyday Technology for Independence and Care, Proceedings of the AAATE 11 Conference. IOS Press, Amsterdam (2011)
[6] Miesenberger, K.; Batusic, M.; Heumader, P.; Stöger, B.: MathInBraille Online Converter, in: Miesenberger, K., Karshmer, A.; Penaz, P.; Zagler, W.: Computers Helping People with Special Needs, 13th International Conference, ICCHP 2012, Linz, Austria, July 11 -13, 2012, Proceedings, Springer, Heidelberg.
[7] Mathinbraille web page. "http://www.mathinbraille.at" (2012)