Erweiterte Realität

Beim Realitäts-Virtualitäts-Kontinuum (nach Paul Milgram et al., 1994^[2]) sind die erweiterte Realität (augmented reality, AR) und erweiterte Virtualität (augmented virtuality) Teil der sogenannten gemischten Realität (mixed reality). Während der Begriff Augmented Virtuality kaum von der Fachwelt benutzt wird, werden Augmented Reality und Mixed Reality, selten auch Enhanced Reality, meist synonym verwendet. Im Gegensatz zur virtuellen Realität, bei welcher der Benutzer komplett in eine virtuelle Welt eintaucht, steht bei der erweiterten Realität die Darstellung zusätzlicher Informationen im Vordergrund. Für die visuelle Modalität führt dies zu wesentlich härteren Anforderungen an die Positionsbestimmung (Tracking) und Kalibrierung.

Unter einem AR-System (kurz ARS) versteht man das System der technischen Bestandteile, die nötig sind, um eine Augmented-Reality-Anwendung aufzubauen: Kamera, Trackinggeräte, Unterstützungssoftware usw.

Die Literatur verwendet meist die Definition der erweiterten Realität von Azuma:^[3]

• Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert).
• Interaktivität in Echtzeit.
• Reale und virtuelle Objekte stehen 3-dimensional zueinander in Bezug.

Diese Definition hat zwei Nachteile:

• sie stützt sich allein auf technische Merkmale,
• sie beschränkt sich auf nur einen Teilaspekt von AR.

Andere Arbeiten definieren AR als eine Ausweitung der Sinneswahrnehmung des Menschen durch Sensoren von Umgebungseigenschaften, die der Mensch selbst nicht wahrnehmen kann: Radar, Infrarot, Distanzbilder usw.

Typ A) Realität naturbelassen, analog dargestellt.

Die Wahrnehmung der physischen Realität/Wirklichkeit/Umgebung erfolgt in der Analogwelt ohne elektronische Signalverarbeitung auf natürliche Weise. Allenfalls werden Sinneswahrnehmungen wie Bilder durch klassische Hilfsmittel wie durch Brillen wahrgenommen oder durch Vergrößerungsoptik oder Spiegel abgebildet. Beispiel: Sicht aus einem Fahrzeug. Dazu werden virtuelle Objekte/Bilder auf unterschiedliche Art eingefügt:

• Durch optische Projektion auf ein teildurchsichtiges Glas eingeblendet, durch welches auch die natürlichen physischen Objekte betrachtet werden (Beispiel: Optical see-through Head-up-Display HUD)^[4] oder durch direkte Projektion auf das reale Objekt im Blickfeld des Betrachters.
• Mit einer Sichtfläche (z. B. einem Brillenglas oder einem Schaufenster) integrierte elektrooptische Anzeige mit durchsichtigen Bereichen und zusätzlich eingeblendeten virtuellen Bildteilen.

Typ B) Realität gewandelt erfasst, digital bearbeitet, gewandelt dargestellt.

Die physische Realität/Wirklichkeit wird durch photoelektrische Umwandlung oder durch andere Wandler (z. B. für Radarsignale, Ultraschall und Schall) wie auch Sensoren einer elektronischen Signalverarbeitung unterworfen, bevor sie über eine künstliche Wiedergabe wahrgenommen wird. Beispiel: Video see-through HUD.^[4] In diesem Fall geschieht die Kombination/Überlagerung der Wiedergabe von Sinneswahrnehmungen der realen Welt mit virtuellen Elementen ausschließlich auf elektronische Weise. Dazu werden Sensordaten (z. B. einer Digitalkamera, eines Mikrofons, eines Touchscreens, von Bewegungs- und Positionsmeldern wie einer Computermaus, INS oder GPS) sowie Messdaten wie Temperatur, Geschwindigkeit, Uhrzeit und Speicherinhalte mittels Signalverarbeitung durch softwaregesteuerte Prozessoren aufbereitet, um dann durch Ausgangswandler wie Anzeige/Bildschirm, Lautsprecher wie in Headset oder Hörgerät oder Vibrator kombiniert wiedergegeben zu werden.^[5]

Zur Gerätetechnik gehören Eingabeeinrichtungen wie Sensoren (Positions-, Bewegungsmelder usw.), Joysticks, Tastaturen, Mikrofone und Kameras aber auch traditionelle Brillen, Sichtscheiben und Spiegel zur Erfassung der analogen Sinneswelt. Zur Verarbeitung der gewonnenen Information wie auch der Wiedergabe von Speicherinhalten werden Prozessoren verwendet. Ausgabeeinheiten wie Anzeigen, Optikeinrichtungen, Lautsprecher und Vibratoren sorgen für die Wiedergabe der verarbeiteten Informationen. Eine Stromversorgung ist ebenfalls notwendig.

Bei portablen Geräten sind Kompaktheit und geringes Gewicht wesentlich. Geräte wie Mobiltelefone, insbesondere Smartphones, Tabletcomputer und elektronische Hörgeräte weisen Kombinationen der erwähnten Komponenten auf. Head-Mounted Displays (HMD) und Videobrillen gehören ebenfalls dazu, welche bisher vor allem für Anwendungen der Virtuellen Realität (VR) entwickelt werden.^[6] Im Unterschied zu reinen VR-Anwendungen wird bei AR die verarbeitete analoge Realität derart elektronisch mit virtuellen Inhalten vereint, dass ein kombinierter Sinneseindruck entsteht (Typ B). Zu dieser Art von HMD gehört beispielsweise die Apple Vision Pro. Andrerseits basieren Smartglasses^[7][8] auf normalen Brillen, bei welchen die naturgetreue Wahrnehmung der realen analogen Außenwelt mit künstlich erzeugten virtuellen Bildern durch optische Wellenführungstechniken wie Diffraktionsoptik oder Projektion kombiniert wird (Typ A).^[9] Zu dieser Art gehört beispielsweise die Microsoft HoloLens 2. Weitere Möglichkeiten zur AR-Wahrnehmung sind spezielle Kontaktlinsen oder Retina-Anzeigen, bei welchen Bilder durch Scanning direkt auf der Netzhaut im Auge erzeugt werden.^[10]

Großflächige AR-Anwendungen existieren für Flugzeug-Cockpits, Windschutzscheiben von Fahrzeugen^[11][12] wie auch Kiosksysteme (Magical Mirror) und Schaufenster.^[13] Die älteste Anwendung sind Head-up-Displays (HUD)s für Kampfflugzeuge ab den 1940er-Jahren. Es werden verarbeitete Daten von Messinstrumenten, Navigationshilfen, Radar usw. über Projektionseinrichtungen auf Scheiben im Sichtfeld des Piloten sichtbar gemacht (Projection Mapping; optical see-through windows) (Typ A). Diese Technik eignet sich auch für Anwendungen, welche nicht auf einen einzelnen Betrachter beschränkt sind, und wie bei Schaufenstern von Gruppen benützt werden können.

Die für AR-Anwendungen benötigt Software besteht einerseits aus Standardmodulen wie z. B. für die Signalverarbeitung von Bild- und Tonaufnahmen und deren Wiedergabe sowie andrerseits aus Lösungen, welche vom Prozessor, dem Betriebssystem und der Software-Entwicklungsplattform abhängig sind. Diese Software dient zur Kombination von Positions-, Bewegungs- und weiteren Inputs aus der realen Welt mit virtuellen Inhalten. Die Qualität von AR-Applikationen hängt wesentlich davon ab, wie realistisch Inputs aus der realen Welt mit den computererzeugten virtuellen Inhalten verknüpft werden. Oft sind Lösungen zweiteilig: Zuerst werden in den von einer Kamera aufgenommenen Bildern der realen Welt Markierungselemente (Referenzmarker) wie Ecken und Kanten durch Mustererkennung (feature extraction) detektiert. In einem zweiten Schritt wird daraus ein Koordinatensystem für die erfasste reale Welt erzeugt. Für diesen zweiten Schritt werden mathematische Methoden wie Projektionsgeometrie, geometrische Algebra, Rotationsabbildung, Filtertechnik und Statistik eingesetzt. Diese Lösung verwendet die beschriebenen Markierungen, um die reale und die virtuelle Welt in Einklang zu bringen. Im Gegensatz dazu beruht markierungsloses Verfolgen einer Szene auf der Ausrichtung der Kamera auf bestimmte Objekte aus unterschiedlichen Blickrichtungen durch den Betrachter. Geeignete Sensoren in den portablen AR-Geräten detektieren dabei die Positionen von markanten Elementen wie Wänden oder Schnittpunkten.^[14]

Als Hilfsmittel wurde die Augmented Reality Markup Language (ARML) als Standard des Open Geospatial Consortiums (OGC) entwickelt.^[15] Sie beruht auf der Grammatik der Extensible Markup Language (XML), um die korrekte Positionierung und Erscheinung virtueller Objekte in der realen Szene zu ermöglichen.

Um die Entwicklung von AR-Applikationen zu fördern, werden Software-Entwicklungsplattformen (Software Development Kits SDK) durch mehrere Hersteller zur Verfügung gestellt.^[16][17]

Am meisten verbreitet sind Anwendungen für Smartphones, Tabletcomputer und Spielkonsolen, wobei die Kombination von Realitätsinputs und VR elektronisch geschieht und die gemeinsame Ausgabe über elektrooptischen Bildschirm und Lautsprecher erfolgt (Typ B). Auch Head-Sets (HMD) mit AR werden von mehreren Anbietern vermarktet, allerdings ebenfalls mit Erfassung der Realität über Kameras und Sensoren, um sie dann gemeinsam mit virtuellen Inhalten kombiniert elektrooptisch darzustellen, d. h. es besteht in diesem Fall keine direkte Wahrnehmung der Außenwelt (Typ B).^[18]

Auf Windschutzscheiben von Fahrzeugen werden bereits vermehrt verarbeitete Daten durch Projektion eingeblendet (Typ A).

Für Fahrzeuge sind HUDs in Entwicklung, welche Holografie zur 3D-Darstellung verwenden.^[19]

Ein Problem ist die hohe technische Belastung bei erweiterter Realität,^[7] besonders die Nachführung der Bilder bei Bewegungen. Auch die Sensoren werden durch die Bewegung beeinträchtigt. So gibt es Rauschen, Drift und Abschattung des Trackingsystems (beispielsweise bei GPS, INS).^[20] Eine Kombination von beispielsweise GPS mit Trägheits- und optischer Navigation ist daher bei fortgeschrittenen Systemen üblich.

Ein weiteres Problem stellt die Energieversorgung dar.^[7] Die momentan verfügbaren Akkus reichen noch nicht aus, um mobile Augmented-Reality-Systeme längere Zeit zu versorgen. Auch die Verfügbarkeit von Daten, Authoring und hohe Komplexität von Daten können zu Problemen führen. Um die Einbettung der virtuellen Szene in die reale Szene möglichst überzeugend zu leisten, sind Daten notwendig, die die Umgebung in ihrer Geometrie und Lage im Raum beschreiben, dies erfolgt über Referenzmarker. Darauf aufbauend können dann virtuelle Schnitte durch reale Objekte gezeichnet und die Verdeckung der virtuellen Objekte durch die realen Objekte berechnet werden. Diese Geometriedaten sind jedoch nicht immer verfügbar oder aktuell. Die vollständige Integration virtueller Objekte in reale Szenen erfordert das Ausblenden von Hintergrundteilen, damit die Objekte nicht durchsichtig erscheinen. Systeme, die die direkte Sicht vollständig durch Kamerabilder ersetzen (EyeTap), haben dieses Problem nicht, sind aber für viele Anwendungen ungeeignet.

Erweiterte Realität könnte in praktisch allen Bereichen des Alltags zum Einsatz kommen. Monteure könnten sich den nächsten Arbeitsschritt direkt in ihr Sichtfeld einblenden lassen; Soldaten oder Katastrophenhelfer könnten sich Ziele und Gefahrenzonen im Gelände anzeigen lassen und Designer könnten mit tatsächlich und virtuell anwesenden Kollegen am selben dreidimensionalen Modell arbeiten. Mit fortschreitender Technologie lassen sich futuristische Anwendungsszenarien erschließen: Elektronische Geräte, die nur virtuell existieren, aber auf echte Berührungen reagieren, künstliche Sinneserweiterungen wie der „Röntgenblick“ und Computerspiele in freiem Gelände.

Ein Beispiel für eine AR-Anwendung sind die in Echtzeit eingeblendeten virtuellen Marken bei Sportübertragungen: Verschiedene Entfernungen der Konkurrenten beim Skispringen, Weitwurf usw. (Man beachte, dass dieses Beispiel oft keine Augmented-Reality-Anwendung nach der obigen Definition ist, da manchmal das interaktive Element fehlt.)

Google arbeitete an einem (2015 eingestellten) Produkt, das unter dem Namen Google Glass 2012 vorgestellt worden war. Es handelte sich um eine Brille mit Mikrodisplay und Kamera, die auch über Spracheingabe bedient werden sollte. Zu den Funktionen des Geräts gehörte etwa, dass der Träger der Brille Informationen seiner Umgebung ins Internet überträgt und seinerseits entsprechende Hinweise, beispielsweise in Form von Navigationshinweisen, aus dem Internet erhält. Weiterhin sollten auch die bekannten Möglichkeiten von Smartphones und Videokonferenzen zur Verfügung stehen.^[21]

An der Computer Electronics Show 2023 in Las Vegas zeigten mehrere Hersteller ihre neuen Headsets für VR, respektive AR. Neben asiatischen Herstellern wie Canon, Sony, HTC Corporation und Pico ist vor allem das Unternehmen Meta Platforms mit der Brille Meta Quest 2 ein bedeutender Anbieter. Dessen VR-Headset funktioniert ohne zugeordnetem Computer oder Smartphone, ist relativ leicht und preislich für Konsumenten erschwinglich.^[22] Zusätzlich wurde der Meta Quest Pro mit zusätzlichen Funktionen lanciert. So soll die Funktion Passthrough die Überlagerung von realer und virtueller Welt als Mixed Reality erlauben.^[23]

Apple Inc. bezeichnet die Technik für ein AR-Sichtgerät (ähnlich einer Brille) mit direkter, klassischer Wahrnehmung der Realität kombiniert mit der Einblendung virtueller Inhalte als noch nicht ausgereift und zieht deshalb vor, zuerst einen VR-Headset zur Darstellung virtueller Realität durch eingebaute Digitalkameras um Darstellungen der optischen Wirklichkeit zu erweitern.^[24]

Geräteübergreifend gaben 2021 16 Prozent der Menschen in Deutschland an, Augmented Reality bereits genutzt zu haben.^[25] Im privaten Umfeld kommt Augmented Reality praktisch ausschließlich auf Smartphones oder Tablets zum Einsatz. Laut einer repräsentativen Umfrage von 2020 haben 13 Prozent der Menschen in Deutschland ab 16 Jahren Augmented Reality auf dem Smartphone genutzt. Das waren fast doppelt so viele wie im Jahr 2019.^[26] Spezielle Augmented-Reality-Headsets wie die HoloLens von Microsoft oder die Magic Leap 1 von Magic Leap spielen nur bei Geschäftsanwendungen eine Rolle.

Durch Anzeigen von Zusatzinformationen kann eine Hilfestellung bei komplexen Aufgaben geschehen.^[27] Zum Beispiel werden für einen Mechaniker die Teile eines Gerätes „beschriftet“, und er bekommt Arbeitsanweisungen. In der Medizin kann erweiterte Realität genutzt werden, um die Darstellung nicht sichtbarer Elemente zu ermöglichen. Zum Beispiel kann dies intraoperativ geschehen, als „Röntgenblick“ für den Operateur, basierend auf vorheriger Tomographie oder aktuellen Bilddaten von Ultraschallgeräten oder offenen Kernspintomografen.

Mit Augmented Reality können digitale Planungsdaten effizient mit vorhandenen realen Geometrien abgeglichen werden. Die Technik ermöglicht ferner den breiten Einsatz von digitalen Absicherungsmethoden bei der Kombination von digitalen Daten mit realen Prototypen bzw. Konstruktionen.^[28]

Erweiterte Realität kann für die Navigation im Gebäude^[29] (bei der Wartung von Industrieanlagen), im Freien (beim Wandern oder für das Militär oder Katastrophenmanagement), im Auto (Projektion von Navigationshinweisen an die Windschutzscheibe, so dass beispielsweise Abbiegehinweise auf der Fahrbahn erscheinen) oder im Flugzeug (Head-Up-Displays in Kampfflugzeugen sind eine der frühesten AR-Anwendungen überhaupt) genutzt werden. Eine oft genutzte Applikation ist der Peakfinder, bei welchem der Wanderer auf seinem Smartphone die Namen der sichtbaren Berggipfel eingeblendet erhält.^[30]

Bei Digitalkameras mit Live-View-Suchern und -Bildschirmen kann zusätzlich zum Motiv errechnete Information eingeblendet werden, wie zum Beispiel für erkannte Gesichter, für scharf gestellte Kanten oder für fehlerhaft belichtete Bildbereiche. Zur Ausrichtung von Bild- oder Motivkanten können Gitterlinien oder elektronische Wasserwaagen eingeblendet werden.

AR in der bildenden Kunst ermöglicht es Objekten oder Orten, künstlerische multidimensionale Erfahrungen und Interpretationen der Realität auszulösen.

Das nicht fertiggestellte Denkmal des Künstlers Benno Elkan wurde virtuell rekonstruiert und im Museum für Kunst und Kulturgeschichte Dortmund ausgestellt. Mit einer Smartphone-App kann das virtuelle Denkmal von allen Seiten betrachtet werden.^[32][33]

Im Bereich Militär und Katastrophenmanagement können tragbare Systeme verwendet werden, die etwa Freund und Feind oder Brandherde anzeigen.

Systeme können für die Prospektion, für die Darstellung und die interaktive Analyse von Karten und Geländemerkmalen genutzt werden, um beispielsweise Bodenschätze auszubeuten.

Erweiterte Realität eignet sich ebenfalls für die Visualisierung von Architektur. Es können z. B. zerstörte historische Gebäude oder auch zukünftige Architekturprojekte dargestellt werden.

Auch für Flug- und Fahrsimulatoren kann erweiterte Realität eingesetzt werden.

Die Zusammenarbeit örtlich verteilter Teams kann erleichtert werden, zum Beispiel durch Video-Konferenzen mit realen und virtuellen Teilnehmern (siehe hierzu auch: Telepresence). Aber auch die gemeinsame Arbeit an simulierten 3D-Modellen wird so unterstützt.

Eine Erweiterung in Museen und Ausstellungen durch virtuelle Objekte ermöglicht Besuchern Zugang zu mehr Informationen. Ebenfalls nutzbar ist die erweiterte Realität in der Unterhaltungsindustrie, wie beispielsweise bei Spielen (ARQuake, EyePet (für PS3)). Im Jahr 2021 waren Spiele der verbreitetste Anwendungsfall für erweiterte Realität: 61 Prozent derer, die erweiterte Realität nutzten, taten das für AR-Spiele.^[34] Ein populäres Beispiel ist das Spiel Ingress, das von Niantic und Google entwickelt wurde und 2012 erschien.

Mit der EW-Anwendung Pokémon Go erreichten die Entwickler Niantic und Nintendo im Sommer 2016 ein breites Publikum.^[35] Ebenfalls hat Niantic im Jahr 2019 das AR-Spiel Harry Potter: Wizards Unite veröffentlicht, welches sich um das Harry-Potter-Universum dreht. AR-Spiele lassen sich in die folgenden Untergenre einordnen:

• Location-based Game: Der Spielverlauf wird durch die Veränderung mit der geographischen Position des Spielers beeinflusst. Beispiele: Niantic-Spiele wie Pokemon Go, Ingress, Harry Potter: Wizards Unite^[36]
• Die Interaktion mit dem Live-View-Modus einer Kamera.^[37]
  • Um Objekte aufnehmen oder einscannen, die dann im Spiel verwendet werden. (Input für das Spiel)
  • Bei der anderen Variante wird das Kamerabild durch Spielelemente erweitert (Projektion des Spiels auf das Kamerabild). So soll der Spieler beispielsweise auf dem Bildschirm platzierte Computergegner einfangen oder bekämpfen, Gegenstände, die sich im Kamerabild befinden, einsammeln oder das Kamerabild durch neue Objekte erweitern, in dem z. B. auf einen ausgewählten flachen Bereich virtuelle Objekte platziert werden können. Ebenfalls kann der Live-View-Modus als Navigationshilfe und Spielleiste genutzt werden. Beispiele: Minecraft Earth oder Die Sims FreiSpiel.
• Alternate Reality Game: Crossmediale Erzählstruktur, die die Grenze zwischen fiktiven Ereignissen und realen Erlebnissen bewusst verwischen lässt.^[38]
• Toys-to-life: Spielzeug und Actionfiguren werden in Verbindung mit einem Computerspiel genutzt oder schalten spezielle Funktionen in dem Spiel frei.^[39]
• Holografisches Spiel: Spiel, das sich dreidimensional in Form eines Hologramms auf eine Fläche im Raumes projizieren lässt. Obwohl es noch kein Spiel für den privaten Markt gibt, hat Microsoft auf der Präsentation für die AR-Brille Microsoft HoloLens einen Prototyp einer Holografie-Version von Minecraft vorgestellt.^[40]

Zunehmend setzen Unternehmen in ihrer Werbung auf AR-Komponenten, um dem Kunden einen Mehrwert zu bieten. So veröffentlichte beispielsweise die Möbelhauskette IKEA 2013 einen Katalog, in dem ausgewählte Möbelstücke per Smartphone-App eingescannt und virtuell an einen beliebigen Platz in der Wohnung projiziert werden konnten.^[41]

Über sogenannte 3D Product Viewer^[42] lassen sich außerdem Fahrräder, Schuhe, Rollstühle und andere Produkte aller Branchen in 3D Visualisierungen umwandeln und in Onlineshops integrieren. Die realitätsgetreue Abbildung der Produkte in 3D ermöglicht das Betrachten von allen Seiten. Der Kunde erhält ein Gefühl für Originalgröße, Farbe und Textur. Das beeinflusst seine Kaufentscheidung, erhöht die Zufriedenheit mit dem Produkt und reduziert so die Anzahl an Retouren und logistischen Mehraufwand. Jüngste Entwicklungen der AR-Technologie ermöglichen inzwischen sogar das Abrufen von AR-Inhalten in Druckerzeugnissen. Videos, Links, Werbespots und andere Inhalte können mithilfe mobiler Apps in Printmedien eingebettet und auf dem Smartphone abgerufen werden.^[43] Modernste Werbeformen finden damit auch einen Platz in konventionellen Medien und beugen dem Aussterben dieser vor.

Ist ein Smartphone mit der geeigneten Scan- und Applikations-Software (App) ausgestattet, so kann z. B. das Bild einer Weinetikette aufgenommen und daraufhin eine akustische Erläuterung gehört werden. Für eine bestimmte Serie australischer Weine ist auf jeder Flasche das Polizeibild eines berühmten früheren Kriminellen abgebildet. Mittels der entsprechenden App kann die Geschichte jeder dieser Personen dem Bild zugeordnet und gehört werden.^[44]

Auch virtuelle Messen und hybride Events nutzen sowohl Augmented Reality, Virtual Reality und 3D für virtuelle Event-Erlebnisse, um Live-Interaktion zu erschaffen, als wäre der Besucher direkt vor Ort.^[45]

Die Lebendigkeit der Augmented Reality Technologie wird im Verlagswesen eingesetzt, um Printmedien aller Art interessanter und ansprechender für Leser zu gestalten. Augmented Reality öffnet damit Unternehmen, Kulturveranstaltern, Verlagen und vielen anderen Branchen eine interaktive Werbeplattform mit großer Reichweite. Somit wird klassisches Lesen an die fortgeschrittene Digitalisierung unserer Zeit angepasst und spricht jüngere und technikversiertere Generationen an. Die Integration der 3D Objekte erfolgt über spezielle Plattformen und Apps, die Verlage selbstständig bedienen können, um den Auslöser (Marker) zu bestimmen, an dem das AR-Objekt beim Lesen erscheinen soll. Der Leser kann sein mobiles Smartphone dann auf das Druckerzeugnis richten, das den Marker erkennt und den AR-Inhalt auf dem Display einblendet. Diese eindrucksvolle Technik wird ebenfalls von Buchverlagen genutzt, um z. B. Kinderbücher zum Leben zu erwecken^[46] oder medizinische Fachliteratur mit realitätsgetreuen Illustrationen zu veranschaulichen.

Erweiterte Realität verfügt auch im Lernbereich über ein großes Potenzial. Es besteht die Möglichkeit, insbesondere durch mobile Applikationen, digitale Layer auf reale Welten zu projizieren und nahtlos in die Realität zu integrieren. Besonders Applikationen mit Animationen erlauben ein interaktives Erschließen laufender Prozesse. Somit werden vor allem abstrakte Konzepte, welche in traditionellen Lernformen teilweise nur einseitig betrachtet werden können, greifbarer.^[47] Des Weiteren ermöglichen es AR-Applikationen, die Umgebung eigenständig zu erkunden, was in einer Steigerung der Lernmotivation resultieren kann.^[48]

Ein Beispiel für AR-Lernen durch selbständiges Erkunden ist die App „Timetraveler Berlin Wall“, welche historische Ereignisse in die Umgebung der heutigen Welt integriert.^[49] Kritiker befürchten, dass bei einem unreflektierten Einsatz von AR-Anwendungen lineare Wahrnehmungsmodi eingeübt werden, die eine ‚natürliche‘, dynamische Wahrnehmung und Interaktion mit der Welt unterbinden.^[50]

Einige Fernseh- und Sportübertragungen setzen auf visuelle Informationsgrafiken, die in Form einer Erweiterung der Realität auf den Bildschirm projiziert werden und z. B. Informationen über das Spiel vermitteln.^[51][52] AR kann auch als Erweiterung für das Ausüben einer Sportart dienen, so wird beim Augmented Climbing beispielsweise die Kletterwand durch Lichtprojektionen zu einem Spiel.^[53]

Als zukünftige Anwendungen werden einige Beispiele hier aufgeführt. Zum einen kann eine Erweiterung von PC-Betriebssystemoberflächen in die reale Umwelt geschehen. Programmfenster und Icons werden dann als virtuelle Geräte im realen Raum dargestellt und durch Blicke oder Zeigen mit dem Finger bedient. Dies kann generell zum Ersatz herkömmlicher Bildschirme (Ersatz von Handy- und Navigatorbildschirmen und Einblendung der Informationen direkt in die Umwelt, beispielsweise von Leitlinien direkt auf die Fahrbahn, sowie Erweiterungen, wie beispielsweise Röntgenblick zur Darstellung verdeckter Ziele), Gerätebedienfelder oder zu völlig neuen Gerätetypen führen. Außerdem kann erweiterte Realität für multimediale Anwendungen genutzt werden, wie pseudo-holografische virtuelle Bildschirme, virtuelle Holodecks, virtuelles Surround-Kino. Aber auch zur Verschönerung der alltäglichen Umwelt, wie durch die Darstellung virtueller Pflanzen, Tapeten, Ausblicke, Kunstwerke, Dekorationen, Beleuchtung usw., wären Anwendungen denkbar. Bei allgemeiner Verbreitung von AR-Systemen könnte man auch virtuelle Schaufenster, Plakate oder Verkehrsschilder nutzen.

Möglich wäre zudem ein Zusammenwachsen von Virtual und Augmented Reality, sodass der User auf einem Endgerät zwischen den Formen wechseln kann.^[54]

Es werden auch neuartige Eingabemethoden erforscht. Mit Sensoren am Handgelenk sollen Signale des menschlichen Nervensystems erfasst und zur Steuerung von Augmented Reality eingesetzt werden. Eine von den Facebook Reality Labs entwickelte adaptive Benutzeroberfläche unter Verwendung von Künstlicher Intelligenz wird als Intelligent Click bezeichnet. Bei Facebook sind rund 10'000 Mitarbeiter auf dem Gebiet der Mixed Reality tätig.^[30]

Da neben Gebäuden, Denkmälern und anderen statischen Objekten mit immer besserer Hardware und Software auch Personen durch Gesichts-, Sprach- oder Kleidungserkennungssoftware in Anwendungen für erweiterte Realität eingebunden werden könnten, ist mit weitreichenden Auswirkungen auf die Gesellschaft zu rechnen.^[55]

• optisches Tracking
• Photogrammetrie
• Mobile Storytelling
• Point of Interest
• Wikitude
• Silhouetten-Schnittverfahren
• Google Street View, Google Maps for Mobile: für Mobiltelefone, PDAs oder Smartphones
• Kartendienste, wie Wikimapia, Google Earth, OpenStreetMap, Bing Maps

• Bitkom e. V. (Hrsg.): Augmented und Virtual Reality. Potenziale und praktische Anwendung immersiver Technologien, 2021
• Schart; Dirk; Tschanz; Nathaly: Praxishandbuch Augmented Reality für Marketing, Medien und PR. UVK Verlag, 2015, ISBN 978-3-86764-602-4
• Dörner; Broll; Grimm; Jung (Hrsg.): Virtual und Augmented Reality (VR / AR): Grundlagen und Methoden der Virtuellen und Augmentierten Realität. Springer Vieweg, 2014.
• Rolf R. Hainich: The End of Hardware – A Novel Approach to Augmented Reality.. Boksurge Publishing. 2. Auflage, 2006. 3. erw. Auflage, Mai 2009.
• Michael Haller, Mark Billinghurst, Bruce Thomas: Emerging Technologies of Augmented Reality: Interfaces and Design. Idea Group Publishing, November 2006.
• Gudrun Klinker: Augmented Reality – Raus aus der Kiste, rein in die Wirklichkeit. In: Markus Kaiser (Hrsg.): Ringvorlesung Games. Retro-Gaming, Gamification, Augmented Reality, München 2014, ISBN 978-3-9815512-1-1^[56]
• Oliver Bimber, Ramesh Raskar: Spatial Augmented Reality: Merging Real and Virtual Worlds. A K Peters, Juli 2005.
• W. Barfield, T. Caudell (Hrsg.): Fundamentals of Wearable Computers and Augmented Reality. Lawrence Erlbaum, Mahwah, NJ 2001.

Wichtige Publikationen:

• R. Azuma: A Survey of Augmented Reality. In: Presence: Teleoperators and Virtual Environments. 6, Nr. 4, 1997, S. 355–385 (PDF-Datei; 479 kB).
• R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, B. MacIntyre: Recent advances in augmented reality. In: IEEE Computer Graphics and Applications. 21, Nr. 6, 2001, S. 34–47 (PDF-Datei; 2,2 MB).
• T.P. Caudell, D.W. Mizell: Augmented reality: an application of heads-up display technology to manual manufacturing processes. In: Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, 1992. Vol.2, 1992, S. 659–669, doi:10.1109/HICSS.1992.183317. 
• Pierre Wellner, Wendy Mackay, Rich Gold: Back to the real world. In: Communications of the ACM. Band 36, Nr. 7, Juli 1993, S. 24–26, doi:10.1145/159544.159555. 
• Paul Milgram, Haruo Takemura, Akira Utsumi, Fumio Kishino: Augmented reality: a class of displays on the reality-virtuality continuum. In: Proceedings of SPIE 2351, Telemanipulator and Telepresence Technologies. 21. Dezember 1995, S. 282–292, doi:10.1117/12.197321 (utoronto.ca [PDF; 45 kB]). 
• Venkatesan, Mythreye et al.: Virtual and augmented reality for biomedical applications. Cell reports medicine 2.7 (2021).

• ISMAR 2007 Symposium (englisch)
• Minimalinvasive Laparoskopie mit Augmented Reality (mit OsiriX), Teikyo University Chiba Medical Center
• Internetvideostream in der 3sat Mediathek (Beitrag) zu Beispielen für die Anwendung der Erweiterten Realität im Bereich virtuell integrierte 3D-Objekte
• Augmented Reality in Suchmaschinen – Sendung in SWR2 Wissen
• Augmented Reality: Ich sehe was, was du nicht siehst. In: Elektrischer Reporter. 19. März 2010.
• Alexander Stirn: Augmented Reality. Wegweiser durch die neue Wirklichkeit. In: spiegel.de 7. November 2009.
• Augmented Reality: Erweiterte Realität fürs Handy – Sendung in SWR2 Wissen (MP3; 25,8 MB)
• Eine Vision wird Realität – Die Röntgenbrille im OP – Sendung c't magazin
• Trend-Ausblick: Augmented Reality im eCommerce – eCommerce Lounge
• Augmented Reality in kurzem Video erklärt
• Industrielle Anwendung