DE112012001022T5 - Alignment control in a head-worn augmented reality device - Google Patents

Alignment control in a head-worn augmented reality device Download PDF

Info

Publication number
DE112012001022T5
DE112012001022T5 DE112012001022T DE112012001022T DE112012001022T5 DE 112012001022 T5 DE112012001022 T5 DE 112012001022T5 DE 112012001022 T DE112012001022 T DE 112012001022T DE 112012001022 T DE112012001022 T DE 112012001022T DE 112012001022 T5 DE112012001022 T5 DE 112012001022T5
Authority
DE
Germany
Prior art keywords
image
viewer
scene
objects
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112012001022T
Other languages
German (de)
Inventor
John N. Border
John D. Haddick
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Osterhout Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/037,324 external-priority patent/US20110214082A1/en
Priority claimed from US13/037,335 external-priority patent/US20110213664A1/en
Application filed by Osterhout Group Inc filed Critical Osterhout Group Inc
Publication of DE112012001022T5 publication Critical patent/DE112012001022T5/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/281Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for attenuating light intensity, e.g. comprising rotatable polarising elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings

Abstract

Dieses Patent offenbart ein Verfahren zum Bereitstellen eines erweiterten Bildes in einem Head-Mounted Durchsicht-Display. Das Verfahren umfasst das Aufnehmen eines Bilds einer Szene mit Objekten und das Anzeigen des Bildes für einen Betrachter. Das Verfahren umfasst außerdem das Aufnehmen von einem oder mehr zusätzlichen Bildern der Szene, in denen der Betrachter eine Fehlausrichtung zwischen dem angezeigten Bild und einer Durchsicht-Ansicht der Szene angibt. Die aufgenommenen Bilder werden dann verglichen, um eine Bildeinstellung zu bestimmen, um entsprechende Objekte in angezeigten Bildern mit den Objekten in der Durchsicht-Ansicht der Szene auszurichten. Durch dieses Verfahren werden erweiterte Bildinformationen zur Verfügung gestellt, die entsprechend zu den Bildeinstellungen angezeigt werden, so dass der Betrachter ein erweitertes Bild sieht, das die erweiterten Bildinformationen enthält, das mit der Durchsicht-Ansicht überlagert und ausgerichtet ist.This patent discloses a method for providing an enhanced image in a head-mounted transparent display. The method includes capturing an image of a scene with objects and displaying the image to a viewer. The method also includes capturing one or more additional images of the scene in which the viewer indicates misalignment between the displayed image and a see-through view of the scene. The captured images are then compared to determine an image adjustment to align corresponding objects in displayed images with the objects in the review view of the scene. This method provides enhanced image information that is displayed according to the image settings so that the viewer sees an enhanced image containing the enhanced image information overlaid and aligned with the see-through view.

Figure 00000001
Figure 00000001

Description

Querverweis auf verwandte AnmeldungenCross-reference to related applications

Die vorliegende Anmeldung ist eine Continuation-in-part der US-Patent-Anmeldung Nr. 13/037,324, eingereicht am 28. Februar 2011, jetzt US-Patent Nr. ..., und der US-Patent-Anmeldung Nr. 13/037,335, ebenfalls eingereicht am 28. Februar 2011, jetzt US-Patent Nr. ..., und beansprucht deren Prioritäten, wobei die Offenbarung beider Anmeldung hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.The present application is a continuation-in-part of U.S. Patent Application No. 13 / 037,324, filed on February 28, 2011, now U.S. Patent No. ..., and U.S. Patent Application No. 13 / 037,335, also filed February 28, 2011, now US Patent No. ..., and claims its priorities, the disclosure of which is hereby incorporated by reference in its entirety.

Gebiet der ErfindungField of the invention

Die vorliegende Erfindung bezieht sich auf eine erweiterte Realitäts-Bildverarbeitung mit einem am Kopf zu tragenden (Head-Mounted) Durchsicht-Display.The present invention relates to enhanced reality image processing with a head-mounted transparent display.

Hintergrundbackground

Head-Mounted Durchsicht-Displays ermöglichen einem Betrachter eine Ansicht der umliegenden Umgebung, die mit einem überlagerten angezeigten Bild kombiniert werden kann. Das überlagerte Bild kann semitransparent sein, so dass das überlagerte angezeigte Bild und die Ansicht der umliegenden Umgebung gleichzeitig zu sehen sind. In verschiedenen Betriebsarten kann ein Durchsicht-Display transparent, semitransparent oder undurchsichtig sein. In der Transparent-Betriebsart wird die Ansicht der Umgebung nicht blockiert, und ein überlagertes angezeigtes Bild kann mit einem geringen Kontrast zur Verfügung gestellt werden. In der Semitransparent-Betriebsart wird die Ansicht der Umgebung teilweise blockiert, und ein überlagertes angezeigtes Bild kann mit einem höheren Kontrast zur Verfügung gestellt werden. In der undurchsichtigen Betriebsart wird die Ansicht der Umgebung vollständig blockiert, und ein überlagertes angezeigtes Bild kann mit einem hohen Kontrast zur Verfügung gestellt werden.Head-mounted transparency displays allow a viewer to view the surrounding environment, which can be combined with a superimposed displayed image. The superimposed image may be semi-transparent so that the superimposed displayed image and the surrounding environment view can be seen simultaneously. In different modes, a see-through display may be transparent, semi-transparent or opaque. In the transparent mode, the view of the environment is not blocked, and a superimposed displayed image can be provided with a low contrast. In Semitransparent mode, the view of the environment is partially blocked, and a superimposed displayed image can be provided with a higher contrast. In opaque mode, the view of the environment is completely blocked, and a superimposed displayed image can be provided with a high contrast.

Bei der erweiterten Realitäts-Bildgebung (Augmented Reality Imaging) werden zusätzliche Informationen zur Verfügung gestellt, die sich auf die umliegende Umgebung beziehen. Normalerweise werden bei der erweiterten Realitäts-Bildgebung Objekte in der umliegenden Umgebung in Bildern der umliegenden Umgebung identifiziert, und erweiterte Bildinhalte, die diese Objekte betreffen, werden in einem erweiterten Bild zur Verfügung gestellt. Beispiele für erweiterte Bildinhalte, die in erweiterten Bildern zur Verfügung gestellt werden, umfassen: Adress-Etiketten für Gebäude; Namen von Geschäften; Werbung für Produkte; Zeichen für Virtual Reality Gaming und Nachrichten für bestimmte Personen. Damit die erweiterte Realitäts-Bildgebung wirksam sein kann, ist es erforderlich, dass die erweiterten Bildinhalte mit den Objekten der umliegenden Umgebung in den erweiterten Bildern ausgerichtet sind.Augmented Reality Imaging provides additional information related to the surrounding environment. Normally, in augmented reality imaging, objects in the surrounding environment are identified in images of the surrounding environment, and extended image contents pertaining to those objects are provided in an enhanced image. Examples of advanced image content provided in enhanced images include: address labels for buildings; Names of shops; Advertising of products; Sign for virtual reality gaming and news for specific people. For extended reality imaging to be effective, it is necessary for the extended image content to be aligned with the objects of the surrounding environment in the enhanced images.

Bei Head-Mounted Durchsicht-Displays ist die Ansicht der umliegenden Umgebung ist nicht unbedingt mit dem angezeigten Bild ausgerichtet. Variationen bezüglich der Position des hergestellten Display-Bereichs, Variationen hinsichtlich der Art und Weise, wie ein Betrachter das Head-Mounted Durchsicht-Display trägt, und Variationen hinsichtlich der Charakteristiken des Auges des Betrachters können zu Fehlausrichtungen des angezeigten Bildes relativ zur Durchsicht-Ansicht beitragen. Als Ergebnis sind Anpassungen des Head-Mounted Durchsicht-Displays erforderlich, um das angezeigte Bild relativ zur Durchsicht-Ansicht auszurichten, so dass die erweiterten Bildinhalte mit den Objekten aus der umliegenden Umgebung in den erweiterten Bildern ausgerichtet sind.In the case of head-mounted transparent displays, the view of the surrounding environment is not necessarily aligned with the displayed image. Variations in the position of the manufactured display area, variations in the way an observer wears the head-mounted transparency display, and variations in the characteristics of the viewer's eye may contribute to misalignments of the displayed image relative to the see-through view , As a result, adjustments to the head-mounted transparency display are required to align the displayed image relative to the see-through view so that the extended image content is aligned with the objects from the surrounding environment in the enhanced images.

Im US-Patent Nr. 7,369,101 ist ein Head-Mounted Durchsicht-Display mit einer Lichtquelle gezeigt, um einen Marker auf einen Kalibrierungs-Bildschirm zu projizieren. Das angezeigte Bild wird in dem Head-Mounted Durchsicht-Display eingestellt, um das angezeigte Bild mit dem projizierten Marker auszurichten. Obwohl durch diese Technik ein Verfahren zum Korrigieren von Quer- und Längs-Fehlausrichtungen zur Verfügung gestellt wird, ist dieses Verfahren nicht in der Lage, Unterschiede in der Bildgröße zu korrigieren, auch als Vergrößerung bekannt, und zwar bezogen auf die Durchsicht-Ansicht. Darüber hinaus ist der Lösungsansatz der Projektion eines Markers auf die Szene nur dann praktisch, wenn sich die Szene nur wenige Meter entfernt von dem Head-Mounted Durchsicht-Display befindet, da der projizierte Marker in einer weiter entfernten Szene nicht sichtbar wäre.in the U.S. Patent No. 7,369,101 is a head-mounted translucent display with a light source shown to project a marker on a calibration screen. The displayed image is set in the head-mounted transparent display to align the displayed image with the projected marker. Although this technique provides a method for correcting lateral and longitudinal misalignments, this method is incapable of correcting differences in image size, also known as magnification, with respect to the phantom view. Moreover, the approach of projecting a marker onto the scene is only practical if the scene is only a few meters away from the head-mounted transparent display, since the projected marker would not be visible in a more distant scene.

In US-Patent-Anmeldung Nr. 2002/0167536 wird ein Ausrichtungsindikator in dem angezeigt Bild erzeugt, und der Indikator wird bezüglich der Durchsicht-Ansicht ausgerichtet, indem der Betrachter die Vorrichtung relativ zum Betrachter manuell bewegt. Diese Erfindung ist auf eine in der Hand zu haltende Durchsicht-Display-Vorrichtung gerichtet, die innerhalb des Sichtfeldes des Betrachters bewegt werden kann, und ist bei einem Head-Mounted Durchsicht-Display nicht anwendbar, bei dem das Display am Kopf des Betrachters montiert ist.In US Patent Application No. 2002/0167536 an alignment indicator is generated in the displayed image, and the indicator is aligned with respect to the see-through view by the viewer manually moving the device relative to the viewer. This invention is directed to a hand-held see-through display device that can be moved within the field of view of the observer, and is not applicable to a head-mounted see-through display in which the display is mounted on the head of the observer ,

In dem Artikel ”Single point aktive allignment method (SPAAM) for optical see-through HMD calibration for AR” von M. Tuceryan, N. Navab, Proceedings of the IEEE and ACM International Symposium on Augmented Reality, Seiten 149–158, München, Deutschland Oktober 2000 , ist ein Verfahren zum Kalibrieren eines Head-Mounted Durchsicht-Displays zu einer umliegenden Umgebung beschrieben. Das Verfahren ist für eine Head-Mounted Durchsicht-Display-Vorrichtung mit einer Trägheits-Ortungsvorrichtung gedacht, um die Bewegung des Kopfes des Betrachters relativ zur umliegenden Umgebung zu bestimmen. Zwölf Punkte werden gesammelt, wobei der Betrachter seinen Kopf bewegt, um virtuelle Marker in dem angezeigten Bild mit einem einzigen Punkt in der umliegenden Umgebung auszurichten. Für jeden Punkt werden die Daten von der Trägheits-Ortungsvorrichtung gesammelt, um die relative Position des Kopfes des Betrachters erfassen. Ein Klick mit einer zugehörigen Maus wird verwendet, um anzugeben, dass der Betrachter die Ausrichtung von jedem Punkt abgeschlossen hat und um die Trägheits-Ortungsdaten aufzuzeichnen. In dem Artikel ”Practical solutions for Calibration of optical see-through devices” von Y. Gene, M. Tuceryan, N. Navab, Proceedings of International Symposium on Mixed and Augmented Reality (ISMAR'02), 169–175, Darmstadt, Deutschland, 2002 , wird ein zweistufiger Lösungsansatz zur Ausrichtung eines angezeigten Bildes in einer Head-Mounted Durchsicht-Display-Vorrichtung auf Grundlage der SPAAM-Technik beschrieben. Der zweistufige Lösungsansatz umfasst eine 11-Punkt-Offline-Kalibrierung und eine benutzerbasierte 2-Punkt-Kalibrierung. Alle Punkte in diesem zweistufigen Lösungsansatz zur Ausrichtung werden durch Bewegen des Head-Mounted Durchsicht-Display gesammelt, um virtuelle Marker in dem angezeigten Bild mit einem einzigen Punkt in der realen Welt auszurichten, und ein Kopf-Ortungsmittel wird verwendet, um für jeden Punkt die relativen Positionen des Head-Mounted Durchsicht-Displays zu bestimmen.In the article "Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR" by M. Tuceryan, N. Navab, Proceedings of the IEEE and ACM International Symposium on Augmented Reality, pp. 149-158, Munich, Germany October 2000 , a method for calibrating a head-mounted transparency display to a surrounding environment is described. The method is for a head-mounted transparent A display apparatus having an inertial location device is provided to determine movement of the viewer's head relative to the surrounding environment. Twelve points are collected, with the viewer moving his head to align virtual markers in the displayed image with a single point in the surrounding environment. For each point, the data is collected by the inertial location device to detect the relative position of the viewer's head. A click with an associated mouse is used to indicate that the viewer has completed the alignment of each point and to record the inertial location data. In the article "Practical solutions for calibration of optical see-through devices" by Y. Gene, M. Tuceryan, N. Navab, Proceedings of International Symposium on Mixed and Augmented Reality (ISMAR'02), 169-175, Darmstadt, Germany, 2002 , a two-step approach to aligning a displayed image in a head-mounted transparent display device based on the SPAAM technique will be described. The two-step approach includes an 11-point offline calibration and a 2-point user-based calibration. All the points in this two-step alignment approach are collected by moving the head-mounted transparent display to align virtual markers in the displayed image with a single point in the real world, and a head locator is used to locate the point for each point determine relative positions of the head-mounted transparent display.

Im US-Patent Nr. 6,753,828 wird ein 3D-Marker in einem Head-Mounted Stereo-Durchsicht-Display erzeugt. Der 3D-Marker wird vom Betrachter mit einem bestimmten Punkt in der realen Welt visuell ausgerichtet, und Kalibrierungsdaten werden gesammelt. Dieser Vorgang wird für mehrere Positionen im Raum, der für die erweiterte Realität verwendet wird, wiederholt. Ein Modell des Raums der erweiterten Realität wird mit Hilfe der gesammelten Kalibrierungsdaten aufgebaut.in the U.S. Patent No. 6,753,828 A 3D marker is generated in a head-mounted stereo transparent display. The 3D marker is visually aligned by the viewer with a particular point in the real world, and calibration data is collected. This process is repeated for multiple positions in the space used for augmented reality. A model of the augmented reality space is built using the collected calibration data.

ZusammenfassungSummary

Bei einer Ausgestaltung wird ein Verfahren zum Ausrichten eines angezeigten Bildes in einem Head-Mounted Durchsicht-Display relativ zu der vom Betrachter wahrgenommen Durchsicht-Ansicht zur Verfügung gestellt. Durch das kombinierte Bild, das das angezeigte Bild – überlagert mit der Durchsicht-Ansicht – enthält, wird für den Betrachter ein Bild der erweiterten Realität zur Verfügung gestellt. Das Verfahren umfasst das Aufnehmen eines ersten Bildes einer Szene mit einer Kamera in der Head-Mounted Durchsicht-Display-Vorrichtung, wobei diese Szene Objekte enthält. Das aufgenommene erste Bild wird dann einem Betrachter unter Verwendung der Head-Mounted Durchsicht-Display-Vorrichtung angezeigt, so dass sowohl das angezeigte Bild als auch die Durchsicht-Ansicht der Szene sichtbar sind. Ein oder mehrere zusätzliche Bilder der Szene werden mit der Kamera aufgenommen, in denen der Betrachter eine Fehlausrichtung zwischen dem ersten angezeigten Bild und einer Durchsicht-Ansicht der Szene angibt. Die aufgenommenen Bilder werden dann miteinander verglichen, um ein Bildeinstellung zu bestimmen, um entsprechende Objekte in angezeigten Bildern mit Objekten in der Durchsicht-Ansicht der Szene auszurichten. Anschließend werden erweiterte Bildinformation bereitgestellt, die die bestimmten Bildeinstellungen enthalten, und die erweiterten Bildinformationen werden dem Betrachter angezeigt, so dass der Betrachter ein erweitertes Bild sieht, das erweiterte Bildinformationen enthält, die der Durchsicht-Ansicht überlagert sind.In one embodiment, a method for aligning a displayed image in a head-mounted transparency display relative to the viewer's perceived see-through view is provided. The combined image, which contains the displayed image superimposed with the see-through view, provides the viewer with an augmented reality image. The method includes capturing a first image of a scene with a camera in the head-mounted transparent display device, which scene contains objects. The captured first image is then displayed to a viewer using the head-mounted transparent display device so that both the displayed image and the review view of the scene are visible. One or more additional images of the scene are taken with the camera, in which the viewer indicates a misalignment between the first displayed image and a see-through view of the scene. The captured images are then compared with each other to determine an image adjustment to align corresponding objects in displayed images with objects in the review view of the scene. Subsequently, enhanced image information is provided that includes the determined image settings, and the enhanced image information is displayed to the viewer so that the viewer sees an enhanced image that contains extended image information superimposed on the see-through view.

Kurzbeschreibung der ZeichnungenBrief description of the drawings

1 ist eine Darstellung einer Head-Mounted Durchsicht-Display-Vorrichtung; 1 is an illustration of a head-mounted transparent display device;

2 ist eine Darstellung einer Szene und des damit in Beziehung stehenden angezeigten Bildes, wie es aus der Perspektive des Betrachters mit beiden Augen gesehen wird; 2 is a representation of a scene and the related displayed image as viewed from the viewer's perspective with both eyes;

3 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem rechten Auge des Betrachters gesehen wird, wobei ein angezeigtes Bild der Szene mit einer Durchsicht-Ansicht der Szene überlagert ist und beide Bildern sich nicht in Ausrichtung befinden; 3 Figure 12 is an illustration of a combined view as seen with the viewer's right eye, with a displayed image of the scene superimposed on the scene with a see-through view and with both images out of alignment;

4 ist eine Darstellung einer kombinierten Ansicht einer Szene, wobei der Betrachter eine Finger-Geste verwendet, um die wahrgenommene Position eines Objekts (das Fenster) in dem angezeigten Bild anzugeben, die in der Durchsicht-Ansicht nicht ausgerichtet ist; 4 Figure 12 is an illustration of a combined view of a scene wherein the viewer uses a finger gesture to indicate the perceived position of an object (the window) in the displayed image that is not aligned in the see-through view;

5 ist eine Darstellung von einem aufgenommenen Bild der Finger-Geste des Betrachters, die die Position des Objekts (das Fenster) angibt, wie in 4 gezeigt; 5 is a representation of a captured image of the viewer's finger gesture indicating the position of the object (the window), as in FIG 4 shown;

6 ist eine Darstellung einer Durchsicht-Ansicht, wie sie vom Betrachter gesehen wird, einschließlich der Finger-Geste des Betrachters, die die Position des Objekts (das Fenster) in der Durchsicht-Ansicht angibt; 6 Figure 12 is an illustration of a see-through view as seen by the viewer, including the viewer's finger gesture indicating the position of the object (the window) in the see-through view;

7 ist eine Darstellung von einem aufgenommenen Bild der Finger-Geste des Betrachters, die die Position des Objekts (das Fenster) angibt, wie in 6 gezeigt; 7 is a representation of a captured image of the viewer's finger gesture indicating the position of the object (the window), as in FIG 6 shown;

8 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem rechten Auge des Betrachters gesehen wird, wobei das angezeigte Bild der Szene mit der Durchsicht-Ansicht der Szene überlagert ist und wobei die beiden Bilder auf ein Objekt (das Fenster) ausgerichtet sind; 8th is a representation of a combined view as seen with the right eye of the Viewers, wherein the displayed image of the scene is overlaid with the see-through view of the scene, and wherein the two images are aligned with an object (the window);

9 ist eine Darstellung einer kombinierten Ansicht einer Szene, wobei die beiden Bilder auf ein Objekt (das Fenster) ausgerichtet sind. Der Betrachter verwendet eine Finger-Geste, um die wahrgenommene Position eines anderen Objekts (der Autoreifen) in dem angezeigten Bild anzugeben, das nicht mit der Durchsicht-Ansicht ausgerichtet ist; 9 is a representation of a combined view of a scene with the two images aligned with an object (the window). The viewer uses a finger gesture to indicate the perceived position of another object (the car tire) in the displayed image that is not aligned with the see-through view;

10 ist eine Darstellung eines aufgenommenen Bildes der Finger-Geste des Betrachters, um die Position des anderen Objekts (der Autoreifen) anzugeben, wie in 9 gezeigt; 10 is a representation of a captured image of the viewer's finger gesture to indicate the position of the other object (the car tire), as in FIG 9 shown;

11 ist eine Darstellung einer Durchsicht-Ansicht, wie sie vom Betrachter wahrgenommen wird, einschließlich der Finger-Geste des Betrachters, um die Position des anderen Objekts (der Autoreifen) in der Durchsicht-Ansicht anzugeben; 11 Figure 12 is an illustration of a see-through view as perceived by the viewer, including the viewer's finger gesture to indicate the position of the other object (the car tire) in the see-through view;

12 ist eine Darstellung von einem aufgenommenen Bild der Finger-Geste des Betrachters, um die Position des anderen Objekts (der Autorreifen) anzugeben, wie in 11 gezeigt; 12 is a representation of a captured image of the viewer's finger gesture to indicate the position of the other object (the car tire), as in FIG 11 shown;

13 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem rechten Auge des Betrachters gesehen wird, wobei die beiden Bilder auf das Objekt (das Fenster) ausgerichtet und hinsichtlich der Größe angepasst sind, um das weitere Objekt (der Autoreifen) auszurichten; 13 is a representation of a combined view as seen with the viewer's right eye, the two images being aligned with the object (s) and adjusted in size to align the further object (the car tire);

14A ist eine Darstellung einer kombinierten Ansicht des erweiterten Realitäts-Bildes, wie es mit dem rechten Auge des Betrachters gesehen wird, wobei in der Durchsicht-Ansicht ein angezeigtes Etikett (Adresse) mit einem Objekt überlagert ist (das Haus) und das Etikett auf das Objekt ausgerichtet ist; 14A is a representation of a combined view of the augmented reality image as viewed with the viewer's right eye, where in the transparent view a displayed label (address) is overlaid with an object (the house) and the label on the object is aligned;

14B ist eine Darstellung einer kombinierten Ansicht des erweiterten Realitäts-Bildes, wie es mit dem rechten Auge des Betrachters gesehen wird, wobei in der Durchsicht-Ansicht erweiterte Bildinformationen in Form der angezeigten Objekte (der Baum und die Büsche) auf Objekte (das Auto und Haus) überlagert werden und wobei die angezeigten Objekte mit den Objekten in der Durchsicht-Ansicht ausgerichtet sind; 14B is a representation of a combined view of the augmented reality image as seen with the right eye of the observer, where in the phantom view extended image information in the form of the displayed objects (the tree and the bushes) on objects (the car and house ) and wherein the displayed objects are aligned with the objects in the see-through view;

15 ist eine Darstellung einer Szene und des zugehörigen angezeigten Bildes, wie es aus der Perspektive des Betrachters mit beiden Augen gesehen wird. Ein Marker ist in dem für das linke Auge angezeigten Bild sichtbar, wobei der Marker den Bereich für die erste Ausrichtung zwischen dem angezeigten Bild und der Durchsicht-Ansicht angibt; 15 is a representation of a scene and its associated displayed image, as seen from the perspective of the viewer with both eyes. A marker is visible in the image displayed to the left eye, the marker indicating the region for the first alignment between the displayed image and the see-through view;

16 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem linken Auge eines Betrachters gesehen wird, wobei ein angezeigtes Bild der Szene mit einer Durchsicht-Ansicht der Szene überlagert ist und wobei die beiden Bilder nicht ausgerichtet sind. Ein Marker gibt einen ersten Bereich für die Ausrichtung an; 16 Figure 12 is an illustration of a combined view as seen with a viewer's left eye, with a displayed image of the scene superimposed on the scene with a see-through view and with the two images unaligned. A marker indicates a first area for alignment;

17 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem linken Auge eines Betrachter gesehen wird, wobei ein angezeigtes Bild der Szene mit einer Durchsicht-Ansicht der Szene überlagert ist und wobei der Betrachter seinen Kopf bewegt hat, um Objekte (das Dach) in beiden Bilder in dem Bereich der Markierung auszurichten; 17 Figure 12 is an illustration of a combined view as seen with the left eye of a viewer, with a displayed image of the scene overlaid with a see-through view of the scene and with the viewer moving his head to objects (the roof) in both Align images in the area of the mark;

18 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem linken Auge eines Betrachter gesehen wird, wobei ein angezeigtes Bild der Szene mit einer Durchsicht-Ansicht der Szene überlagert ist und wobei die beiden Bilder in einem Bereich ausgerichtet sind und wobei ein Marker einen zweiten Bereich zur Ausrichtung angibt; 18 Figure 12 is an illustration of a combined view as seen with the left eye of a viewer, with a displayed image of the scene superimposed on the scene with a see-through view and with the two images aligned in one area and with a marker a second area indicates alignment;

19 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem linken Auge eines Betrachter gesehen wird, wobei ein angezeigtes Bild der Szene mit einer Durchsicht-Ansicht der Szene überlagert ist und wobei Objekte (der Autoreifen) in den beiden Bildern in einem zweiten Bereich ausgerichtet sind; 19 Figure 12 is an illustration of a combined view as seen with the left eye of a viewer, with a displayed image of the scene superimposed on the scene with a see-through view, and with objects (the car tires) in the two images aligned in a second area ;

20 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem linken Auge eines Betrachter gesehen wird, wobei das angezeigte Bild der Szene mit der Durchsicht-Ansicht der Szene überlagert ist und wobei die beiden Bilder in den beiden Bereichen der Marker durch Verschieben und Größenanpassung ausgerichtet sind; 20 Figure 12 is an illustration of a combined view as seen with a viewer's left eye, where the displayed image of the scene is superimposed on the scene with the phantom view, and where the two images in the two regions of the markers are aligned by shifting and resizing ;

21 ist ein Flussdiagramm des Ausrichtungsverfahrens, das verwendet wird, um Bildeinstellungen zu bestimmen, um angezeigte Bilder mit der Durchsicht-Ansicht auszurichten, die durch den Betrachter gesehen wird; 21 Fig. 10 is a flowchart of the alignment process used to determine image adjustments to align displayed images with the see-through view seen by the viewer;

22 ist ein Flussdiagramm zur Verwendung der ermittelten Bildanpassungen, um erweiterte Bildinformationen mit den entsprechenden Objekten anzuzeigen, wie sie vom Betrachter in der Durchsicht-Ansicht gesehen werden. 22 FIG. 10 is a flowchart for using the determined image adjustments to display extended image information with the corresponding objects as seen by the viewer in the see-through view.

Detaillierte BeschreibungDetailed description

Bei einem Durchsicht-Display kann ein angezeigtes Bild von einem Betrachter gesehen werden, und zwar gleichzeitig mit einer ebenfalls zu sehenden Durchsicht-Ansicht der umliegenden Umgebung. Das angezeigte Bild und die Durchsicht-Ansicht können als ein kombiniertes Bild gesehen werden, wobei ein Bild mit dem anderen Bild überlagert ist oder wobei die beiden Bilder gleichzeitig in unterschiedlichen Bereichen des Durchsicht-Displays gesehen werden können, das vom Betrachter betrachtet werden kann.With a see-through display, a displayed image can be seen by a viewer, simultaneously with a see-through view of the surrounding environment as well. The displayed image and the see-through view can be viewed as a combined image, wherein an image is superimposed on the other image or the two images can be seen simultaneously in different areas of the see-through display that can be viewed by the viewer.

Um ein effektives erweitertes Realitäts-Bild für einen Betrachter zur Verfügung zu stellen, ist es wichtig, dass die erweiterten Bildinformationen relativ zu Objekten in der Durchsicht-Ansicht ausgerichtet sind, so dass der Betrachter die erweiterten Bildinformationen mit dem korrekten Objekt in der Durchsicht-Ansicht visuell verknüpfen kann. Die Erfindung stellt ein einfaches und intuitives Verfahren zur Verfügung, um Fehlausrichtungen zwischen den angezeigten Bildern und den Durchsicht-Ansichten anzugeben, sowie ein Verfahren, um die Richtung und das Ausmaß der Fehlausrichtung zu bestimmen, so dass die Fehlausrichtung durch Veränderung der Art und Weise, wie das angezeigte Bild dem Betrachter zur Verfügung gestellt wird, korrigiert werden kann.To provide an effective augmented reality image to an observer, it is important that the augmented image information be aligned relative to objects in the phantom view so that the viewer can see the augmented image information with the correct object in phantom view connect visually. The invention provides a simple and intuitive method for indicating misalignments between the displayed images and the phantom views, as well as a method for determining the direction and extent of misalignment so that misalignment can be achieved by changing the manner in which how the displayed image is made available to the viewer can be corrected.

1 zeigt eine Darstellung einer Head-Mounted Durchsicht-Display-Vorrichtung 100. Die Vorrichtung umfasst einen Rahmen 105 mit Linsen 110, 115, die Display-Bereiche und durchsichtige Bereiche 102 haben. Der Rahmen 105 wird durch Bügel bzw. Arme 130 am Kopf des Betrachters gehalten. Die Arme 130 enthalten auch die Elektronik 125 mit einem Prozessor, um die Displays und Peripherie-Elektronik 127 zu steuern, einschließlich Batterien und drahtlose Verbindungen mit anderen Informationsquellen, wie solche, die mit dem Internet oder mit lokalen Servern über Wifi, Bluetooth, zelluläre Technologien oder andere drahtlose Technologien realisiert werden können. Eine Kamera 120 ist vorgesehen, um Bilder der umliegenden Umgebung auszunehmen. Die Head-Mounted Durchsicht-Display-Vorrichtung 100 kann eine oder mehrere Kameras 120 haben, die in der Mitte montiert sind, wie gezeigt, oder an verschiedenen Stellen innerhalb des Rahmens 105 oder den Armen 130. 1 shows an illustration of a head-mounted transparent display device 100 , The device comprises a frame 105 with lenses 110 . 115 , the display areas and transparent areas 102 to have. The frame 105 is by brackets or arms 130 held at the head of the beholder. The poor 130 also contain the electronics 125 with a processor to the displays and peripheral electronics 127 including batteries and wireless connections to other sources of information, such as those that can be realized with the Internet or local servers via Wifi, Bluetooth, cellular technologies or other wireless technologies. A camera 120 is intended to exclude images of the surrounding environment. The head-mounted see-through display device 100 can have one or more cameras 120 which are mounted in the center as shown, or at various locations within the frame 105 or the poor 130 ,

Um Bilder in einem Head-Mounted Durchsicht-Display auszurichten, ist es notwendig, mindestens zwei verschiedene Punkte in den Bildern zu kennen, wo zugehörige Objekte in den Bildern ausgerichtet sind. Dies ermöglicht Berechnungen zum Verschieben der Bilder, um bei einem ersten Punkt eine Ausrichtung und Größenänderung durchzuführen, um den zweiten Punkt auszurichten. Dies setzt allerdings voraus, dass zwischen den beiden Bildern keine Rotations-Fehlausrichtung vorliegt, und dass die Bilder nicht verbogen oder verzerrt sind. Wie in 1 gezeigt, weist Durchsicht-Display-Vorrichtung 100 eine Kamera 120 auf, um Aufnahmen von der Umgebung zu machen. Bei Digitalkameras ist es üblich, dass Verzerrungen im Bild während der Herstellung korrigiert werden. Eine Rotations-Ausrichtung der Kamera 120 in dem Rahmen 105 wird also normalerweise bei der Herstellung erreicht.To align images in a head-mounted transparency display, it is necessary to know at least two different points in the images where related objects are aligned in the images. This allows calculations to move the images to align and resize at a first point to align the second point. However, this assumes that there is no rotational misalignment between the two images and that the images are not bent or distorted. As in 1 shown has see-through display device 100 a camera 120 to take pictures of the surroundings. For digital cameras, it is common for distortions in the image to be corrected during production. A rotation orientation of the camera 120 in the frame 105 So it is usually achieved in the production.

Bei einer Ausgestaltung der Erfindung verwendet der Betrachter eine Finger-Geste, um Fehlausrichtungen zwischen einem aufgenommenen Bild der Umgebung, die auf dem Head-Mounted Durchsicht-Display angezeigt wird, und der Durchsicht-Ansicht der umliegendem Umgebung anzugeben, wie es vom Betrachter gesehen wird.In one embodiment of the invention, the viewer uses a finger gesture to indicate misalignments between a captured image of the environment displayed on the head-mounted see-through display and the perimeter view of the surrounding environment, as seen by the viewer ,

2 ist eine Darstellung einer Szene 250 und der zugehörigen angezeigten Bilder 240 und 245, wie sie von hinten und etwas oberhalb der Perspektive des Betrachters mit beiden Augen zu sehen sind. Die angezeigten Bilder 240 und 245, wie in 2 gezeigt, wurden durch die Kamera 120 von der Szene vor dem Betrachter aufgenommen. Die Bilder 240 und 245 können das gleiche Bild sein. Für den Fall, dass die Durchsicht-Display-Vorrichtung 100 zwei Kameras 120 (nicht gezeigt) aufweist, können die Bilder die gleiche Szene zeigen, aber mit unterschiedlichen Perspektiven, wie bei einem Stereo-Bilder-Satz für dreidimensionale Betrachtung. 2 is a representation of a scene 250 and the associated images displayed 240 and 245 how they are seen from behind and slightly above the viewer's perspective with both eyes. The pictures displayed 240 and 245 , as in 2 shown by the camera 120 taken from the scene in front of the viewer. The pictures 240 and 245 can be the same picture. In the event that the see-through display device 100 two cameras 120 (not shown), the images may show the same scene but with different perspectives, as in a stereo image sentence for three-dimensional viewing.

3 ist eine Darstellung einer kombinierten Ansicht, wie sie mit dem rechten Auge des Betrachters gesehen wird, wobei ein angezeigtes Bild 240 der Szene mit einer Durchsicht-Ansicht 342 der Szene überlagert ist. Das angezeigte Bild 240, das in 3 gezeigt ist, wurde mit der Kamera 120 aufgenommen und wird dann auf der Head-Mounted Durchsicht-Display-Vorrichtung 100 als ein kombiniertes Bild angezeigt, wobei das angezeigte Bild 240 als ein semitransparentes Bild erscheint, das mit der Durchsicht-Ansicht 342 überlagert ist. Wie in 3 gesehen werden kann, sind das angezeigte Bild 240 und die Durchsicht-Ansicht 342 falsch ausgerichtet, was auch vom Betrachter wahrgenommen wird. Die Fehlausrichtung zwischen dem angezeigten Bild 240 und der Durchsicht-Ansicht 342 kann mit Veränderungen beim Betrachter oder mit Veränderungen hinsichtlich der Art und Weise variieren, wie der Betrachter die Head-Mounted Durchsicht-Display-Vorrichtung 100 jedes mal trägt, wenn er die Vorrichtung verwendet. Als Ergebnis wird durch die vorliegende Erfindung ein einfaches und intuitives Verfahren zur Korrektur von Fehlausrichtungen zur Verfügung gestellt. 3 is a representation of a combined view as seen with the right eye of the viewer, being a displayed image 240 the scene with a see-through view 342 the scene is superimposed. The displayed image 240 , this in 3 shown was with the camera 120 is recorded and then on the head-mounted see-through display device 100 displayed as a combined image, with the displayed image 240 appears as a semitransparent image with the see-through view 342 is superimposed. As in 3 can be seen are the displayed image 240 and the see-through view 342 misaligned, which is also perceived by the viewer. The misalignment between the displayed image 240 and the see-through view 342 may vary with changes in the viewer or with changes in the way the viewer views the head-mounted see-through display device 100 every time it wears when using the device. As a result, the present invention provides a simple and intuitive method for correcting misalignments.

Ein Verfahren zur Bestimmung von Fehlausrichtungen ist in 313 und in dem Flussdiagramm vom 21 gezeigt. Bei einer Ausführungsform der Erfindung wird die Kamera 120 verwendet, um ein erstes Bild von einer Szene vor dem Betrachter zu aufzunehmen. Das aufgenommene erste Bild wird dann als ein semitransparentes Bild auf der Head-Mounted Durchsicht-Display-Vorrichtung 100 angezeigt, so dass der Betrachter das angezeigte Bild sieht, das mit der Durchsicht-Ansicht der gleichen Szene vor dem Betrachter überlagert ist, wie in 3 dargestellt ist. Der Betrachter wählt dann ein erstes Objekt in dem angezeigten Bild, das für die Bestimmung von Fehlausrichtungen verwendet wird. Der Betrachter verwendet dann seine Finger, um die wahrgenommene Position des ausgewählten Objekts in dem angezeigten Bild anzugeben, wie in 4 gezeigt ist, wobei in diesem Beispiel gezeigt ist, dass der Betrachter das Fenster als das erste ausgewählte Objekt angegeben hat.One method for determining misalignments is in 3 - 13 and in the flow chart of 21 shown. In one embodiment of the invention, the camera 120 used to capture a first image of a scene in front of the viewer. The captured first image is then displayed as a semitransparent image on the head-mounted transparent display device 100 is displayed so that the viewer sees the displayed image overlaid with the see-through view of the same scene in front of the observer as in 3 is shown. The viewer then selects a first object in the displayed image that is for the Determination of misalignments is used. The viewer then uses his fingers to indicate the perceived position of the selected object in the displayed image, as in FIG 4 is shown, in which example it is shown that the viewer has specified the window as the first selected object.

Wie in 4 gesehen werden kann, wird das angezeigte Bild mit der Durchsicht-Ansicht der Szene überlagert, in der die Finger 425 des Betrachters enthalten sind. Mit der Kamera 120 wird dann ein zweites Bild aufgenommen, in dem die Finger-Geste des Betrachters enthalten ist, durch die die wahrgenommene Position des ersten Objekts angegeben wird, wie in 5 gezeigt ist. Aufgrund der Fehlausrichtung zwischen der Durchsicht-Ansicht und den von der Kamera 120 aufgenommenen Bildern und aufgrund der verschiedenen Perspektiven der Szene (auch als Parallaxe bezeichnet) zwischen der Kamera 120 und dem rechten Auge des Betrachters, gibt es eine Fehlausrichtung in dem zweiten Bild zwischen den Finger 525 des Betrachters und dem ausgewählte erste Objekt (Fenster), wie in 5 gezeigt ist. Die Fehlausrichtung des Fingers relativ zu dem ausgewählten ersten Objekt, wie in dem zweiten Bild zu sehen ist, kann abhängig von den relativen Positionen und den zugehörigen Perspektiven der Szene zwischen der Kamera 120 und dem Auge des Betrachters verschieden sein.As in 4 can be seen, the displayed image is superimposed with the see-through view of the scene in which the fingers 425 of the viewer are included. With the camera 120 Then, a second image is captured containing the viewer's finger gesture indicating the perceived position of the first object, as in FIG 5 is shown. Due to the misalignment between the see-through view and the camera 120 taken pictures and due to the different perspectives of the scene (also called parallax) between the camera 120 and the right eye of the observer, there is a misalignment in the second image between the fingers 525 of the viewer and the selected first object (window), as in 5 is shown. The misalignment of the finger relative to the selected first object, as seen in the second image, may be dependent on the relative positions and associated perspectives of the scene between the camera 120 and be different to the eye of the beholder.

Das angezeigte Bild wird dann ausgeschaltet oder aus dem Head-Mounted Durchsicht-Display 100 entfernt, so dass der Betrachter nur noch die Durchsicht-Ansicht sieht. Der Betrachter zeigt dann das gleiche ausgewählte erste Objekt (in diesem Beispiel das Fenster) mit dem Finger 625 des Betrachter in der Durchsicht-Ansicht an, wie in 6 gezeigt, und anschließend wird mit der Kamera 120 ein drittes Bild aufgenommen, das die Szene vor dem Betrachter und den Finger 725 des Betrachters enthält, wie in 7 gezeigt ist. Wie bei dem zweiten Bild ist der Finger 725 des Betrachters nicht mit dem ausgewählten ersten Objekt (das Fenster) in dem dritten Bild ausgerichtet, und zwar aufgrund der kombinierten Effekte der Fehlausrichtung der Kamera 120 relativ zur Durchsicht-Ansicht und auch aufgrund der unterschiedlichen Perspektive der Szene, die von der Kamera 120 geliefert wird, und dem rechten Auge des Betrachters. Die Quer- und Längs-Bildeinstellungen (auch als Bildverschiebungen bekannt), die benötigt werden, um das angezeigte Bild relativ zur Durchsicht-Ansicht ausrichten zu können, werden dann durch Vergleichen der Position des Fingers 525 des Betrachters im zweiten Bild mit der Position des Fingers 725 des Betrachters im dritten Bild bestimmt. Verfahren zum Vergleichen von Bildern, um Bilder basierend auf zugehörigen Objekten in den Bildern ausrichten zu können, sind beispielsweise im US-Patent 7,755,667 beschrieben. Die ermittelten Quer- und Längs-Bildeinstellungen werden dann auf weitere angezeigte Bilder angewendet, um die angezeigten Bilder in Quer- und Längsrichtung mit der Durchsicht-Ansicht ausrichten zu können.The displayed image is then turned off or off the head-mounted transparent display 100 away so that the viewer sees only the see-through view. The viewer then points the same selected first object (in this example the window) with his finger 625 the viewer in the see-through view, as in 6 shown, and then with the camera 120 a third picture was taken, showing the scene in front of the viewer and the finger 725 contains the observer, as in 7 is shown. As with the second picture is the finger 725 the viewer is not aligned with the selected first object (the window) in the third image due to the combined effects of the misalignment of the camera 120 relative to the see-through view and also because of the different perspective of the scene taken by the camera 120 is delivered, and the right eye of the beholder. The transverse and longitudinal image adjustments (also known as image shifts) needed to align the displayed image relative to the see-through view are then made by comparing the position of the finger 525 of the observer in the second picture with the position of the finger 725 determined by the viewer in the third picture. Methods for comparing images in order to be able to align images based on associated objects in the images are, for example, in US Pat U.S. Patent 7,755,667 described. The determined transverse and longitudinal image settings are then applied to other displayed images in order to be able to align the displayed images in the transverse and longitudinal direction with the transparent view.

8 ist eine Darstellung eines kombinierten Ansicht, wie sie mit dem rechten Auge des Betrachter gesehen wird, wobei die angezeigte erste Bild der Szene mit der Durchsicht-Ansicht der Szene ausgerichtet ist, und wobei das erste Bild mit dem ersten Objekt (das Fenster) ausgerichtet ist. Aber in diesem Fall, wie in 8 gesehen werden kann, haben Objekte in dem angezeigten Bild nicht die gleiche Größe wie in der Durchsicht-Ansicht, und als ein Ergebnis befinden sich andere Objekte als das ausgewählte erste Objekt noch nicht in Ausrichtung. Um die Bildeinstellungen zu bestimmen, die benötigt werden, um den Rest des angezeigten Bildes mit der Durchsicht-Ansicht durch Größenanpassung des angezeigten Bildes auszurichten, wird ein zweites Objekt (in diesem Beispiel der Autoreifen) durch den Betrachter ausgewählt, und der Betrachter verwendet seinen Finger 925, um die Position des Objekts in dem angezeigten Bild anzugeben, wie in 9 gezeigt ist. 8th Figure 12 is an illustration of a combined view as seen with the right eye of the viewer, where the displayed first image of the scene is aligned with the see-through view of the scene, and wherein the first image is aligned with the first object (the window) , But in this case, as in 8th As can be seen, objects in the displayed image are not the same size as in the see-through view, and as a result, objects other than the selected first object are not yet in alignment. To determine the image settings needed to align the rest of the displayed image with the see-through view by sizing the displayed image, a second object (in this example the car tire) is selected by the viewer and the viewer uses his finger 925 to specify the position of the object in the displayed image, as in 9 is shown.

Anschließend wird ein viertes Bild erfasst, wie in 10 gezeigt, das die Szene und den Finger 1025 des Betrachters enthält. Das angezeigte Bild wird dann ausgeschaltet oder entfernt, so dass der Betrachter nur die Durchsicht-Ansicht der Szene sieht, und der Betrachter verwendet seinen Finger 1125, um die wahrgenommene Position des zweiten ausgewählten Objekts in der Durchsicht-Ansicht anzugeben, wie in 11 gezeigt ist. Dann wird ein fünftes Bild erfasst, wie in 12 gezeigt, das die Szene und den Finger 1225 des Betrachters enthält. Das vierte und das fünfte Bild werden dann verglichen, um die jeweiligen Positionen des Finger 1025 und 1225 des Betrachters zu bestimmen, und um dann die Bildeinstellung zu bestimmen, die erforderlich ist, um das angezeigte Bild mit der Durchsicht-Ansicht an der Stelle des zweiten ausgewählten Objekts (der Autoreifen) auszurichten. Die ermittelten Bildeinstellungen für die Positionen des zweiten ausgewählten Objekts werden dann zusammen mit dem Abstand in den Bildern zwischen den ausgewählten ersten und zweiten Objekten verwendet, um die Größenanpassung des angezeigten Bildes zu bestimmen, so dass, wenn diese mit den zuvor ermittelten Quer- und Längseinstellungen kombiniert werden, das angezeigte Bild im Wesentlichen über den Display-Bereich 115 mit der Durchsicht-Ansicht ausgerichtet ist, wie sie vom Betrachter gesehen wird. Die Quer- und Längseinstellungen werden auf Basis von x- und y-Pixel-Verschiebungen bestimmt.Subsequently, a fourth image is captured, as in 10 shown the scene and the finger 1025 contains the viewer. The displayed image is then turned off or removed so that the viewer sees only the see-through view of the scene, and the viewer uses his finger 1125 to specify the perceived position of the second selected object in the see-through view, as in 11 is shown. Then a fifth image is captured, as in 12 shown the scene and the finger 1225 contains the viewer. The fourth and fifth images are then compared to the respective positions of the finger 1025 and 1225 of the observer, and then to determine the image adjustment required to align the displayed image with the see-through view at the location of the second selected object (the car tire). The determined image settings for the positions of the second selected object are then used along with the distance in the images between the selected first and second objects to determine the sizing of the displayed image so that, if these match the previously determined lateral and lateral settings combined, the displayed image is essentially across the display area 115 aligned with the see-through view as seen by the viewer. The lateral and longitudinal settings are determined based on x and y pixel shifts.

Die Größenanpassung wird dann als relative oder prozentuale Veränderung des Abstands zwischen den Positionen des Fingers 525 und 1125 des Betrachters im dritten und vierten Bild im Vergleich zum Abstand zwischen den Positionen des Fingers 525 und 1225 des Betrachters im dritten und fünften Bild bestimmt. Die prozentuale Änderung wird dann auf das angezeigte Bild angewendet, um die Größe des angezeigten Bildes auf Basis der Anzahl der Pixel zu verändern. Bei einem alternativen Verfahren wird die Größenanpassung des angezeigten Bildes vor der Ausrichtung an einer Position in dem angezeigten Bild durchgeführt. 13 zeigt eine Darstellung des angezeigten Bildes, das mit der Durchsicht-Ansicht überlagert ist, wobei das angezeigte Bild an dem Fenster-Objekt ausgerichtet und dann bezüglich seiner Größe verändert wurde, um die übrigen Objekte so auszurichten, dass das kombinierte Bild im Wesentlichen keine wahrnehmbaren Fehlausrichtungen zwischen dem angezeigten Bild und der Durchsicht-Ansicht hat.The sizing is then considered as a relative or percentage change in the distance between the positions of the finger 525 and 1125 of the viewer in the third and fourth picture in comparison to the distance between the positions of the finger 525 and 1225 determined by the viewer in the third and fifth picture. The percentage change is then applied to the displayed image to change the size of the displayed image based on the number of pixels. In an alternative method, the sizing of the displayed image is performed prior to registration at a position in the displayed image. 13 Figure 12 shows a representation of the displayed image superimposed on the see-through view, with the displayed image aligned with the window object and then resized to align the remaining objects so that the combined image is substantially imperceptible to misalignments between the displayed image and the see-through view.

Die zeitliche Abfolge, in der die mehreren Bilder in dem Verfahren der vorliegenden Erfindung aufgenommen werden, kann automatisch oder manuell durchgeführt werden. Zum Beispiel können die Aufnahmen alle zwei Sekunden durchgeführt werden, bis alle Bilder aufgenommen wurden, die benötigt werden, um die Bildeinstellungen zu bestimmen. Durch den Abstand zwischen den Aufnahmen von zwei Sekunden hat der Betrachter genug Zeit, um die Fehlausrichtung zu bewerten und um eine Angabe der Fehlausrichtung zu bewirken. Alternativ kann der Betrachter eine manuelle Angabe an die Head-Mounted Durchsicht-Display-Vorrichtung 100 abgeben, wenn er überzeugt ist, dass die Fehlausrichtung ordnungsgemäß angezeigt wird. Die manuelle Angabe kann zum Beispiel durch Betätigung einer Taste an dem Head-Mounted Durchsicht-Display 100 erfolgen. Dem Betrachter können Bilder mit Anweisungen angezeigt werden, was und wann etwas zu tun ist.The timing in which the multiple images are captured in the method of the present invention may be performed automatically or manually. For example, the pictures may be taken every two seconds until all pictures are taken that are needed to determine the picture settings. The distance between shots of two seconds allows the viewer enough time to evaluate the misalignment and to provide an indication of the misalignment. Alternatively, the viewer may provide a manual indication to the head-mounted transparent display device 100 if it is satisfied that the misalignment is properly displayed. The manual indication can be made, for example, by pressing a button on the head-mounted transparent display 100 respectively. The viewer can see pictures with instructions on what and when to do something.

Es wird darauf hingewiesen, dass die hier beschriebenen Verfahren zur Bestimmung von Bildeinstellungen zum Reduzieren von Fehlausrichtungen zwischen angezeigten Bildern und Durchsicht-Ansichten möglich sind, da die Fehlausrichtungen im Wesentlichen auf Unterschieden hinsichtlich der Winkelunterschiede der Positionen und Größen von Objekten in den von der Kamera 120 aufgenommenen Bildern sowie den Positionen und Größen von entsprechenden Objekten in der Durchsicht-Aussicht basieren. Da sowohl die Kamera 120 als auch das Auge des Betrachters Bilder in Winkelsegmenten innerhalb ihrer jeweiligen Sichtfelder wahrnehmen, können Winkeleinstellungen in dem angezeigten Bild auf Basis von Pixel-Verschiebungen und Pixelzahl-Veränderungen oder Bildgrößen-Veränderungen des angezeigten Bildes implementiert werden. Somit können die Bildeinstellungen die Form von x- und y-Pixelverschiebungen in dem angezeigten Bild zusammen mit ”Upsampling” oder ”Downsampling” des angezeigten Bildes haben, um die Zahl der x- und y-Pixel in dem angezeigten Bild zu erhöhen oder zu verringern.It should be understood that the methods of determining image adjustments described herein are possible for reducing misalignment between displayed images and phantom views, as the misalignments are substantially due to differences in the angular differences in the positions and sizes of objects in the camera 120 recorded images as well as the positions and sizes of corresponding objects in the perusal perspective. Because both the camera 120 As well as the viewer's eye perceiving images in angular segments within their respective fields of view, angular adjustments in the displayed image may be implemented based on pixel shifts and pixel number changes or image size changes of the displayed image. Thus, the image adjustments may take the form of x and y pixel shifts in the displayed image along with "upsampling" or "downsampling" the displayed image to increase or decrease the number of x and y pixels in the displayed image ,

Obwohl die oben beschriebenen Beispiel den Fall betreffen, dass Fehlausrichtungen zwischen dem angezeigten Bild und der Durchsicht-Ansicht auf Quer- und Längs-Fehlausrichtungen sowie auf Größenunterschieden basieren, sind komplizierter Fehlausrichtungen möglich, wie zum Beispiel Verzerrungen oder Rotationen. Rotations-Fehlausrichtungen können in dem Verfahren zum Bestimmen der Größenanpassungen bestimmt werden, die erforderlich sind, wenn das vierte und das fünfte aufgenommene Bild verglichen werden.Although the examples described above relate to the case that misalignments between the displayed image and the phantom view are based on transverse and longitudinal misalignments as well as size differences, more complicated misalignments are possible, such as distortions or rotations. Rotational misalignments may be determined in the method of determining the size adjustments required when comparing the fourth and fifth captured images.

Die Bestimmung von Bildeinstellungen, die erforderlich ist, um angezeigte Bilder mit der Durchsicht-Ansicht auszurichten, wenn eine Verzerrung entweder in dem angezeigten Bild oder in der Durchsicht-Ansicht vorliegt, erfordert das Bestimmen von mehr Informationen. In diesem Fall muss der Betrachter mindestens ein weiteres Objekt in einer Position auswählen, die verschieden ist von den Positionen des ersten oder zweiten Objekts, und den Vorgang durchführen, der oben beschrieben wurde.The determination of image adjustments required to align displayed images with the phantom view when there is distortion either in the displayed image or in the phantom view requires determining more information. In this case, the viewer must select at least one other object in a position different from the positions of the first or second object, and perform the operation described above.

Die angegebenen Beispiele beschreiben Verfahren zum Bestimmen der Bildeinstellungen auf Basis des Sehens mit einem Auge. Diese ermittelten Bildeinstellungen können auf die angezeigten Bilder in beiden Augen angewendet werden, oder die Bildeinstellungen können unabhängig für jedes Auge angewendet werden.The examples given describe methods for determining the image settings based on one-eye vision. These determined image settings can be applied to the displayed images in both eyes, or the image settings can be independently applied to each eye.

Nachdem die Bildeinstellungen bestimmt worden sind, können die angezeigten Bilder modifiziert werden, um Fehlausrichtungen auszugleichen. Die angezeigten Bilder können Standbilder oder Video sein. Weitere Bilder der Szene können aufgenommen werden, um Objekte identifizieren zu können und um die Positionen der Objekte in den weiteren Bildern bestimmen zu können. Verfahren zum Identifizieren von Objekten und zum Bestimmen der Positionen von Objekten in Bildern sind zum Beispiel in der US 7,805.003 beschrieben. Erweiterte Bildinformationen können relativ zu den erfassten Positionen der Objekte angezeigt werden, so dass die erweiterten Bildinformationen mit den Objekten in der Durchsicht-Ansicht ausgerichtet sind, indem die Bildeinstellungen auf die angezeigten Bildern angewendet werden. Bei einer anderen Ausführung werden, um Strom zu sparen, wenn erweiterte Bildinformationen angezeigt werden, zusätzliche weitere Bilder der Szene nur dann aufgenommen, wenn eine Bewegung des Betrachters oder der Head-Mounted Durchsicht-Display-Vorrichtung 100 erfasst werden, da die ermittelten Positionen der Objekte in den weiteren Bildern unverändert bleiben, wenn der Betrachter oder das Head-Mounted Durchsicht-Display 100 stationär bleiben. Wenn der Betrachter oder die Head-Mounted Durchsicht-Display-Vorrichtung 100 stationär ist, können die gleichen Bildeinstellungen für mehrere Displays von erweiterten Bildinformationen verwendet werden, um die erweiterten Bildinformationen mit den Objekten ausrichten zu können, die vom Betrachter in der Durchsicht-Ansicht Blick gesehen werden.After the image adjustments have been determined, the displayed images may be modified to compensate for misalignments. The displayed images may be still images or video. Additional images of the scene can be taken to identify objects and to determine the positions of the objects in the other images. Methods for identifying objects and determining the positions of objects in images are described, for example, in US Pat US 7,805,003 described. Extended image information can be displayed relative to the detected positions of the objects so that the extended image information is aligned with the objects in the see-through view by applying the image settings to the displayed images. In another embodiment, to save power when displaying advanced image information, additional additional images of the scene are recorded only when there is movement of the viewer or the head-mounted transparent display device 100 be detected, since the determined positions of the objects in the other images remain unchanged when the viewer or the head-mounted transparent display 100 stay stationary. When the viewer or the head Mounted see-through display device 100 is stationary, the same image settings can be used for multiple displays of enhanced image information to align the extended image information with the objects viewed by the viewer in the see-through view.

Bei einem anderen Verfahren gibt der Betrachter die Fehlausrichtung zwischen einem angezeigten Bild und der Durchsicht-Ansicht an, indem er seinen Kopf bewegt. Darstellungen von diesem Verfahren sind in 1520 gezeigt. Eine oder mehrere Positionen werden dann in dem kombinierten Bild ausgewählt, das vom Betrachter gesehen wird, wo eine Ausrichtung durchgeführt werden kann. Wenn mehr als eine Position für die Ausrichtung verwendet wird, müssen die Positionen in unterschiedlichen Bereichen Abschnitten des kombinierten Bildes liegen, wie zum Beispiel in der Nähe von gegenüberliegenden Ecken. Um den Betrachter bei der Auswahl der Positionen zu unterstützen, die zur Durchführung der Ausrichtung verwendet werden, wird bei einer Ausführungsform in dem angezeigten Bild ein Marker zur Verfügung gestellt, wie in 15 gezeigt, wobei der Marker 1550 ein Kreis ist.In another method, the viewer indicates the misalignment between a displayed image and the see-through view by moving his head. Illustrations of this method are in 15 - 20 shown. One or more positions are then selected in the combined image that is viewed by the viewer where alignment can be performed. If more than one position is used for alignment, the positions must be in different portions of the combined image, such as near opposite corners. In order to assist the viewer in selecting the positions used to perform the alignment, in one embodiment, a marker is provided in the displayed image, as in FIG 15 shown, with the marker 1550 a circle is.

Das angezeigte Bild, das in 15 gezeigt ist, auf dem Head-Mounted Durchsicht-Display 100 ist ein erstes Bild von der Szene, das durch die Kamera 120 aufgenommen wurde, und das angezeigte Bild ist von hinten und etwas oberhalb der Perspektive des Betrachters gezeigt, so dass sowohl Objekte in der Szene als auch das angezeigte Bild gesehen werden können. 16 ist eine Darstellung der kombinierten Ansicht, wie sie mit dem linken Auge des Betrachters gesehen wird, wobei das angezeigte Bild der Szene mit der Durchsicht-Ansicht der Szene überlagert ist, um eine Fehlausrichtung sehen zu können. Ein Marker 1550 zeigt einen ersten Bereich für die Ausrichtung an. 17 zeigt eine kombinierte Ansicht, wie sie mit dem linken Auge eines Betrachters gesehen wird, wobei der Betrachter seinen Kopf bewegt hat, um Objekte (das Dach) in dem angezeigten Bild und in der Durchsicht-Ansicht Darstellung im Bereich des Markers 1550 auszurichten.The displayed image that is in 15 shown on the head-mounted see-through display 100 is a first shot of the scene taken by the camera 120 and the displayed image is shown from behind and slightly above the perspective of the viewer so that both objects in the scene and the displayed image can be seen. 16 Figure 12 is an illustration of the combined view as seen with the viewer's left eye, with the displayed image of the scene superimposed on the scene's see-through view to see misalignment. A marker 1550 indicates a first range for alignment. 17 Figure 12 shows a combined view as seen with a viewer's left eye, with the viewer moving his head around objects (the roof) in the displayed image and in the see-through view in the region of the marker 1550 align.

Anschließend wird ein zweites Bild durch die Kamera 120 aufgenommen. Das erste aufgenommene Bild wird dann mit dem zweiten aufgenommenen Bild durch die Elektronik 125 verglichen, die einen Prozessor aufweist, um die Differenz zwischen den beiden Bildern an der Position des Markers 1550 zu bestimmen. An diesem Punkt wären das angezeigte Bild und die Durchsicht-Ansicht ausgerichtet, wenn die wahrgenommenen Größen des angezeigten Bildes und der Durchsicht-Ansicht gleich wären, wobei die ermittelte Differenz zwischen dem ersten und dem zweiten aufgenommenen Bild eine Bildeinstellung der x- und y-Pixel-Verschiebung auf dem angezeigten Bild ist. Falls es immer noch Fehlausrichtungen zwischen dem angezeigten Bild und der Durchsicht-Ansicht nach einer Ausrichtung an der Position des Markers 1550 gibt, wie in 17 gezeigt, dann wird eine zweite Ausrichtung bei einem zweiten Marker 1850 durchgeführt, wie in 18 gezeigt ist.Subsequently, a second picture is taken by the camera 120 added. The first captured image is then captured by the electronics with the second captured image 125 which has a processor to compare the difference between the two images at the position of the marker 1550 to determine. At this point, the displayed image and the see-through view would be aligned if the perceived sizes of the displayed image and the see-through view were equal, with the determined difference between the first and second captured images being an image adjustment of the x and y pixels Shift is on the displayed image. If there is still misalignment between the displayed image and the see-through view after an alignment at the position of the marker 1550 there, as in 17 shown, then becomes a second orientation at a second marker 1850 performed as in 18 is shown.

Wie in 18 gesehen werden kann, sind die beiden Bilder an der Position ausgerichtet, wo sich der Marker 1550 befand, aber der Rest des Bildes hat Fehlausrichtungen, die auf einem Größenunterschied zwischen dem angezeigten Bild und der Durchsicht-Ansicht basieren. Der Betrachter bewegt dann seinen Kopf, um Objekte in dem angezeigten Bild auf entsprechende Objekte (wie zum Beispiel der Autoreifen) in der Durchsicht-Ansicht im Bereich des Marker 1850 auszurichten, um die weitere Bildeinstellung anzugeben, die eine Größenanpassung des angezeigten Bildes ist.As in 18 can be seen, the two images are aligned at the position where the marker 1550 but the rest of the image has misalignments based on a difference in size between the displayed image and the see-through view. The viewer then moves his head around objects in the displayed image to corresponding objects (such as the car tire) in the see-through view in the region of the marker 1850 to specify the additional image setting that is a resizing of the displayed image.

19 zeigt eine Darstellung des kombinierten Bildes, wie es vom Betrachter gesehen wird, nachdem der Kopf des Betrachters bewegt wurde, um Objekte in dem angezeigten Bild mit entsprechenden Objekten in der Durchsicht-Ansicht auszurichten. Dann wird ein drittes Bild durch die Kamera 120 aufgenommen. Das dritte Bild wird dann mit dem zweiten Bild oder dem ersten Bild verglichen, und zwar durch die Elektronik 125, die den Prozessor enthält, um die Bildeinstellung zu bestimmen, die erforderlich ist, um das angezeigte Bild mit der Durchsicht-Ansicht im Bereich des zweiten Marker 1850 auszurichten. Die ermittelte Bildeinstellung, um das angezeigte Bild mit der Durchsicht-Ansicht im Bereich des ersten Markers 1550 auszurichten, ist dann eine Pixel-Verschiebung. Die prozentuale Veränderung des Abstands zwischen den Positionen von Objekte in dem Bereich des ersten und zweiten Markers beim Ausrichten des angezeigten Bildes mit der Durchsicht-Ansicht im Bereich des zweiten Markers 1850 entspricht der Bildeinstellung für die Größenanpassung des angezeigten Bildes. 20 zeigt dann das vollständig ausgerichtete angezeigte Bild, nach dem Anwenden der Pixel-Verschiebung und der Größenanpassung, das mit der Durchsicht-Ansicht überlagert ist, wie es vom Betrachter gesehen wird, wobei Fehlausrichtungen nicht sichtbar sind. 19 Figure 10 shows a representation of the combined image as seen by the viewer after the viewer's head has been moved to align objects in the displayed image with corresponding objects in the phantom view. Then a third picture is taken by the camera 120 added. The third image is then compared to the second image or image by the electronics 125 containing the processor to determine the image adjustment required to display the displayed image with the see-through view in the region of the second marker 1850 align. The determined image setting to the displayed image with the see-through view in the area of the first marker 1550 align is then a pixel shift. The percent change in the distance between the positions of objects in the region of the first and second markers when aligning the displayed image with the see-through view in the region of the second marker 1850 corresponds to the image adjustment for resizing the displayed image. 20 then displays the fully aligned displayed image, after applying the pixel displacement and sizing overlaid with the see-through view, as seen by the viewer, misalignments are not visible.

Das Verfahren zum Ausrichten wird weiter unter Bezugnahme auf das Flussdiagramm in 21 beschrieben. In Schritt 2110 schaut der Betrachter auf eine Szene, und in Schritt 2120 nimmt die Kamera 120 ein Bild der Szene auf. Das aufgenommene Bild wird dann in Schritt 2130 auf den Display-Bereichen 115 der Head-Mounted Durchsicht-Display-Vorrichtung 100 angezeigt, die in einer transparenten oder semitransparenten Betriebsart arbeitet, so dass der Betrachter eine kombinierte Darstellung des angezeigten Bildes sieht, das sich mit der Durchsicht-Ansicht überdeckt. Der Betrachter liefert dann in Schritt 2140 einen Hinweis bezüglich einer Fehlausrichtung zwischen Objekten in dem angezeigten Bild und entsprechenden Objekte in der Durchsicht-Ansicht. Die Angabe der Fehlausrichtungen kann durch eine Reihe von Finger-Gesten oder durch Bewegen des Kopfes des Betrachters erfolgen, wie zuvor beschrieben. Die Kamera 120 wird in Schritt 2150 verwendet, um weitere Bilder der Szene entsprechend der Angabe des Betrachters bezüglich der Fehlausrichtungen aufzunehmen. Dann werden in Schritt 2160 die aufgenommenen weiteren Bilder in der Elektronik 125 verglichen, um die Bildeinstellungen zu bestimme, die benötigt werden, um die angezeigten Bilder mit der Durchsicht-Ansicht auszurichten, wie sie vom Betrachter gesehen werden.The alignment method will be further described with reference to the flowchart in FIG 21 described. In step 2110 the viewer looks at a scene, and in step 2120 takes the camera 120 a picture of the scene. The captured image will then be in step 2130 on the display areas 115 the head-mounted see-through display device 100 displayed, which operates in a transparent or semi-transparent mode, so that the viewer sees a combined representation of the displayed image, which overlaps with the see-through view. The viewer then delivers in step 2140 an indication of misalignment between objects in the displayed image and corresponding objects in the see-through view. The indication of the misalignments can be made by a series of finger gestures or by moving the head of the observer, as previously described. The camera 120 will be in step 2150 used to take more pictures of the scene according to the observer's indication of misalignments. Then in step 2160 the captured further pictures in the electronics 125 compared to determine the image settings needed to align the displayed images with the see-through view as seen by the viewer.

Bei einer weiteren Ausführung zeigt der Betrachter Fehlausrichtungen zwischen aufgenommenen Bildern der Szene und der Durchsicht-Ansicht durch eine Kombination von Hand-Gesten und Kopfbewegungen an. Ein oder mehrere zusätzliche Bilder werden aufgenommen und verglichen, um die Bildeinstellungen zu bestimmen, wie zuvor beschrieben wurde.In another embodiment, the viewer displays misalignments between captured images of the scene and the see-through view through a combination of hand gestures and head movements. One or more additional images are captured and compared to determine the image settings, as previously described.

Bei einer weiteren Ausgestaltung enthält die Head-Mounted Durchsicht-Display-Vorrichtung 100 eine GPS-Einrichtung oder ein Magnetometer. Die GPS-Einrichtung liefert Daten bezüglich der aktuellen Position oder früheren Positionen des Head-Mounted Durchsicht-Displays 100. Das Magnetometer liefert Daten bezüglich der aktuellen Richtung und früherer Richtungen der Sichtlinie des Betrachters. Die Daten von der GPS-Einrichtung oder dem Magnetometer oder die Kombination von Daten aus der GPS-Einrichtung und dem Magnetometer werden verwendet, um Objekte in der Szene oder Adressen oder Orte von Objekten in den Bildern zu identifizieren, die von der Kamera 120 aufgenommenen wurden. Durch Ausrichtung des angezeigten Bildes mit der Durchsicht-Ansicht können erweiterte Bildinformation bezüglich der ermittelten Objekte in der kombinierten Ansicht dargestellt werden, die mit den jeweiligen Objekte ausgerichtet sind, so dass diese vom Betrachter wahrgenommen werden.In a further embodiment, the head-mounted transparent display device contains 100 a GPS device or a magnetometer. The GPS device provides data regarding the current position or positions of the head-mounted transparent display 100 , The magnetometer provides data regarding the current direction and previous directions of the line of sight of the observer. The data from the GPS device or the magnetometer or the combination of data from the GPS device and the magnetometer are used to identify objects in the scene or addresses or locations of objects in the images taken by the camera 120 were recorded. By aligning the displayed image with the see-through view, enhanced image information regarding the detected objects in the combined view aligned with the respective objects can be displayed so that they are perceived by the viewer.

Nach dem Ausrichten können erweiterte Bildinformationen mit identifizierten Objekten in der aufgenommenen Bilder und identifizierten Kanten von Objekten in den aufgenommenen Bildern ausgerichtet werden. Darüber hinaus können in Head-Mounted Durchsicht-Display-Vorrichtungen 100, die Kopfortungseinrichtungen enthalten, wie Gyros oder Beschleunigungsmesser, Kopfortungsinformationen verwendet werden, um erweiterte Bildinformationen und die Position von erweiterten Bildinformationen relativ zu Objekten in den angezeigten Bilder auszurichten.After alignment, extended image information can be aligned with identified objects in the captured images and identified edges of objects in the captured images. In addition, in head-mounted see-through display devices 100 which include copying means, such as gyros or accelerometers, copying information, are used to align extended image information and the position of extended image information relative to objects in the displayed images.

22 zeigt ein Flussdiagramm für die Verwendung eines Head-Mounted Durchsicht-Displays 100 mit einer GPS-Einrichtung oder einem Magnetometer, wobei das angezeigte Bild mit der Durchsicht-Ansicht ausgerichtet wurde, wie dies vom Betrachter wahrgenommen wird. In Schritt 2210 werden die GPS-Einrichtung oder das Magnetometer verwendet, um die Position des Betrachters oder der Richtung zu bestimmen, in die der Betrachter schaut. Die Kamera 120 nimmt dann in Schritt 2220 ein Bild von der Szene auf. Die Elektronik 125, die den Prozessors enthält, wird dann verwendet, um das aufgenommene Bild in Schritt 2230 zusammen mit den bestimmten Positions- oder Richtungsinformationen zu analysieren, um Objekten in der Szene zu identifizieren. Die Head-Mounted Durchsicht-Display-Vorrichtung 100 verwendet dann in Schritt 2240 die Peripherie-Elektronik 127, die eine Drahtlos-Verbindung enthält, um festzustellen, ob erweiterte Informationen für die identifizierten Objekte oder die bestimmte Position oder die bestimmte Richtung verfügbar sind. In Schritt 2250 werden verfügbare erweiterte Informationen in Bereichen oder an Stellen oder Positionen des angezeigten Bildes dargestellt, die bei Ausrichtung der Durchsicht-Ansicht den Objekt-Positionen entsprechen. 22 shows a flowchart for the use of a head-mounted transparent display 100 with a GPS device or a magnetometer, with the displayed image aligned with the see-through view, as perceived by the viewer. In step 2210 For example, the GPS device or the magnetometer are used to determine the position of the viewer or the direction the viewer is looking. The camera 120 then take in step 2220 a picture of the scene. The Electronic 125 that contains the processor is then used to step the captured image 2230 analyze along with the particular position or direction information to identify objects in the scene. The head-mounted see-through display device 100 then used in step 2240 the peripheral electronics 127 which contains a wireless connection to determine if extended information is available for the identified objects or the particular location or direction. In step 2250 Available advanced information is displayed in areas or locations or locations of the displayed image that correspond to the object locations when the transparency view is aligned.

Zum Beispiel kann ein Haus in dem aufgenommenen Bild durch die Kombination seiner Form in dem aufgenommenen Bild und aus der GPS-Position sowie der Richtung ermittelt werden, wobei dann die Adresse des Hauses von einer Karte bestimmt werden kann, die im Internet verfügbar ist, und dann kann die Adresse in dem angezeigten Bild dargestellt werden, so dass sie den Bereich der Durchsicht-Ansicht überdeckt, der das Haus enthält (siehe 14A). In einem weiteren Beispiel kann ein Bild von einem Gebäude aufgenommen werden. GPS-Daten und Magnetometer-Daten können verwendet werden, um den ungefähren GPS-Standort des Gebäudes zu bestimmen. Erweiterte Informationen, einschließlich des Namens des Gebäudes und aktuelle Aktivitäten in dem Gebäude können aus Informationen von einem Server in dem Gebäude bestimmt werden, die über Bluetooth übermittelt werden, wenn die GPS-Position und die Richtung, in die der Betrachter schaut, zusammenpassen. Ein angezeigtes Bild mit dem Namen des Gebäudes und eine Liste der laufenden Aktivitäten werden dann in dem Bereich des angezeigten Bildes dargestellt, der der ausgerichteten Position des Gebäudes in der Durchsicht-Ansicht entspricht. Ein erweitertes Bild wird dann dem Betrachter als ein kombiniertes Bild zur Verfügung gestellt, wobei das angezeigte Bild die Durchsicht-Ansicht überdeckt.For example, a house in the captured image can be determined by combining its shape in the captured image and from the GPS position and direction, and then the address of the house can be determined from a map available on the Internet, and then the address in the displayed image can be displayed so that it covers the area of the see-through view that contains the house (see 14A ). In another example, an image may be taken of a building. GPS data and magnetometer data can be used to determine the approximate GPS location of the building. Extended information, including the name of the building and current activity in the building can be determined from information from a server in the building that is transmitted via Bluetooth when the GPS position and the direction the viewer is watching match. A displayed image with the name of the building and a list of current activities are then displayed in the area of the displayed image that corresponds to the aligned position of the building in the see-through view. An expanded image is then provided to the viewer as a combined image, with the displayed image overlapping the see-through view.

Die erweiterten Bilder, die durch diese Verfahren erzeugt werden, können für eine Vielzahl von Anwendungen eingesetzt werden. Bei einer Ausführungsform kann das erweiterte Bild Teil einer Benutzerschnittstelle sein, wobei die erweiterte Bildinformation eine virtuelle Tastatur ist, die mit Fingerbewegungen des Betrachters betätigt werden kann. In diesem Beispiel muss die virtuelle Tastatur mit der Durchsicht-Ansicht der Finger des Betrachters für den Betrachter auf den gewünschten Tasten ausgerichtet werden. Bei einer anderen Ausführungsform können die Positionen der Objekte mit Hilfe von GPS-Daten oder Magnetometer-Daten bestimmt werden, und die erweiterten Bildinformationen können Werbung oder Namen von Objekten oder Adressen von Objekten sein. Die Objekte können Gebäude, Ausstellungen oder touristischen Attraktionen sein, wobei der Betrachter das erweiterte Bild verwendet, um eine Entscheidung zu treffen, wohin er gehen soll oder was er tun soll. Diese Informationen sollten mit der Durchsicht-Ansicht der Gebäude, Ausstellungen oder Sehenswürdigkeiten ausgerichtet werden.The enhanced images produced by these methods can be used for a variety of applications. In one embodiment, the enhanced image may be part of a user interface, wherein the enhanced image information is a virtual keyboard that includes Finger movements of the viewer can be operated. In this example, the virtual keyboard must be aligned with the viewer's finger-peek view of the viewer's fingers on the desired keys. In another embodiment, the positions of the objects may be determined using GPS data or magnetometer data, and the enhanced image information may be advertisements or names of objects or addresses of objects. The objects may be buildings, exhibitions or tourist attractions, with the viewer using the expanded image to decide where to go or what to do. This information should be aligned with the perusal view of the buildings, exhibitions or attractions.

14A ist eine Darstellung einer kombinierten Ansicht eines erweiterten Realitäts-Bildes, wie es mit dem rechten Auge des Betrachters gesehen wird, wobei ein angezeigtes Etikett 1470 (Adresse) ein Objekt in der Durchsicht-Ansicht überlagert (das Haus) und das angezeigte Etikett 1470 mit dem Objekt ausgerichtet ist. Bei einer weiteren Ausführungsform umfasst das erweiterte Bild Richtungen bzw. verfahrenstechnische Informationen zu den Objekten in der Szene, und die Richtungen oder verfahrenstechnischen Informationen müssen mit den Objekten ausgerichtet werden, so dass der Betrachter eine Operation korrekt durchführen kann. Bei einer anderen Ausführungsform kann das erweiterte Bild eine modifizierte Version der Szene sein, in der Objekte hinzugefügt sind, um ein virtuelles Bild der Szene zu bilden. 14B ist eine Darstellung von einer kombinierten Ansicht eines erweiterten Realitäts-Bildes, wie es mit dem rechten Auge des Betrachters gesehen wird, wobei die erweiterten Bildinformationen die Form von angezeigten Objekten 1475 (Baum und Büsche) haben, die Objekten in der Durchsicht-Ansicht überlagert werden (Auto und Haus), wobei die angezeigten Objekte 1475 mit den Objekten in der Durchsicht-Ansicht ausgerichtet sind. 14A is an illustration of a combined view of an augmented reality image as viewed with the viewer's right eye, with a displayed label 1470 (Address) an object overlaid in the see-through view (the house) and the displayed label 1470 aligned with the object. In another embodiment, the enhanced image includes directions or procedural information about the objects in the scene, and the directions or procedural information must be aligned with the objects so that the viewer can perform an operation correctly. In another embodiment, the enhanced image may be a modified version of the scene in which objects are added to form a virtual image of the scene. 14B Figure 12 is an illustration of a combined view of an augmented reality image as viewed with the viewer's right eye, the augmented image information being the form of displayed objects 1475 (Tree and bushes) have the objects superimposed in the see-through view (car and house), with the displayed objects 1475 are aligned with the objects in the see-through view.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100
Head-Mounted Durchsicht-DisplayHead-mounted transparent display
102102
Linselens
105105
Rahmenframe
110110
durchsichtiger Linsenbereichtransparent lens area
115115
Display-BereichDisplay area
120120
Kameracamera
125125
Elektronik mit ProzessorElectronics with processor
127127
Peripherie-Elektronik mit Drahtlos-Verbindung und BildspeicherPeripheral electronics with wireless connection and image memory
130130
Armepoor
240240
Objekt im angezeigten BildObject in the displayed image
245245
angezeigtes Bild im linken Augedisplayed image in the left eye
250250
angezeigtes Bild im rechten Augedisplayed image in the right eye
342342
Objekt im angezeigten BildObject in the displayed image
425425
Finger des BetrachtersFinger of the viewer
525525
Finger des BetrachtersFinger of the viewer
625625
Finger des BetrachtersFinger of the viewer
725725
Finger des BetrachtersFinger of the viewer
925925
Finger des BetrachtersFinger of the viewer
10251025
Finger des BetrachtersFinger of the viewer
11251125
Finger des BetrachtersFinger of the viewer
12251225
Finger des BetrachtersFinger of the viewer
14701470
angezeigtes Etikettdisplayed label
14751475
angezeigte Objektedisplayed objects
15501550
Markermarker
18501850
Markermarker
21102110
Schritt: Betrachter schaut auf SzeneStep: Viewer looks at scene
21202120
Schritt: Kamera nimmt Bild der Szene aufStep: Camera takes picture of the scene
21302130
Schritt: Anzeigen des aufgenommenen BildesStep: View the captured image
21402140
Schritt: Betrachter liefert eine Angabe bezüglich einer FehlausrichtungStep: Viewer provides an indication of misalignment
21502150
Schritt: Kamera nimmt weitere Bilder entsprechend der Angabe der BetrachtersStep: Camera takes more pictures according to the indication of the viewer
21602160
Schritt: Aufgenommene Bilder werden verglichen, um erforderliche Bildeinstellungen zu bestimmenStep: Recorded images are compared to determine required image settings
21702170
Schritt: Bestimmen von PositionsinformationenStep: Determine position information
22202220
Schritt: Kamera nimmt ein Bild der Szene aufStep: Camera takes a picture of the scene
22302230
Schritt: Analysieren des Bildes, um Objekte zu identifizierenStep: Analyze the image to identify objects
22402240
Schritt: Bestimmen, ob erweiterte Informationen für Objekte verfügbar sindStep: Determine if advanced information is available for objects
22502250
Schritt: Anzeigen von erweiterten Informationen für Objekte in Bereichen des angezeigten Bildes, die mit entsprechenden Objekten in der Durchsicht-Ansicht ausgerichtet sindStep: View extended information for objects in areas of the displayed image that are aligned with corresponding objects in the Review view

Diese Offenbarung erfolgte unter besonderer Bezugnahme auf bestimmte Ausführungsformen, aber es versteht sich, dass Variationen und Modifikationen innerhalb des Schutzbereiche der Erfindung bewirkt werden können.This disclosure has been made with particular reference to particular embodiments, but it is to be understood that variations and modifications may be effected within the scope of the invention.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 7369101 [0006] US 7369101 [0006]
  • US 6753828 [0009] US 6753828 [0009]
  • US 7755667 [0043] US 7755667 [0043]
  • US 7805003 [0052] US 7805003 [0052]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • ”Single point aktive allignment method (SPAAM) for optical see-through HMD calibration for AR” von M. Tuceryan, N. Navab, Proceedings of the IEEE and ACM International Symposium on Augmented Reality, Seiten 149–158, München, Deutschland Oktober 2000 [0008] "Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR" by M. Tuceryan, N. Navab, Proceedings of the IEEE and ACM International Symposium on Augmented Reality, pp. 149-158, Munich, Germany October 2000 [0008]
  • ”Practical solutions for Calibration of optical see-through devices” von Y. Gene, M. Tuceryan, N. Navab, Proceedings of International Symposium on Mixed and Augmented Reality (ISMAR'02), 169–175, Darmstadt, Deutschland, 2002 [0008] "Practical solutions for calibration of optical see-through devices" by Y. Gene, M. Tuceryan, N. Navab, Proceedings of International Symposium on Mixed and Augmented Reality (ISMAR'02), 169-175, Darmstadt, Germany, 2002 [ 0008]

Claims (17)

Verfahren zum Bereitstellen eines erweiterten Bildes in einer Head-Mounted Durchsicht-Display-Vorrichtung, die eine Kamera enthält, mit: Aufnehmen eines ersten Bildes einer Szene mit der Kamera, wobei die Szene Objekte enthält; Anzeigen des ersten Bildes für einen Betrachter; Aufnehmen von einem oder mehreren zusätzlichen Bildern der Szene mit der Kamera, in denen der Betrachter eine Fehlausrichtung zwischen dem angezeigten ersten Bild und eine Durchsicht-Ansicht der Szene angibt; Vergleichen der aufgenommenen Bilder, um eine Bildeinstellung zu bestimmen, um entsprechende Objekte in dem ersten Bild mit den Objekten in der Durchsicht-Ansicht der Szene auszurichten; Bereitstellung von erweiterten Bildinformationen; Anwenden der bestimmten Bildeinstellungen auf die erweiterten Bildinformationen; und Anzeigen der erweiterten Bildinformationen, so dass der Betrachter ein erweitertes Bild sieht, das die erweiterten Bildinformationen enthält, das der Durchsicht-Ansicht überlagert ist.A method of providing an enhanced image in a head-mounted transparent display device including a camera, comprising: Taking a first image of a scene with the camera, the scene containing objects; Displaying the first image to a viewer; Taking one or more additional images of the scene with the camera, in which the viewer indicates a misalignment between the displayed first image and a see-through view of the scene; Comparing the captured images to determine an image adjustment to align corresponding objects in the first image with the objects in the review view of the scene; Provision of extended image information; Applying the specified image settings to the expanded image information; and Displaying the expanded image information so that the viewer sees an expanded image containing the extended image information superimposed on the see-through view. Verfahren nach Anspruch 1, wobei die Bildeinstellung eine Quer-Verschiebung, eine Längs-Verschiebung oder eine Größenänderung umfasst.The method of claim 1, wherein the image adjustment comprises a lateral shift, a longitudinal shift, or a resize. Verfahren nach Anspruch 1, wobei der Betrachter die Fehlausrichtung durch eine Hand-Geste angibt, die in dem einen oder den mehreren zusätzlichen Bildern der Szene aufgenommen ist.The method of claim 1, wherein the viewer indicates the misalignment by a hand gesture captured in the one or more additional images of the scene. Verfahren nach Anspruch 1, wobei die Betrachter die Fehlausrichtung durch Bewegen seines Kopfes in den aufgenommenen Bildern angibt.The method of claim 1, wherein the viewer indicates the misalignment by moving his head in the captured images. Verfahren nach Anspruch 1, wobei die Betrachter Fehlausrichtungen an zwei oder mehr verschiedenen Positionen in der Durchsicht-Ansicht der Szene angibt.The method of claim 1, wherein the viewer indicates misalignments at two or more different positions in the review view of the scene. Verfahren nach Anspruch 1, außerdem mit: Aufnehmen eines weiteren Bildes einer Szene mit der Kamera; Analysieren des weiteren Bildes, um die Positionen von Objekten in der Szene zu identifizieren; und Bereitstellen von erweiterten Bildinformationen unter Verwendung der bestimmten Bildeinstellungen, so dass die erweiterten Bildinformationen mit Objekten in der Szene ausgerichtet sind.The method of claim 1, further comprising: Taking another picture of a scene with the camera; Analyzing the further image to identify the locations of objects in the scene; and Providing enhanced image information using the determined image settings such that the enhanced image information is aligned with objects in the scene. Verfahren nach Anspruch 6, außerdem mit: Identifizieren der Objekte.The method of claim 6, further comprising: identifying the objects. Verfahren nach Anspruch 7, wobei die erweiterten Bildinformationen mit den Objekten in der Szene in Beziehung stehen.The method of claim 7, wherein the enhanced image information relates to the objects in the scene. Verfahren nach Anspruch 1, außerdem mit: Aufnehmen eines weiteren Bildes der Szene; Analysieren des weiteren Bildes und Verwenden der bestimmten Bildeinstellung, um die Positionen der Objekte in der Durchsicht-Ansicht zu bestimmen; Bereitstellung von erweiterten Bildinformationen; Anwenden der bestimmten Bildeinstellung auf die erweiterten Bildinformationen; Anzeigen der erweiterten Bildinformation, so dass der Betrachter ein anderes erweitertes Bild sieht, das die erweiterten Bildinformationen enthält, das der Durchsicht-Ansicht überlagert ist; und Wiederholen dieser Schritte für weitere andere Bilder, um ein erweitertes Video zur Verfügung zu stellen.The method of claim 1, further comprising: Taking a further picture of the scene; Analyzing the further image and using the determined image adjustment to determine the positions of the objects in the see-through view; Provision of extended image information; Applying the determined image setting to the expanded image information; Displaying the expanded image information so that the viewer sees another enhanced image containing the enhanced image information superimposed on the see-through view; and Repeat these steps for more other images to provide an enhanced video. Verfahren nach Anspruch 9, wobei die Head-Mounted Durchsicht-Display-Vorrichtung außerdem einen GPS-Sensor oder ein Magnetometer aufweist, wobei die Positionen von Objekten zusätzlich durch Verwendung von Daten bestimmt werden, die von dem GPS-Sensor oder von dem Magnetometer zur Verfügung gestellt werden.The method of claim 9, wherein the head-mounted transparent display device further comprises a GPS sensor or a magnetometer, wherein the positions of objects are additionally determined by using data provided by the GPS sensor or the magnetometer be put. Verfahren nach Anspruch 9, wobei die Head-Mounted Durchsicht-Display-Vorrichtung außerdem ein Gyroskop oder einen Beschleunigungsmesser aufweist, wobei die Positionen von Objekten zusätzlich durch Verwendung von Daten bestimmet werden, die von dem Gyroskop oder dem Beschleunigungsmesser zur Verfügung gestellt werden.The method of claim 9, wherein the head-mounted transparent display device further comprises a gyroscope or an accelerometer, wherein the positions of objects are additionally determined by use of data provided by the gyroscope or the accelerometer. Verfahren nach Anspruch 1, wobei das erweiterte Bild ein Teil von einer Benutzerschnittstelle ist.The method of claim 1, wherein the enhanced image is part of a user interface. Verfahren nach Anspruch 8, wobei das erweiterte Bild Anweisungen enthält.The method of claim 8, wherein the enhanced image includes instructions. Verfahren nach Anspruch 8, wobei das erweiterte Bild Namen oder Adressen von Objekten enthält.The method of claim 8, wherein the enhanced image includes names or addresses of objects. Verfahren nach Anspruch 1, wobei der Betrachter die Fehlausrichtung durch eine Kombination von Hand-Gesten und Kopfbewegungen angibt.The method of claim 1, wherein the viewer indicates the misalignment by a combination of hand gestures and head movements. Verfahren nach Anspruch 9, wobei das Aufnehmen der zusätzlichen anderen Bildern der Szene und das Analysieren der zusätzlichen anderen Bilder durchgeführt wird, wenn eine Bewegung des Betrachters erfasst wird.The method of claim 9, wherein the taking of the additional other images of the scene and the analyzing of the additional other images is performed when a movement of the viewer is detected. Verfahren nach Anspruch 1, wobei für den Betrachter Anweisungen angezeigt werden.The method of claim 1, wherein instructions are displayed to the viewer.
DE112012001022T 2011-02-28 2012-01-25 Alignment control in a head-worn augmented reality device Withdrawn DE112012001022T5 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/037,324 US20110214082A1 (en) 2010-02-28 2011-02-28 Projection triggering through an external marker in an augmented reality eyepiece
USUS-13/037,335 2011-02-28
USUS-13/037,324 2011-02-28
US13/037,335 US20110213664A1 (en) 2010-02-28 2011-02-28 Local advertising content on an interactive head-mounted eyepiece
PCT/US2012/022568 WO2012118575A2 (en) 2011-02-28 2012-01-25 Alignment control in an augmented reality headpiece

Publications (1)

Publication Number Publication Date
DE112012001022T5 true DE112012001022T5 (en) 2013-12-19

Family

ID=46758533

Family Applications (2)

Application Number Title Priority Date Filing Date
DE112012001032.9T Withdrawn DE112012001032T5 (en) 2011-02-28 2012-01-25 Lighting control in displays to be worn on the head
DE112012001022T Withdrawn DE112012001022T5 (en) 2011-02-28 2012-01-25 Alignment control in a head-worn augmented reality device

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE112012001032.9T Withdrawn DE112012001032T5 (en) 2011-02-28 2012-01-25 Lighting control in displays to be worn on the head

Country Status (3)

Country Link
CA (2) CA2828407A1 (en)
DE (2) DE112012001032T5 (en)
WO (2) WO2012118573A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217923A1 (en) 2017-10-09 2019-04-11 Audi Ag Method for operating a display device in a motor vehicle

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
GB2468997A (en) 2008-01-22 2010-09-29 Univ Arizona State Head-mounted projection display using reflective microdisplays
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9244277B2 (en) 2010-04-30 2016-01-26 The Arizona Board Of Regents On Behalf Of The University Of Arizona Wide angle and high resolution tiled head-mounted display device
NZ627582A (en) 2012-01-24 2016-11-25 Univ Arizona State Compact eye-tracked head-mounted display
EP2910022B1 (en) 2012-10-18 2023-07-12 The Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
KR20140090552A (en) 2013-01-09 2014-07-17 엘지전자 주식회사 Head Mounted Display and controlling method for eye-gaze calibration
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
JP6630465B2 (en) 2014-03-05 2020-01-15 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ Wearable 3D augmented reality display with variable focus and / or object recognition
CN106104353B (en) * 2014-03-18 2019-12-06 3M创新有限公司 Low profile image combiner for near-eye displays
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9965030B2 (en) * 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
WO2016133886A1 (en) * 2015-02-17 2016-08-25 Osterhout Group, Inc. See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
CN107530034A (en) 2015-03-16 2018-01-02 奇跃公司 Augmented reality pulse oximetry
JP6892213B2 (en) 2015-04-30 2021-06-23 ソニーグループ株式会社 Display device and initial setting method of display device
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10739578B2 (en) 2016-08-12 2020-08-11 The Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
CN114935863A (en) 2017-02-23 2022-08-23 奇跃公司 Display system with variable power reflector
US10495895B2 (en) * 2017-06-14 2019-12-03 Varjo Technologies Oy Display apparatus and method of displaying using polarizers
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
CN107422481A (en) * 2017-08-07 2017-12-01 杭州太若科技有限公司 Apparatus and method for realizing augmented reality
CN107589546A (en) * 2017-10-23 2018-01-16 北京小米移动软件有限公司 Optical system and augmented reality glasses
CN109991744B (en) * 2018-01-02 2020-12-01 京东方科技集团股份有限公司 Display device, display method, and head-up display device
CN110146978A (en) * 2018-02-12 2019-08-20 杭州太若科技有限公司 AR display device and wearable AR equipment
CN108681068B (en) 2018-02-12 2023-03-21 优奈柯恩(北京)科技有限公司 AR display device and wearable AR equipment
CN110537133A (en) * 2018-02-12 2019-12-03 优奈柯恩(北京)科技有限公司 Wearable AR system, AR show equipment and its projection source mould group
WO2019182592A1 (en) 2018-03-22 2019-09-26 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods of rendering light field images for integral-imaging-based light filed display
CN109387942A (en) * 2018-03-28 2019-02-26 深圳惠牛科技有限公司 A kind of optical system and augmented reality equipment
WO2019226269A2 (en) 2018-04-24 2019-11-28 Mentor Acquisition One, Llc See-through computer display systems with vision correction and increased content density
CN108594441A (en) * 2018-07-04 2018-09-28 王锐 A kind of optical system
CN108572457A (en) * 2018-07-12 2018-09-25 王锐 A kind of optical presentation system
CN108681073A (en) * 2018-07-17 2018-10-19 王锐 A kind of augmented reality optical presentation system
US11749142B2 (en) 2018-12-04 2023-09-05 Telefonaktiebolaget Lm Ericsson (Publ) Optical see-through viewing device and method for providing virtual content overlapping visual objects
CN112051671B (en) * 2019-06-06 2023-10-13 舜宇光学(浙江)研究院有限公司 Near-eye display optical machine, near-eye display method and near-eye display equipment
CN111290125A (en) * 2020-03-31 2020-06-16 优奈柯恩(北京)科技有限公司 Optical device and head-mounted apparatus
CN111474715A (en) * 2020-04-23 2020-07-31 歌尔股份有限公司 Optical system and augmented reality device
WO2022122145A1 (en) * 2020-12-09 2022-06-16 Innotonix Gmbh Increased optical performance of head-mounted displays inside laser safety eyewear
WO2023131980A1 (en) * 2022-01-07 2023-07-13 Tesseract Imaging Limited Apparatus for viewing optical images and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753828B2 (en) 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US7369101B2 (en) 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US7805003B1 (en) 2003-11-18 2010-09-28 Adobe Systems Incorporated Identifying one or more objects within an image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5151722A (en) * 1990-11-05 1992-09-29 The Johns Hopkins University Video display on spectacle-like frame
US5625765A (en) * 1993-09-03 1997-04-29 Criticom Corp. Vision systems including devices and methods for combining images for extended magnification schemes
JPH08136852A (en) * 1994-11-02 1996-05-31 Olympus Optical Co Ltd Optical device having eyepiece optical system
JPH09219832A (en) * 1996-02-13 1997-08-19 Olympus Optical Co Ltd Image display
EP0825470B1 (en) * 1996-03-11 2005-08-03 Seiko Epson Corporation Head-mounted display
US7898504B2 (en) * 2007-04-06 2011-03-01 Sony Corporation Personal theater display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753828B2 (en) 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US7369101B2 (en) 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
US7805003B1 (en) 2003-11-18 2010-09-28 Adobe Systems Incorporated Identifying one or more objects within an image
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Practical solutions for Calibration of optical see-through devices" von Y. Gene, M. Tuceryan, N. Navab, Proceedings of International Symposium on Mixed and Augmented Reality (ISMAR'02), 169-175, Darmstadt, Deutschland, 2002
"Single point aktive allignment method (SPAAM) for optical see-through HMD calibration for AR" von M. Tuceryan, N. Navab, Proceedings of the IEEE and ACM International Symposium on Augmented Reality, Seiten 149-158, München, Deutschland Oktober 2000

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217923A1 (en) 2017-10-09 2019-04-11 Audi Ag Method for operating a display device in a motor vehicle
WO2019072481A1 (en) 2017-10-09 2019-04-18 Audi Ag Method for operating a display device in a motor vehicle
US11100718B2 (en) 2017-10-09 2021-08-24 Audi Ag Method for operating a display device in a motor vehicle
EP3955046A1 (en) 2017-10-09 2022-02-16 Audi Ag Method for operating a display device in a motor vehicle
US11836864B2 (en) 2017-10-09 2023-12-05 Audi Ag Method for operating a display device in a motor vehicle

Also Published As

Publication number Publication date
WO2012118575A3 (en) 2013-03-14
CA2828413A1 (en) 2012-09-07
WO2012118575A2 (en) 2012-09-07
WO2012118573A1 (en) 2012-09-07
DE112012001032T5 (en) 2014-01-30
CA2828407A1 (en) 2012-09-07

Similar Documents

Publication Publication Date Title
DE112012001022T5 (en) Alignment control in a head-worn augmented reality device
DE112018001655B4 (en) Display device and moving body with the display device
DE102009037835B4 (en) Method for displaying virtual information in a real environment
EP3410405A1 (en) Method for representing virtual information in a view of a real environment
DE60313412T2 (en) Video overlay device and method
DE112016004114T5 (en) STEREO RENDERING SYSTEM
DE102011115739A1 (en) Method for integrating virtual objects in vehicle displays
DE112015005721T5 (en) ELECTIVE PAIRWISE ASSIGNING AN APPLICATION TO A PHYSICAL DISPLAY SET OUT IN A VIRTUAL FIELD
DE102007023506A1 (en) Method for displaying image objects in a virtual three-dimensional image space
DE102014006732B4 (en) Image overlay of virtual objects in a camera image
EP2977961B1 (en) Method and communication device for creating and/or editing virtual objects
DE112017006836T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING AND PROGRAM
WO2009062492A2 (en) Method for representing image objects in a virtual three-dimensional image space
DE102014204800A1 (en) Method and apparatus for providing a graphical user interface in a vehicle
DE112016004269T5 (en) METHODS, SYSTEMS AND MEDIA FOR PRESENTING INTERACTIVE ELEMENTS WITHIN VIDEO CONTENT
DE102017109021B4 (en) System for stereoscopic visualization of an object area and object area visualization method
DE102018209377A1 (en) A method of presenting AR / VR content on a mobile terminal and mobile terminal presenting AR / VR content
DE102006006001B3 (en) Method and arrangement for inserting location-related information into a visual representation or view of a scene
EP2232331B1 (en) Device for helping the capture of images
DE112017001660T5 (en) Data processing device, data processing method and computer readable medium
DE102013016241A1 (en) Method and device for augmented presentation
DE102016105731A1 (en) Context-based graphical user interface (GUI) shading
DE102012213132B4 (en) Method and device for the fusion of camera images of at least two vehicles
DE102020104415A1 (en) MOVEMENT IN AN ENVIRONMENT
DE102019133659A1 (en) Electronic device, control method, program and computer readable medium

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: UEXKUELL & STOLBERG, DE

R081 Change of applicant/patentee

Owner name: MICROSOFT CORPORATION, US

Free format text: FORMER OWNER: OSTERHOUT GROUP, INC., SAN FRANCISCO, US

Effective date: 20140212

Owner name: MICROSOFT CORPORATION, REDMOND, US

Free format text: FORMER OWNER: OSTERHOUT GROUP, INC., SAN FRANCISCO, CALIF., US

Effective date: 20140212

Owner name: MICROSOFT TECHNOLOGY LICENSING, LLC, REDMOND, US

Free format text: FORMER OWNER: OSTERHOUT GROUP, INC., SAN FRANCISCO, CALIF., US

Effective date: 20140212

R082 Change of representative

Representative=s name: UEXKUELL & STOLBERG, DE

Effective date: 20140212

Representative=s name: OLSWANG GERMANY LLP, DE

Effective date: 20140212

R082 Change of representative

Representative=s name: OLSWANG GERMANY LLP, DE

R082 Change of representative

Representative=s name: OLSWANG GERMANY LLP, DE

R081 Change of applicant/patentee

Owner name: MICROSOFT TECHNOLOGY LICENSING, LLC, REDMOND, US

Free format text: FORMER OWNER: MICROSOFT CORPORATION, REDMOND, WASH., US

Effective date: 20150219

R082 Change of representative

Representative=s name: OLSWANG GERMANY LLP, DE

Effective date: 20141202

Representative=s name: OLSWANG GERMANY LLP, DE

Effective date: 20150219

R005 Application deemed withdrawn due to failure to request examination