WO2008145169A1 - Mobile device and method for virtual retinal display - Google Patents

Mobile device and method for virtual retinal display Download PDF

Info

Publication number
WO2008145169A1
WO2008145169A1 PCT/EP2007/004843 EP2007004843W WO2008145169A1 WO 2008145169 A1 WO2008145169 A1 WO 2008145169A1 EP 2007004843 W EP2007004843 W EP 2007004843W WO 2008145169 A1 WO2008145169 A1 WO 2008145169A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
user
image
pose
face
Prior art date
Application number
PCT/EP2007/004843
Other languages
German (de)
French (fr)
Inventor
Thomas Grosch
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to PCT/EP2007/004843 priority Critical patent/WO2008145169A1/en
Publication of WO2008145169A1 publication Critical patent/WO2008145169A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera

Definitions

  • the invention relates to a mobile device and a method for projecting an image on a retina of a user by means of a projection unit.
  • US 2007/0052672 A1 discloses a device for virtual retinal display (VNA) in the form of spectacles.
  • VNA virtual retinal display
  • a raster image can be projected directly onto the retina of a user's eye so that the user sees the raster image as projected onto a screen floating in the air in front of it.
  • the projection unit used for the display is rigidly coupled with respect to its position and position to the retina of the user.
  • tracking methods are known with which the position and position of a user or of a user-carried camera can be compared with respect to the real one he is considering Environment can be determined.
  • a method is known in which the position and orientation of a camera is determined by means of a video sequence recorded by the camera by means of electronic image processing.
  • the invention has for its object to provide a virtual retina display with a mobile device whose position and position is variable with respect to the user.
  • a mobile device having a tracking system for continuously determining the pose of the mobile device with respect to a user, a projection unit for projecting an image on a retina of a user, and
  • Control means for controlling the projection unit in accordance with the pose determined by the tracking system such that the image can be projected onto the retina.
  • the object is achieved by a method for projecting an image onto a retina of a user by means of a projection unit integrated in a mobile device, in which a tracking system of the mobile device continuously detects the pose of the mobile device with respect to the user, and the projection unit is controlled in accordance with the pose determined by the tracking system so that the image can be projected onto the retina.
  • the pose is understood as the combination of position and orientation in three-dimensional space. Accordingly, the position and orientation of the mobile device with respect to the user is understood here and in the entire document under the pose.
  • the invention is based on the recognition that a virtual retina display with a mobile device, which in no way rigid with a Eye of the user can be realized, if the position and orientation of the mobile device with respect to the user or its retina are constant. Since the position and the orientation can be changed during the display due to the mobile character of the device according to the invention, the pose is continuously detected with the aid of the tracking system. As soon as the pose changes, eg in which the user turns the mobile device or leads away from it, this is detected by the tracking system. With the help of the control means, this pose change is compensated, so that the image to be displayed can continue to be projected onto the retina of the user.
  • the mobile device is enabled to detect movements that it itself performs with respect to the user in three dimensions and to compensate for them with the aid of the control means. In this way, it is possible to dispense with the fixed positioning of the projection unit for the virtual retina display relative to the eye of the user.
  • the invention enables the incorporation of virtual retinal displays into any portable device, such as a mobile device. Mobile phones, PDAs, laptops, mobile control panels, etc.
  • the tracking system can use various tracking algorithms known, for example, from the area of augmented reality, in order to continuously determine the position and position of the mobile device in relation to the user.
  • the mobile device comprises a camera for recording the user's face and the mobile device has image recognition means for determining image features on the basis of the image.
  • the pose of the mobile device with respect to the user can be determined with the aid of image processing methods, such as those used in so-called markerless tracking in the augmented reality environment.
  • the mobile device has a display for simultaneously displaying the image characteristics and the face detected by means of the camera. In this way, the user is able to first put the mobile device in a so-called initial pose. Here it is assumed that the user has first created an image of his face with the help of the camera. Based on this image, the said image features are determined.
  • the camera first uses the camera to recapture his face and display it on the screen.
  • the previously extracted image features are shown in the display. The user now has the opportunity to change the mobile device in its position and its position until the image features are brought into line with the captured by the camera image of his face. Once this has been done, it is ensured that the mobile device is again almost in the initial position at which the user's face was first recorded.
  • the projection unit is set so that it can project the image onto the user's retina when the initial pose is taken, subsequent changes in the pose can be compensated with the aid of the tracking system as described above.
  • the subsequent continuous compensation of a Posen- change after the mobile device has been brought into the initial pose can be implemented in an advantageous embodiment of the invention in that the camera is designed for continuous detection of the face during the continuous determination of the pose and the tracking system Image processing means for continuously determining the pose by comparing the image features and the continuously detected face comprises.
  • the tracking system comprises motion sensors for the continuous determination of the pose.
  • the mobile device is designed as a mobile phone.
  • a mobile telephone which is equipped with the retina projection possibility according to the invention can take into account in an outstanding manner the general user wish of a portable device which is as small and handy as possible, nevertheless with good display characteristics.
  • the projection unit for the projection of the image is formed on both retinae of the user, so that the user can perceive the image 3-dimensionally.
  • the projection unit for the projection of the image is formed on both retinae of the user, so that the user can perceive the image 3-dimensionally.
  • the figure shows schematically a method in which an image is projected onto a retina of a user 2 with the aid of a mobile device 1 designed as a mobile telephone.
  • the mobile device 1 or the mobile phone comprises a
  • Projection unit 3 which is integrated in the mobile phone. Since the mobile phone is not in a fixed position to the eye of the user 2, it must be able to determine the position and the viewing direction of the user 2. This is done by using a markerless tracking method, as explained below.
  • a tracking system is implemented which uses features relevant to the tracking from the face of the user 2.
  • the user 2 has to take a picture of his face once with a camera integrated in the mobile device 1.
  • the mobile device 1 uses image processing algorithms known from the prior art to determine characteristic image features that can be used for later tracking.
  • the image features 4 are displayed in a conventional display of the mobile device 1.
  • the projection unit 3 of the mobile device 1 is calibrated so that it can project into a retina of the user in the pose in which the user 2 once takes the image of his face.
  • the user wants to use the mobile device 1 for virtual retina display, he will in turn record his face with the help of installed in the mobile device 1 camera. At this stage, his face is continuously picked up by the camera.
  • the image of its continuously recorded face is displayed together with the previously determined image features.
  • the user 2 now manually brings the mobile device 1 in the pose, in which the displayed image features are with his recorded face on the conventional display in cover. Once this has been done, it is ensured that the mobile device is again in the initial pose, in which the projection unit can project the image to be displayed onto the retina of the user 2. Subsequently, poses changes can be compensated with the help of the tracking system such that the virtual retina display continues to hit the user retina.
  • the distance of the mobile device 1 to the eye of the user can be determined optically based on the lens settings and the geometry of the camera. If the If the mobile device 1 leads the mobile device 1 farther away from its eye, the focal length of the camera objective can be adjusted in such a way that the image acquired by the user 2 continues to coincide with the superimposed image features. In turn, it is possible to draw conclusions about the extent to which the projection needs to be changed so that it can continue to project onto the retina of the user 2.
  • Movements of the mobile device 1 itself can be detected by a sensor installed in the mobile device 1.
  • the projection unit can be adapted to the movements performed by the mobile device 1 and thus compensate for them.
  • the user is projected a stable image on the retina, even if the distance to the mobile device 1 changes or the mobile device 1 itself changes its position or orientation.

Abstract

The invention relates to a mobile device (1) and a method for projection of an image onto a user's (2) retina. In order to allow a virtual retinal display with a mobile device (1), wherein the position and orientation of said device relative to the user (2) can be modified, the invention proposes that the orientation of the mobile device (1) relative to the user (2) be continuously determined by means of a tracking system belonging to the mobile device (1) and the projection unit (3) be controlled corresponding to the orientation determined by the tracking system in such a manner that the image can be projected onto the retina.

Description

Beschreibungdescription
Mobiles Gerät und Verfahren zur virtuellen NetzhautanzeigeMobile device and method for virtual retinal display
Die Erfindung betrifft ein mobiles Gerät und ein Verfahren zur Projektion eines Bildes auf eine Netzhaut eines Anwenders mit Hilfe einer Projektionseinheit.The invention relates to a mobile device and a method for projecting an image on a retina of a user by means of a projection unit.
Durch die zunehmende Miniaturisierung verbreiten sich mobile Geräte mit visuellen Wiedergabemöglichkeiten im weiter. Mobiltelefone, PDA's sowie mobile Navigationssysteme besitzen in der Regel Displays, die auf der LCD-Technik basieren und an die immer höhere Anforderungen hinsichtlich ihrer Wiedergabeeigenschaften gestellt werden. Auf der einen Seite be- steht der Wunsch, diese tragbaren Geräte möglichst klein zu gestalten. Auf der anderen Seite sollen immer komplexere Grafiken oder Videos mit Hilfe der in den mobilen Geräten eingebauten Displays dargestellt werden. Da jedoch bei kompakten Geräten in der Regel nur einige wenige Quadratzentimeter Flä- che für die Bilddarstellung zur Verfügung stehen, stößt man bei dem Wunsch, die Qualität der Wiedergabe zu verbessern, sehr schnell an praktische Grenzen.Due to the increasing miniaturization, mobile devices with visual reproduction possibilities are spreading further. Mobile phones, PDAs and mobile navigation systems usually have displays that are based on the LCD technology and are increasingly demanding in terms of their playback characteristics. On the one hand, there is a desire to make these portable devices as small as possible. On the other hand, increasingly complex graphics or videos are displayed using the built-in mobile devices displays. However, with compact devices usually only a few square centimeters of surface area available for image display, the desire to improve the quality of playback quickly reaches practical limits.
Aus US 2007/0052672 Al ist ein in Form einer Brille ausge- führtes Gerät zur virtuellen Netzhautanzeige (VNA) bekannt. Mit einem solchen Gerät kann ein Rasterbild direkt auf die Netzhaut des Auges eines Anwenders projiziert werden, so dass der Anwender das Rasterbild sieht, als wäre es auf eine Leinwand projiziert, die vor ihm in der Luft schwebt. Dadurch, dass die Vorrichtung zur virtuellen Netzhautanzeige in Form einer Brille ausgeführt ist, ist die für die Anzeige verwendete Projektionseinheit hinsichtlich ihrer Lage und Position starr mit der Netzhaut des Benutzers gekoppelt.US 2007/0052672 A1 discloses a device for virtual retinal display (VNA) in the form of spectacles. With such a device, a raster image can be projected directly onto the retina of a user's eye so that the user sees the raster image as projected onto a screen floating in the air in front of it. By virtue of the fact that the device for the virtual retina display is designed in the form of spectacles, the projection unit used for the display is rigidly coupled with respect to its position and position to the retina of the user.
Aus dem Bereich der erweiterten Realität bzw. Augmented Rea- Iity sind sogenannte Trackingverfahren bekannt, mit denen die Position und die Lage eines Anwenders bzw. einer vom Anwender getragenen Kamera in Bezug auf die von ihm betrachtete reale Umgebung bestimmt werden können. So ist beispielsweise aus der US 2003/0012410 Al ein Verfahren bekannt, bei dem die Position und die Orientierung einer Kamera anhand einer von der Kamera aufgenommenen Videosequenz mittels elektronischer Bildverarbeitung bestimmt wird.From the area of augmented reality or augmented reality, so-called tracking methods are known with which the position and position of a user or of a user-carried camera can be compared with respect to the real one he is considering Environment can be determined. For example, from US 2003/0012410 Al a method is known in which the position and orientation of a camera is determined by means of a video sequence recorded by the camera by means of electronic image processing.
Der Erfindung liegt die Aufgabe zugrunde, eine virtuelle Netzhautanzeige mit einem mobilen Gerät zu ermöglichen, dessen Position und Lage in Bezug auf den Anwender veränderbar ist.The invention has for its object to provide a virtual retina display with a mobile device whose position and position is variable with respect to the user.
Diese Aufgabe wird durch ein mobiles Gerät gelöst, mit einem Trackingsystem zur kontinuierlichen Bestimmung der Pose des mobilen Gerätes in Bezug auf einen Anwender, - einer Projektionseinheit zur Projektion eines Bildes auf eine Netzhaut eines Anwenders undThis object is achieved by a mobile device having a tracking system for continuously determining the pose of the mobile device with respect to a user, a projection unit for projecting an image on a retina of a user, and
Steuerungsmittel zur Steuerung der Projektionseinheit entsprechend der vom Trackingsystem bestimmten Pose derart, dass das Bild auf die Netzhaut projizierbar ist.Control means for controlling the projection unit in accordance with the pose determined by the tracking system such that the image can be projected onto the retina.
Ferner wird die Aufgabe durch ein Verfahren zur Projektion eines Bildes auf eine Netzhaut eines Anwenders mittels einer in ein mobiles Gerät integrierten Projektionseinheit gelöst, bei dem - mit einem Trackingsystem des mobilen Gerätes kontinuierlich die Pose des mobilen Gerätes in Bezug auf den Anwender erfasst wird und - die Projektionseinheit entsprechend der vom Trackingsystem bestimmten Pose derart gesteuert wird, dass das Bild auf die Netzhaut projizierbar ist.Furthermore, the object is achieved by a method for projecting an image onto a retina of a user by means of a projection unit integrated in a mobile device, in which a tracking system of the mobile device continuously detects the pose of the mobile device with respect to the user, and the projection unit is controlled in accordance with the pose determined by the tracking system so that the image can be projected onto the retina.
Unter der Pose wird gemäß DIN EN ISO 8373 die Kombination von Position und Orientierung im dreidimensionalen Raum verstanden. Entsprechend wird hier sowie im gesamten Dokument unter der Pose die Position und Orientierung des mobilen Gerätes in Bezug auf den Anwender verstanden. Der Erfindung liegt die Erkenntnis zugrunde, das eine virtuelle Netzhautanzeige mit einem mobilen Gerät, welches in keiner Weise starr mit einem Auge des Anwenders gekoppelt ist, realisiert werden kann, wenn die Position und die Orientierung des mobilen Gerätes in Bezug auf den Anwender bzw. dessen Netzhaut konstant sind. Da die Position und die Orientierung aufgrund des mobilen Cha- rakters des erfindungsgemäßen Gerätes während der Anzeige verändert werden können, wird die Pose mit Hilfe des Tra- ckingsystems kontinuierlich erfasst. Sobald sich die Pose ändert, z.B. in dem der Anwender das mobile Gerät dreht oder weiter von sich wegführt, wird dies vom Trackingsystem er- kannt . Mit Hilfe der Steuerungsmittel wird diese Posenänderung kompensiert, so dass das darzustellende Bild weiterhin auf die Netzhaut des Anwenders projiziert werden kann.According to DIN EN ISO 8373, the pose is understood as the combination of position and orientation in three-dimensional space. Accordingly, the position and orientation of the mobile device with respect to the user is understood here and in the entire document under the pose. The invention is based on the recognition that a virtual retina display with a mobile device, which in no way rigid with a Eye of the user can be realized, if the position and orientation of the mobile device with respect to the user or its retina are constant. Since the position and the orientation can be changed during the display due to the mobile character of the device according to the invention, the pose is continuously detected with the aid of the tracking system. As soon as the pose changes, eg in which the user turns the mobile device or leads away from it, this is detected by the tracking system. With the help of the control means, this pose change is compensated, so that the image to be displayed can continue to be projected onto the retina of the user.
Erfindungsgemäß wird also das mobile Gerät in die Lage ver- setzt, Bewegungen die es selbst in Bezug auf den Anwender ausführt, dreidimensional zu erfassen und diese mit Hilfe der Steuerungsmittel auszugleichen. Auf diese Art und Weise kann auf die fixe Positionierung der Projektionseinheit zur virtuellen Netzhautanzeige relativ zum Auge des Anwenders verzich- tet werden. Somit ermöglicht die Erfindung den Einbau virtueller Netzhautanzeigegeräte in beliebige tragbare Geräte wie z.B. Mobiltelefone, PDA's, Laptops, mobile Bedienpanel, etc..According to the invention, therefore, the mobile device is enabled to detect movements that it itself performs with respect to the user in three dimensions and to compensate for them with the aid of the control means. In this way, it is possible to dispense with the fixed positioning of the projection unit for the virtual retina display relative to the eye of the user. Thus, the invention enables the incorporation of virtual retinal displays into any portable device, such as a mobile device. Mobile phones, PDAs, laptops, mobile control panels, etc.
Das Trackingsystem kann hierbei verschiedene beispielsweise aus dem Bereich der Augmented Reality bekannte Trackingalgo- rithmen verwenden, um kontinuierlich Position und Lage des mobilen Gerätes in Bezug auf den Anwender zu bestimmen.In this case, the tracking system can use various tracking algorithms known, for example, from the area of augmented reality, in order to continuously determine the position and position of the mobile device in relation to the user.
In vorteilhafter Ausgestaltung der Erfindung umfasst das mo- bile Gerät eine Kamera zur Aufnahme des Gesichtes des Anwenders und weist das mobile Gerät Bilderkennungsmittel zur Ermittlung von Bildmerkmalen anhand der Aufnahme auf. Auf diese Art und Weise kann die Pose des mobilen Gerätes in Bezug auf den Anwender mit Hilfe von Bildverarbeitungsverfahren wie sie beispielsweise auch beim sogenannten markerlosen Tracking im Augmented Realitiy Umfeld eingesetzt werden, bestimmt werden. In weiterer vorteilhafter Ausgestaltung weist das mobile Gerät ein Display zur gleichzeitigen Darstellung der Bildmerk- male und des mittels der Kamera erfassten Gesichtes auf . Auf diese Art und Weise ist der Anwender in der Lage, das mobile Gerät zunächst in eine sogenannte Initialpose zu versetzen. Hierbei sei angenommen, dass der Anwender zunächst ein Bild seines Gesichtes mit Hilfe der Kamera erzeugt hat. Anhand dieses Bildes werden die besagten Bildmerkmale ermittelt. Bewegt der Anwender das mobile Gerät anschließend in eine ver- änderte Pose und möchte er im Anschluss daran die virtuelle Netzhautanzeige starten, so wird mit Hilfe der Kamera zunächst sein Gesicht erneut erfasst und auf dem Bildschirm dargestellt. Zusätzlich werden die zuvor extrahierten Bildmerkmale in das Display eingeblendet. Der Anwender hat nun die Möglichkeit, das mobile Gerät derart in seiner Lage und seiner Position zu verändern, bis die Bildmerkmale mit dem von der Kamera erfassten Abbild seines Gesichtes in Deckung gebracht sind. Ist dies geschehen, so ist sichergestellt, dass das mobile Gerät sich wieder annähernd in der Initialpo- se befindet, bei der das Gesicht des Anwenders erstmalig aufgenommen wurde .In an advantageous embodiment of the invention, the mobile device comprises a camera for recording the user's face and the mobile device has image recognition means for determining image features on the basis of the image. In this way, the pose of the mobile device with respect to the user can be determined with the aid of image processing methods, such as those used in so-called markerless tracking in the augmented reality environment. In a further advantageous embodiment, the mobile device has a display for simultaneously displaying the image characteristics and the face detected by means of the camera. In this way, the user is able to first put the mobile device in a so-called initial pose. Here it is assumed that the user has first created an image of his face with the help of the camera. Based on this image, the said image features are determined. If the user subsequently moves the mobile device into an altered pose and then wishes to start the virtual retina display, the camera first uses the camera to recapture his face and display it on the screen. In addition, the previously extracted image features are shown in the display. The user now has the opportunity to change the mobile device in its position and its position until the image features are brought into line with the captured by the camera image of his face. Once this has been done, it is ensured that the mobile device is again almost in the initial position at which the user's face was first recorded.
Unter der Voraussetzung, dass die Projektionseinheit derart eingestellt ist, dass sie bei eingenommener Initialpose das Bild auf die Netzhaut des Anwenders projizieren kann, können nachfolgende Veränderungen der Pose unter Zuhilfenahme des Trackingsystems, wie zuvor beschrieben, kompensiert werden.Given that the projection unit is set so that it can project the image onto the user's retina when the initial pose is taken, subsequent changes in the pose can be compensated with the aid of the tracking system as described above.
Die anschließende kontinuierliche Kompensation einer Posen- Veränderung, nachdem das mobile Gerät in die Initialpose gebracht wurde, können in vorteilhafter Ausgestaltung der Erfindung dadurch umgesetzt werden, dass die Kamera zur kontinuierlichen Erfassung des Gesichtes während der kontinuierlichen Bestimmung der Pose ausgebildet ist und das Tracking- System Bildverarbeitungsmittel zur kontinuierlichen Bestimmung der Pose durch Vergleich der Bildmerkmale und des kontinuierlich erfassten Gesichtes umfasst. Alternativ oder auch zusätzlich zu der zuvor beschriebenen optischen markerlosen PosenbeStimmung ist eine Ausführungsform der Erfindung vorteilhaft, bei der das Trackingsystem Bewegungssensoren zur kontinuierlichen Bestimmung der Pose umfasst.The subsequent continuous compensation of a Posen- change after the mobile device has been brought into the initial pose, can be implemented in an advantageous embodiment of the invention in that the camera is designed for continuous detection of the face during the continuous determination of the pose and the tracking system Image processing means for continuously determining the pose by comparing the image features and the continuously detected face comprises. As an alternative or in addition to the previously described optical markerless pose determination, an embodiment of the invention is advantageous in which the tracking system comprises motion sensors for the continuous determination of the pose.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist das mobile Gerät als Mobiltelefon ausgebildet. Ein Mobiltelefon, welches mit der erfindungsgemäßen Netzhautprojektionsmöglich- keit ausgestattet ist, kann den allgemeinen Anwenderwunsch eines möglichst kleinen und handlichen tragbaren Gerätes mit trotzdem guten Displayeigenschaften in herausragender Art und Weise Rechnung tragen.In a further advantageous embodiment of the invention, the mobile device is designed as a mobile phone. A mobile telephone which is equipped with the retina projection possibility according to the invention can take into account in an outstanding manner the general user wish of a portable device which is as small and handy as possible, nevertheless with good display characteristics.
Im Folgenden wird die Erfindung anhand des in der Figur dargestellten Ausführungsbeispiels näher beschrieben und erläutert.In the following, the invention will be described and explained in more detail with reference to the embodiment shown in the figure.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist die Projektionseinheit zur Projektion des Bildes auf beide Netzhäute des Anwenders ausgebildet ist, so dass der Anwender das Bild 3-dimensional wahrnehmen kann. Für eine 3-dimensionale Wahrnehmung benötigt der Anwender nach heutigem Stand teure und aufwändige Displays oder Spezialbrillen, die durch diese Ausführung der Erfindung nicht mehr notwendig sind.In a further advantageous embodiment of the invention, the projection unit for the projection of the image is formed on both retinae of the user, so that the user can perceive the image 3-dimensionally. For a 3-dimensional perception of the user requires today expensive and complex displays or special glasses, which are no longer necessary by this embodiment of the invention.
Die Figur zeigt schematisch ein Verfahren, bei dem mit Hilfe eines als Mobiltelefon ausgeführten mobilen Gerätes 1 ein Bild auf eine Netzhaut eines Anwenders 2 projiziert wird. Das mobile Gerät 1 bzw. das Mobiltelefon umfasst hierfür eineThe figure shows schematically a method in which an image is projected onto a retina of a user 2 with the aid of a mobile device 1 designed as a mobile telephone. The mobile device 1 or the mobile phone comprises a
Projektionseinheit 3, die in das Mobiltelefon integriert ist. Da das Mobiltelefon nicht in eine fixe Position zum Auge des Anwenders 2 steht, muss es in der Lage sein, die Position und die Blickrichtung des Anwenders 2 zu bestimmen. Dies ge- schieht durch den Einsatz eines markerlosen Trackingverfah- rens, wie im Folgenden erläutert wird. In dem mobilen Gerät 1 ist ein Trackingsystem implementiert, welches für das Tracking relevante Merkmale aus dem Gesicht des Anwenders 2 verwendet . Zunächst muss der Anwender 2 einmalig mit einer im mobilen Gerät 1 integrierten Kamera ein Bild von seinem Gesicht aufnehmen. Aus dem aufgenommenen Bild ermittelt das mobile Gerät 1 mit Hilfe aus dem Stand der Technik bekannter Bildverarbeitungsalgorithmen charakteristische Bildmerkmale, die für das spätere Tracking verwendet werden können. Die Bildmerkmale 4 werden in ein konventionel- les Display des mobilen Gerätes 1 eingeblendet. Die Projektionseinheit 3 des mobilen Gerätes 1 ist so kalibriert, dass sie in der Pose, in der der Anwender 2 einmalig das Bild seines Gesichtes aufnimmt, in eine Netzhaut des Anwenders projizieren kann.Projection unit 3, which is integrated in the mobile phone. Since the mobile phone is not in a fixed position to the eye of the user 2, it must be able to determine the position and the viewing direction of the user 2. This is done by using a markerless tracking method, as explained below. In the mobile device 1, a tracking system is implemented which uses features relevant to the tracking from the face of the user 2. First of all, the user 2 has to take a picture of his face once with a camera integrated in the mobile device 1. From the recorded image, the mobile device 1 uses image processing algorithms known from the prior art to determine characteristic image features that can be used for later tracking. The image features 4 are displayed in a conventional display of the mobile device 1. The projection unit 3 of the mobile device 1 is calibrated so that it can project into a retina of the user in the pose in which the user 2 once takes the image of his face.
Will nun der Anwender das mobile Gerät 1 zur virtuellen Netzhautanzeige nutzen, so wird er wiederum sein Gesicht mit Hilfe der in dem mobilen Gerät 1 installierten Kamera aufnehmen. In dieser Phase wird sein Gesicht kontinuierlich von der Ka- mera aufgenommen.Now, if the user wants to use the mobile device 1 for virtual retina display, he will in turn record his face with the help of installed in the mobile device 1 camera. At this stage, his face is continuously picked up by the camera.
Auf dem konventionellen Display des mobilen Gerätes 1 wird das Abbild seines kontinuierlich aufgenommenen Gesichtes zusammen mit den zuvor bestimmten Bildmerkmalen dargestellt. Der Anwender 2 bringt nun händisch das mobile Gerät 1 in die Pose, in der sich die eingeblendeten Bildmerkmale mit seinem aufgenommenen Gesicht auf dem konventionellen Display in Deckung befinden. Ist dies geschehen, so ist sichergestellt, dass sich das mobile Gerät wieder in der Initialpose befin- det, in der die Projektionseinheit das darzustellende Bild auf die Netzhaut des Anwenders 2 projizieren kann. Anschließend können Posenveränderungen mit Hilfe des Trackingsystems derart ausgeglichen werden, dass die virtuelle Netzhautanzeige auch weiterhin die Anwendernetzhaut trifft.On the conventional display of the mobile device 1, the image of its continuously recorded face is displayed together with the previously determined image features. The user 2 now manually brings the mobile device 1 in the pose, in which the displayed image features are with his recorded face on the conventional display in cover. Once this has been done, it is ensured that the mobile device is again in the initial pose, in which the projection unit can project the image to be displayed onto the retina of the user 2. Subsequently, poses changes can be compensated with the help of the tracking system such that the virtual retina display continues to hit the user retina.
Beispielsweise kann die Entfernung des mobilen Gerätes 1 zum Auge des Benutzers optisch anhand der Objektiveinstellungen und der Geometrie der Kamera ermittelt werden. Wenn der An- wender 2 das mobile Gerät 1 von seinem Auge weiter wegführt, kann die Brennweite des Kameraobjektives derart nachgeführt werden, dass das vom Anwender 2 erfasste Bild weiterhin mit den eingeblendeten Bildmerkmalen in Deckung bleibt. Aus der hierfür notwendigen ObjektiwerStellung kann wiederum darauf rückgeschlossen werden, in wieweit die Projektion verändert werden muss, um weiterhin auf die Netzhaut des Anwenders 2 projizieren zu können.For example, the distance of the mobile device 1 to the eye of the user can be determined optically based on the lens settings and the geometry of the camera. If the If the mobile device 1 leads the mobile device 1 farther away from its eye, the focal length of the camera objective can be adjusted in such a way that the image acquired by the user 2 continues to coincide with the superimposed image features. In turn, it is possible to draw conclusions about the extent to which the projection needs to be changed so that it can continue to project onto the retina of the user 2.
Bewegungen des mobilen Gerätes 1 selbst können über eine im mobilen Gerät 1 verbaute Sensorik erfasst werden. Die Projektionseinheit kann an die vom mobilen Gerät 1 ausgeführten Bewegungen angepasst werden und diese somit kompensieren. Durch die Kombination der beschriebenen Maßnahmen wird dem Benutzer ein stabiles Bild auf die Netzhaut projiziert, auch dann, wenn sich der Abstand zum mobilen Gerät 1 verändert oder das mobile Gerät 1 selbst seine Position oder Orientierung verändert. Movements of the mobile device 1 itself can be detected by a sensor installed in the mobile device 1. The projection unit can be adapted to the movements performed by the mobile device 1 and thus compensate for them. By combining the described measures, the user is projected a stable image on the retina, even if the distance to the mobile device 1 changes or the mobile device 1 itself changes its position or orientation.

Claims

Patentansprüche claims
1. Mobiles Gerät (1) mit1. Mobile device (1) with
- einem Trackingsystem zur kontinuierlichen Bestimmung der Pose des mobilen Gerätes (1) in Bezug auf einen Anwender (2), einer Projektionseinheit (3) zur Projektion eines Bildes auf eine Netzhaut eines Anwenders (2) und Steuerungsmittel zur Steuerung der Projektionseinheit (3) entsprechend der vom Trackingsystem bestimmten Pose derart, dass das Bild auf die Netzhaut projizierbar ist.- A tracking system for continuously determining the pose of the mobile device (1) with respect to a user (2), a projection unit (3) for projecting an image on a retina of a user (2) and control means for controlling the projection unit (3) accordingly the pose determined by the tracking system such that the image can be projected onto the retina.
2. Mobiles Gerät (1) nach Anspruch 1, wobei das mobile Gerät (1) eine Kamera zur Aufnahme des Ge- sichtes des Anwenders (2) umfasst und wobei das mobile Gerät (1) Bilderkerkennungsmittel zur Ermittlung von Bildmerkmalen (4) anhand der Aufnahme aufweist.2. Mobile device (1) according to claim 1, wherein the mobile device (1) comprises a camera for receiving the face of the user (2) and wherein the mobile device (1) Bilderkerkennungsmittel for determining image features (4) based on Recording has.
3. Mobiles Gerät (1) nach Anspruch 2, wobei das mobile Gerät (1) ein Display zur gleichzeitigen3. Mobile device (1) according to claim 2, wherein the mobile device (1) has a display for simultaneous
Darstellung der Bildmerkmale (4) und des mittels der Kamera erfassten Gesichtes aufweist.Representation of the image features (4) and the detected by the camera face.
4. Mobiles Gerät (1) nach Anspruch 2 oder 3, wobei die Kamera zur kontinuierlichen Erfassung des Gesichtes während der kontinuierlichen Bestimmung der Pose ausgebildet ist und das Trackingsystem Bildverarbeitungsmittel zur kontinuierlichen Bestimmung der Pose durch Vergleich der Bildmerkmale und des kontinuierlich erfassten Gesichtes umfasst.A mobile device (1) according to claim 2 or 3, wherein the camera is adapted to continuously detect the face during the continuous determination of the pose and the tracking system comprises image processing means for continuously determining the pose by comparing the image features and the continuously detected face.
5. Mobiles Gerät (1) nach einem der vorhergehenden Ansprüche, wobei das Trackingsystem BewegungsSensoren zur kontinuierlichen Bestimmung der Pose umfasst.5. A mobile device (1) according to any one of the preceding claims, wherein the tracking system comprises motion sensors for continuously determining the pose.
6. Mobiles Gerät (1) nach einem der vorhergehenden Ansprüche, wobei das mobile Gerät (1) als Mobiltelefon ausgebildet ist.6. Mobile device (1) according to one of the preceding claims, wherein the mobile device (1) is designed as a mobile phone.
7. Mobiles Gerät (1) nach einem der vorhergehenden Ansprüche, wobei die Projektionseinheit (3) zur Projektion des Bildes auf beide Netzhäute des Anwenders (2) ausgebildet ist, so dass der Anwender (2) das Bild 3-dimensional wahrnehmen kann.7. Mobile device (1) according to one of the preceding claims, wherein the projection unit (3) is designed to project the image onto both retinas of the user (2), so that the user (2) can perceive the image 3-dimensionally.
8. Verfahren zur Projektion eines Bildes auf eine Netzhaut eines Anwenders (2) mittels einer in ein mobiles Gerät (1) integrierten Projektionseinheit (3), bei dem - mit einem Trackingsystem des mobilen Gerätes (1) kontinuierlich die Pose des mobilen Gerätes (1) in Bezug auf den Anwender (2) erfasst wird und die Projektionseinheit (3) entsprechend der vom Trackingsystem bestimmten Pose derart gesteuert wird, dass das Bild auf die Netzhaut projizierbar ist.8. A method for projecting an image on a retina of a user (2) by means of a in a mobile device (1) integrated projection unit (3), in which - with a tracking system of the mobile device (1) continuously the pose of the mobile device (1 ) is detected with respect to the user (2) and the projection unit (3) is controlled in accordance with the pose determined by the tracking system such that the image is projected onto the retina.
9. Verfahren nach Anspruch 8, wobei mit einer Kamera des mobilen Gerätes eine Aufnahme des Gesichtes des Anwenders (2) gemacht wird und Bildmerkmale (4) anhand der Aufnahme ermittelt werden.9. The method of claim 8, wherein with a camera of the mobile device, a recording of the face of the user (2) is made and image features (4) are determined based on the recording.
10. Verfahren nach Anspruch 9, wobei die Bildmerkmale (4) und das mittels der Kamera aufgenommene Gesicht auf einem Display des mobilen Gerätes (1) gemeinsam dargestellt werden.10. The method of claim 9, wherein the image features (4) and the recorded by means of the camera face on a display of the mobile device (1) are displayed together.
11. Verfahren nach Anspruch 9 oder 10, wobei das Gesicht mit der Kamera kontinuierlich während der kontinuierlichen Bestimmung der Pose erfasst wird und die Pose durch Vergleich der Bildmerkmale und des kontinuierlich erfassten Gesichtes bestimmt wird.The method of claim 9 or 10, wherein the face is captured with the camera continuously during the continuous determination of the pose, and the pose is determined by comparing the image features and the continuously detected face.
12. Verfahren nach einem der Ansprüche 8 bis 11, wobei mittels Bewegungssensoren des Trackingsystems kontinuierlich die Pose bestimmt wird.12. The method according to any one of claims 8 to 11, wherein by means of motion sensors of the tracking system, the pose is determined continuously.
13. Verfahren nach einem der Ansprüche 8 bis 12, wobei das Bild auf beide Netzhäute des Anwenders (2) projiziert wird, so dass der Anwender (2) das Bild 3-dimensional wahrnehmen kann . 13. The method according to any one of claims 8 to 12, wherein the image is projected on both retinae of the user (2), so that the user (2) can perceive the image 3-dimensionally.
PCT/EP2007/004843 2007-05-31 2007-05-31 Mobile device and method for virtual retinal display WO2008145169A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/004843 WO2008145169A1 (en) 2007-05-31 2007-05-31 Mobile device and method for virtual retinal display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/004843 WO2008145169A1 (en) 2007-05-31 2007-05-31 Mobile device and method for virtual retinal display

Publications (1)

Publication Number Publication Date
WO2008145169A1 true WO2008145169A1 (en) 2008-12-04

Family

ID=38420629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/004843 WO2008145169A1 (en) 2007-05-31 2007-05-31 Mobile device and method for virtual retinal display

Country Status (1)

Country Link
WO (1) WO2008145169A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5759044A (en) * 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
WO2001008414A1 (en) * 1999-07-22 2001-02-01 Swisscom Mobile Ag Method and corresponding devices for delivering useful data concerning observed objects
US20030234823A1 (en) * 2002-05-17 2003-12-25 Shigemi Sato Image processing apparatus and image processing method, and image processing program and recording medium of the same
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US20060197832A1 (en) * 2003-10-30 2006-09-07 Brother Kogyo Kabushiki Kaisha Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5759044A (en) * 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
WO2001008414A1 (en) * 1999-07-22 2001-02-01 Swisscom Mobile Ag Method and corresponding devices for delivering useful data concerning observed objects
US20030234823A1 (en) * 2002-05-17 2003-12-25 Shigemi Sato Image processing apparatus and image processing method, and image processing program and recording medium of the same
US20060197832A1 (en) * 2003-10-30 2006-09-07 Brother Kogyo Kabushiki Kaisha Apparatus and method for virtual retinal display capable of controlling presentation of images to viewer in response to viewer's motion
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator

Similar Documents

Publication Publication Date Title
DE102014214516A1 (en) Apparatus and method for reproducing data in augmented reality for an occupant of a vehicle
EP2179892A1 (en) Method for automatic calibration of a virtual camera
DE102007030784A1 (en) Surveying device, has processor for calculating external orientation parameters of stereo images, which are produced by imaging device during straight and inverse views in dependent of position of their optical axis relative to target axis
EP3394708A1 (en) Method for operating a virtual reality system, and virtual reality system
DE102016223179A1 (en) Coordinate adjustment device for a head-up display
DE102016212687A1 (en) Method for operating a display device of a motor vehicle
DE102017217592A1 (en) Kinetic-free viewing of digital content in a vehicle
DE102017208806B3 (en) External representation of image recordings of a vehicle interior in a VR glasses
DE102014213285A1 (en) Head-direction-dependent display of content on data glasses
DE102015204745A1 (en) Apparatus and method for rendering data in an augmented reality
DE112020002727T5 (en) VIDEO DISTRIBUTION SYSTEM, VIDEO DISTRIBUTION METHOD AND DISPLAY TERMINAL
DE102015003948A1 (en) Method for operating a arranged in a motor vehicle virtual reality glasses and virtual reality system
DE102014013408A1 (en) Method for displaying environmental information of a vehicle
DE112021003347T5 (en) IMAGE PROCESSING DEVICE, IMAGE DISPLAY SYSTEM, METHOD AND PROGRAM
DE102015012720A1 (en) Interactive operator system and method for performing an operator action in an interactive operator system
DE102014018056A1 (en) Method of operating a virtual reality glasses and virtual reality glasses
EP3129861B1 (en) Determining the pose of a head-mounted display within a vehicle
DE102023002197A1 (en) Method and device for image display for a vehicle
DE102014009699B4 (en) Method for operating a display device and system with a display device
DE102019103360A1 (en) Method and device for operating a display system with data glasses
WO2008145169A1 (en) Mobile device and method for virtual retinal display
EP3271774B1 (en) Device and method for reproducing data in an augmented reality
DE102016225262A1 (en) Method and device for operating a display system with data glasses
DE102012202957B4 (en) display device
DE102020129068A1 (en) Method and device for determining an installation pose of an inertial sensor system in data glasses and data glasses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07725724

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07725724

Country of ref document: EP

Kind code of ref document: A1