DE102014213113A1

DE102014213113A1 - Three-dimensional augmented reality process, especially in the automotive sector

Info

Publication number: DE102014213113A1
Application number: DE102014213113.8A
Authority: DE
Inventors: Johannes Tümler; Christoffer Menk; Jan Jacobs; Eduard Jundt; Sebastian Lampe
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2014-07-07
Filing date: 2014-07-07
Publication date: 2016-01-07

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung eines dreidimensionalen virtuellen Bildbestandteils auf einem transparenten Display sowie ein Verfahren zur Kalibrierung einer Anzeigesteuerung zur Darstellung eines dreidimensionalen virtuellen Bildbestandteils auf einem transparenten Display, das Verfahren umfassend die Schritte:
(a) Bereitstellen zumindest eines realen Markers, wobei dem realen Marker drei Raumkoordinaten zugeordnet sind,
(b) Darstellung zumindest eines virtuellen Markers auf dem transparenten Display, wobei dem virtuellen Marker drei Raumkoordinaten zugeordnet sind,
(c) Ausrichten eines Benutzers des transparenten Displays, so dass der reale Marker und der virtuelle Marker aufeinander liegen oder dass der reale Marker und der virtuelle Marker auf einer Sichtachse des Benutzers des transparenten Displays liegen,
(d) Bestimmung eines optischen Parameters eines Auges des Benutzers des transparenten Displays und/oder Bestimmung der Lage des Auges relativ zum transparenten Display. The invention relates to a method for displaying a three-dimensional virtual image component on a transparent display and to a method for calibrating a display control to display a three-dimensional virtual image component on a transparent display, the method comprising the steps:
(a) providing at least one real marker, wherein three spatial coordinates are assigned to the real marker,
(b) displaying at least one virtual marker on the transparent display, wherein three spatial coordinates are assigned to the virtual marker,
(c) aligning a user of the transparent display so that the real marker and the virtual marker lie on one another, or that the real marker and the virtual marker lie on a viewing axis of the user of the transparent display,
(d) determining an optical parameter of an eye of the user of the transparent display and / or determining the position of the eye relative to the transparent display.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Anzeigesteuerung zur Darstellung eines dreidimensionalen virtuellen Bildbestandteils auf einem transparenten Display. Die Erfindung betrifft weiterhin die Darstellung eines dreidimensionalen virtuellen Bildbestandteils auf einem transparenten Display. Die Erfindung betrifft weiterhin die Herstellung von Kraftfahrzeugen bzw. Kraftfahrzeugkomponenten mittels bzw. unter Verwendung dreidimensionaler virtueller Bildbestandteile. The invention relates to a method for calibrating a display control for displaying a three-dimensional virtual image component on a transparent display. The invention further relates to the representation of a three-dimensional virtual image component on a transparent display. The invention further relates to the production of motor vehicles or motor vehicle components by means of or using three-dimensional virtual image components.

Die DE 10 2011 122 206 A1 offenbart verschiedene Augmented-Reality-Anwendungen sowie ein automatisiertes Verfahren zur Kalibrierung eines Augmented-Reality-Systems. The DE 10 2011 122 206 A1 discloses various augmented reality applications as well as an automated method for calibrating an augmented reality system.

Die DE 11 2004 000 902 T5 offenbart ein Augmented-Reality-System mit einem Referenzgenerator zum Darstellen einer Referenz auf einem Kalibrierungsbildschirm, wobei ein optisches Durchsichtdisplay mit einer festen Position bezüglich des Referenzgenerators und ein virtueller Referenzgenerator zum Anzeigen einer virtuellen Referenz auf dem optischen Durchsichtdisplay vorgesehen sind. Gemäß der DE 11 2004 000 902 T5 ist ein Kalibrierungsprozess vorgesehen, mittels dessen ein Nutzer die Realreferenzen und Virtuellreferenzen ausrichtet und das System einen Satz von 3D-2D-Punktübereinstimmungen aufnimmt, wobei jede der 3D-2D-Punktübereinstimmungen aus den 3D-Koordinaten eines Referenzlichtpunktes und den 2D-Koordinaten eines virtuellen Markierungselements besteht. The DE 11 2004 000 902 T5 discloses an augmented reality system having a reference generator for displaying a reference on a calibration screen, wherein a visual readout display with a fixed position relative to the reference generator and a virtual reference generator for displaying a virtual reference on the optical see-through display are provided. According to the DE 11 2004 000 902 T5 there is provided a calibration process by which a user aligns the real references and virtual references and the system captures a set of 3D 2D point matches, each of the 3D 2D point matches being from the 3D coordinates of a reference spot and the 2D coordinates of a virtual marker consists.

Die US 6 753 828 B2 offenbart ein Verfahren zum Kalibrieren eines stereooptischen Durchsicht-Head-Mounted-Displays. Dabei werden zweidimensionale Bildmarker in jedem von zwei Displays des Stereo-Head-Mounted-Displays generiert. The US Pat. No. 6,753,828 B2 discloses a method for calibrating a stereo optical see-through head-mounted display. Two-dimensional image markers are generated in each of two displays of the stereo head-mounted display.

Ein weiteres Augmented-Reality-System offenbart die US 8 487 838 B2 . Es ist Aufgabe der Erfindung, ein verbessertes Augmented-Reality-Verfahren, insbesondere zum Betrieb in einem Kraftfahrzeug oder zur Herstellung von Kraftfahrzeugen oder Kraftfahrzeugkomponenten, anzugeben. Another augmented reality system reveals the US 8 487 838 B2 , It is an object of the invention to provide an improved augmented reality method, in particular for operation in a motor vehicle or for the production of motor vehicles or motor vehicle components.

Vorgenannte Aufgabe wird durch ein Verfahren zur Kalibrierung einer Anzeigesteuerung zur Darstellung eines dreidimensionalen virtuellen Bildbestandteils auf einem transparenten Display gelöst, wobei das Verfahren zumindest die folgenden Schritte umfasst:

(a) Bereitstellen zumindest eines realen Markers, wobei dem realen Marker drei Raumkoordinaten zugeordnet sind (wobei vorgesehen sein kann, dass die Raumkoordinaten des realen Markers entweder vorab gemessen werden, oder durch ein Trackingsystem erfasst werden),
(b) Darstellung zumindest eines virtuellen Markers auf dem transparenten Display, wobei dem virtuellen Marker drei Raumkoordinaten zugeordnet sind,
(c) Ausrichten eines Benutzers des transparenten Displays, so dass der reale Marker und der virtuelle Marker aufeinander liegen oder dass der reale Marker und der virtuelle Marker auf einer Sichtachse (Sichtstrahl) des Benutzers des transparenten Displays liegen,
(d) (in Abhängigkeit der drei Raumkoordinaten des realen Markers und der drei Raumkoordinaten des virtuellen Markers) Bestimmung eines optischen Parameters eines Auges des Benutzers des transparenten Displays und/oder Bestimmung der Lage des Auges relativ zum transparenten Display und/oder weiterer Kalibrierungsparameter, wie z.B. Elemente einer Transformationsmatrix, (wenn der reale Marker und der virtuelle Marker aufeinander liegen oder wenn der reale Marker und der virtuelle Marker auf der Sichtachse des Benutzers des transparenten Displays liegen).

The aforementioned object is achieved by a method for calibrating a display control for displaying a three-dimensional virtual image component on a transparent display, the method comprising at least the following steps:

(a) providing at least one real marker, wherein three spatial coordinates are assigned to the real marker (it may be provided that the spatial coordinates of the real marker are either measured in advance, or captured by a tracking system),
(b) displaying at least one virtual marker on the transparent display, wherein three spatial coordinates are assigned to the virtual marker,
(c) aligning a user of the transparent display so that the real marker and the virtual marker lie on top of each other or that the real marker and the virtual marker lie on a viewing axis of the user of the transparent display,
(d) (depending on the three spatial coordinates of the real marker and the three spatial coordinates of the virtual marker) determining an optical parameter of an eye of the user of the transparent display and / or determining the position of the eye relative to the transparent display and / or other calibration parameters, such as eg elements of a transformation matrix, (if the real marker and the virtual marker lie on top of each other or if the real marker and the virtual marker lie on the viewing axis of the user of the transparent display).

Ein virtueller Bildbestandteil im Sinne der Erfindung kann alphanumerische Zeichen umfassen oder aus solchen bestehen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann alphanumerische Zeichen sowie einen farblichen Hintergrund für diese Zeichen umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann aus alphanumerische Zeichen in Verbindung mit einem farblichen Hintergrund für diese Zeichen bestehen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Zeichnung sein oder eine solche umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Skizze sein oder eine solche umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann ein Icon sein oder ein solches umfassen. Ein virtueller Bildbestandteil im Sinne der Erfindung kann eine Animation sein oder eine solche umfassen. A virtual image component within the meaning of the invention may comprise or consist of alphanumeric characters. A virtual image component within the meaning of the invention may comprise alphanumeric characters as well as a color background for these characters. A virtual image component within the meaning of the invention can consist of alphanumeric characters in conjunction with a color background for these characters. A virtual image component within the meaning of the invention may be a drawing or include such a drawing. A virtual image component within the meaning of the invention may be a sketch or comprise such a sketch. A virtual image component within the meaning of the invention may be or include an icon. A virtual image component within the meaning of the invention may be or include an animation.

Ein Display im Sinne der Erfindung ist insbesondere ein transparentes oder ein semitransparentes Display. Ein Display im Sinne der Erfindung ist insbesondere ein Matrix-Display. Ein Display im Sinne der Erfindung ist insbesondere ein Display mit einer Mehrzahl bzw. einer Vielzahl individuell ansteuerbarer Pixel. A display according to the invention is in particular a transparent or semi-transparent display. A display according to the invention is in particular a matrix display. A display according to the invention is in particular a display with a plurality or a plurality of individually controllable pixels.

Es ist insbesondere vorgesehen, dass die drei Raumrichtungen des virtuellen Markers zwei Koordinaten umfassen, die die Lage des virtuellen Markers auf dem Display festlegen. Die dritte Raumrichtung ist insbesondere die Tiefenebene bzw. die virtuelle Tiefenebene des virtuellen Markers. Es ist in einem Ausführungsbeispiel vorgesehen, dass der virtuelle Marker nur eine einzige Tiefenebene bzw. Raumtiefe (räumliche Tiefe) umfasst, die insbesondere der Fokusebene entspricht. Gemäß einem anderen Ausführungsbeispiel ist der virtuelle Marker ein dreidimensionaler Körper, der einem als realen Marker vorgesehenen dreidimensionalen Körper entspricht, wobei der dreidimensionale virtuelle Körper Punkte unterschiedlicher (virtueller) Raumtiefe umfasst. In particular, it is provided that the three spatial directions of the virtual marker comprise two coordinates which determine the position of the virtual marker on the display. The third spatial direction is in particular the depth plane or the virtual depth plane of the virtual marker. It is provided in one embodiment that the virtual marker comprises only a single depth plane or spatial depth (spatial depth), which corresponds in particular to the focal plane. According to another In the exemplary embodiment, the virtual marker is a three-dimensional body which corresponds to a three-dimensional body provided as a real marker, the three-dimensional virtual body comprising points of different (virtual) spatial depth.

Das Ausrichten eines Benutzers kann zum Beispiel eine Ausrichtung eines Benutzers gemäß dem SPAAM-Verfahren oder eine Ausrichtung der Blickrichtung gemäß der DE 10 2011 122 206 A1 umfassen. Aligning a user may be, for example, an alignment of a user according to the SPAAM method or an alignment of the viewing direction according to the DE 10 2011 122 206 A1 include.

In weiterhin vorteilhafter Ausgestaltung der Erfindung werden/wird die Raumkoordinaten des virtuellen Markers oder die virtuelle räumliche Tiefe des virtuellen Markers verändert, wobei die Schritte (b) und (c), insbesondere zumindest dreimal, insbesondere zumindest sechsmal, insbesondere zumindest zehnmal, (jeweils mit unterschiedlicher virtueller räumlicher Tiefe des virtuellen Markers), wiederholt oder durchgeführt werden. In a further advantageous embodiment of the invention, the spatial coordinates of the virtual marker or the virtual spatial depth of the virtual marker is / are changed, the steps (b) and (c), in particular at least three times, in particular at least six times, in particular at least ten times, (each with different virtual spatial depth of the virtual marker), repeated or performed.

In weiterhin vorteilhafter Ausgestaltung der Erfindung werden die Schritte (b) und (c) durch folgende Schritte ersetzt:

(e) Bereitstellen zumindest eines zweiten realen Markers, wobei dem zweiten realen Marker drei Raumkoordinaten zugeordnet sind,
(f) Darstellung zumindest eines virtuellen Markers auf dem transparenten Display, wobei dem virtuellen Marker drei Raumkoordinaten zugeordnet sind,
(g) Ausrichten eines Benutzers des transparenten Displays, so dass der reale Marker und der virtuelle Marker auf einer Sichtachse des Benutzers des transparenten Displays liegen, sowie Ausrichten des zweiten realen Markers durch den Benutzer des transparenten Displays, so dass der zweite reale Marker und der virtuelle Marker aufeinander und/oder auf einer Sichtachse liegen.

In a further advantageous embodiment of the invention, steps (b) and (c) are replaced by the following steps:

(e) providing at least one second real marker, wherein three spatial coordinates are assigned to the second real marker,
(f) representation of at least one virtual marker on the transparent display, wherein three spatial coordinates are assigned to the virtual marker,
(g) aligning a user of the transparent display so that the real marker and the virtual marker lie on a visual axis of the user of the transparent display, and aligning the second real marker by the user of the transparent display, so that the second real marker and the virtual markers on each other and / or on a visual axis.

In weiterhin vorteilhafter Ausgestaltung der Erfindung werden/wird die Raumkoordinaten des virtuellen Markers oder die virtuelle räumliche Tiefe des virtuellen Markers verändert, wobei die Schritte (e), (f) und (g), insbesondere zumindest dreimal, insbesondere zumindest sechsmal, insbesondere zumindest zehnmal, (jeweils mit unterschiedlicher virtueller räumlicher Tiefe des virtuellen Markers), wiederholt oder durchgeführt werden. In a further advantageous embodiment of the invention, the spatial coordinates of the virtual marker or the virtual spatial depth of the virtual marker is / are changed, the steps (e), (f) and (g), in particular at least three times, in particular at least six times, in particular at least ten times , (each with different virtual spatial depth of the virtual marker), repeated or performed.

In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst das transparente Display ein Projektionsmodul zur Projektion des virtuellen Bildbestandteils bzw. des virtuellen Markers auf eine semitransparente Fläche des transparenten Displays, wobei das Projektionsmodul einen Bildgenerator und eine Mikrolinsenmatrix umfasst, die im Lichtweg zwischen dem Bildgenerator und der semitransparenten Fläche angeordnet ist. Eine semitransparente Fläche im Sinne der Erfindung kann zum Beispiel eine Oberfläche einer Scheibe bzw. eines semitransparenten Spiegels oder eine Oberfläche eines Prismas sein. Eine Mikrolinsenmatrix im Sinne der Erfindung umfasst insbesondere eine Matrix aus Linsen (mit einer Größe bzw. einem Durchmesser) im Mikrometerbereich. Ein Bildgenerator im Sinne der Erfindung kann zum Beispiel ein LCD-Display, ein OLED-Display oder ein LCOS-Display sein. In a further advantageous embodiment of the invention, the transparent display comprises a projection module for the projection of the virtual image component or the virtual marker on a semi-transparent surface of the transparent display, wherein the projection module comprises an image generator and a microlens matrix, in the light path between the image generator and the semi-transparent surface is arranged. A semitransparent surface according to the invention may, for example, be a surface of a disc or a semi-transparent mirror or a surface of a prism. A microlens matrix according to the invention in particular comprises a matrix of lenses (with a size or a diameter) in the micrometer range. An image generator in the sense of the invention can be, for example, an LCD display, an OLED display or a LCOS display.

Vorgenannte Aufgabe wird zudem durch ein Verfahren zur Darstellung eines dreidimensionalen virtuellen Bildbestandteils auf einem transparenten Display gelöst, wobei vorgesehen ist, dass der dreidimensionale virtuelle Bildbestandteil (mittels einer Anzeigesteuerung)

─ in Abhängigkeit eines gemäß einem vorgenannten Verfahrens zur Kalibrierung einer Anzeigesteuerung bestimmten optischen Parameters eines Auges des Benutzers des transparenten Displays und/oder
─ in Abhängigkeit der gemäß einem vorgenannten Verfahren zur Kalibrierung einer Anzeigesteuerung bestimmten Lage des Auges relativ zum transparenten Display

ausgerichtet dargestellt wird. Es ist insbesondere vorgesehen, dass vorgenannte Kalibrierungsverfahren für eine Mehrzahl von Tiefenebenen, zum Beispiel 10 Tiefenebenen, durchzuführen, wobei die Verzeichnung bzw. die räumliche Tiefe in den Ebenen berechnet wird. Zur Darstellung eines Pixels zwischen den kalibrierten Ebenen kann die Verzeichnung bzw. räumliche Tiefe extra- bzw. interpoliert werden. Alternativ kann ein 3D-Lookup-Table generiert werden. Dabei werden Punkte im Raum dann anhand der vier nächstliegenden Punkte (Tetraeder) interpoliert. Bei Verwendung einer Transformationsmatrix werden die Parameter der Matrix entsprechend interpoliert. Es kann somit vorgesehen sein, dass die Transformationsmatrix bzw. deren Parameter eine Funktion der Koordinate zur Beschreibung der Tiefenebene bzw. der räumlichen Tiefe bzw. des Abstandes zwischen Display und einem zu markierenden realen Objekt ist bzw. sind. Es ist insbesondere vorgesehen, das vorgenannte Kalibrierungsverfahren für eine Mehrzahl von Tiefenebenen, zum Beispiel 10 Tiefenebenen, durchzuführen, wobei die Verzeichnung bzw. die räumliche Tiefe in den Ebenen berechnet wird. Zur Darstellung eines Pixels zwischen den kalibrierten Ebenen kann die Verzeichnung bzw. räumliche Tiefe extra- bzw. interpoliert werden. Alternativ kann ein 3D-Lookup-Table generiert werden. Dabei werden Punkte im Raum dann anhand der vier nächstliegenden Punkte (Tetraeder) interpoliert. Bei Verwendung einer Transformationsmatrix werden die Parameter der Matrix entsprechend interpoliert. Es kann somit vorgesehen sein, dass die Transformationsmatrix bzw. deren Parameter eine Funktion der Koordinate zur Beschreibung der Tiefenebene bzw. der räumlichen Tiefe bzw. des Abstandes zwischen Display und einem zu markierenden realen Objekt ist bzw. sind. The aforementioned object is also achieved by a method for displaying a three-dimensional virtual image component on a transparent display, it being provided that the three-dimensional virtual image component (by means of a display control)

As a function of an optical parameter of an eye of the user of the transparent display and / or determined according to an aforementioned method for calibrating a display control
─ as a function of the position of the eye determined in accordance with an aforementioned method for calibrating a display control relative to the transparent display

is shown aligned. In particular, it is provided that the aforesaid calibration methods are performed for a plurality of depth planes, for example 10 depth planes, wherein the distortion or the spatial depth in the planes is calculated. To represent a pixel between the calibrated planes, the distortion or spatial depth can be extrapolated or interpolated. Alternatively, a 3D lookup table can be generated. In the process, points in space are then interpolated using the four closest points (tetrahedra). When using a transformation matrix, the parameters of the matrix are interpolated accordingly. It can thus be provided that the transformation matrix or its parameters is a function of the coordinate for describing the depth plane or the spatial depth or the distance between the display and a real object to be marked is or are. In particular, it is provided to perform the aforesaid calibration method for a plurality of depth planes, for example 10 depth planes, wherein the distortion or the spatial depth in the planes is calculated. To represent a pixel between the calibrated planes, the distortion or spatial depth can be extrapolated or interpolated. Alternatively, a 3D lookup table can be generated. In the process, points in space are then interpolated using the four closest points (tetrahedra). When using a transformation matrix, the parameters of the matrix are interpolated accordingly. It can thus be provided that the transformation matrix or its parameters is or are a function of the coordinate for describing the depth plane or the spatial depth or the distance between the display and a real object to be marked.

In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das Display in eine Brille integriert bzw. als Head-Mounted-Display implementiert. Eine Brille im Sinne der Erfindung ist insbesondere eine Datenbrille. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist die Anzeigesteuerung in die Brille integriert. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das Display in ein Kraftfahrzeug bzw. zumindest eine Fensterscheibe eines Kraftfahrzeuges integriert. Eine Fensterscheibe im Sinne der Erfindung ist insbesondere eine Windschutzscheibe. Eine Fensterscheibe im Sinne der Erfindung kann jedoch zusätzlich oder alternativ auch ein Seitenfenster umfassen. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das Display als Head-up-Display des Kraftfahrzeuges implementiert bzw. ist das Display ein Head-up-Display des Kraftfahrzeuges. Das Head-up-Display kann zur Navigation mit Routenanzeige lagerichtig auf der Straße, für Points of Interest Markierungen an Gebäuden in der Umgebung, für Abstandseinblendungen zu vorausfahrenden Fahrzeugen (auf dem jeweiligen Fahrzeug) und/oder zur Anzeige von Merkmalen (Typ, Fahrername etc.) vorausfahrender Fahrzeuge (auf dem jeweiligen Fahrzeug) verwendet werden. In a further advantageous embodiment of the invention, the display is integrated into a pair of glasses or implemented as a head-mounted display. Glasses in the sense of the invention are in particular data glasses. In a further advantageous embodiment of the invention, the display controller is integrated into the glasses. In a further advantageous embodiment of the invention, the display is integrated in a motor vehicle or at least a window of a motor vehicle. A window pane in the sense of the invention is in particular a windscreen. However, a window pane according to the invention may additionally or alternatively also comprise a side window. In a further advantageous embodiment of the invention, the display is implemented as a head-up display of the motor vehicle or the display is a head-up display of the motor vehicle. The head-up display can be used for navigation with route display in the correct position on the road, for points of interest markings on buildings in the area, for distance displays to vehicles ahead (on the respective vehicle) and / or for displaying characteristics (type, driver name etc .) of preceding vehicles (on the respective vehicle).

Das erfindungsgemäße Verfahren ist besonders geeignet, virtuelle Daten lagerichtig, insbesondere bezogen auf zu markierende bewegte Objekte, darzustellen. Zudem ermöglicht das erfindungsgemäße Verfahren, die Brennweite des Auges und die Verzeichnung zu kompensieren. The method according to the invention is particularly suitable for displaying virtual data in the correct position, in particular with reference to moving objects to be marked. In addition, the method according to the invention makes it possible to compensate for the focal length of the eye and the distortion.

Es ist eine weitere Aufgabe der Erfindung, die Produktion von technischen Komponenten, insbesondere die Kosten der Produktion von Kraftfahrzeugen oder deren Reparatur zu verbessern. It is a further object of the invention to improve the production of technical components, in particular the cost of the production of motor vehicles or their repair.

Vorgenannte Aufgabe wird – insbesondere in Verbindung mit vorgenannten Merkmalen – durch ein Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, gelöst, wobei ein zu montierendes Bauteil mittels des – gemäß dem vorgehend beschriebenen Verfahren dargestellten – dreidimensionalen virtuellen Bildbestandteils markiert oder gekennzeichnet wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente montiert wird. The aforementioned object is achieved, in particular in conjunction with the aforementioned features, by a method for producing a technical component, in particular a motor vehicle or a motor vehicle component, wherein a component to be mounted is marked or marked by means of the three-dimensional virtual image component shown in accordance with the method described above is, and that the component to be mounted in the technical component, in the motor vehicle or in the motor vehicle component is mounted.

Vorgenannte Aufgabe wird – insbesondere in Verbindung mit vorgenannten Merkmalen – zudem durch ein Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, gelöst, wobei der Montageort eines zu montierenden Bauteils mittels des – gemäß dem vorgehend beschriebenen Verfahren dargestellten – dreidimensionalen virtuellen Bildbestandteils markiert oder gekennzeichnet wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente am Montageort montiert wird. The aforementioned object is - in particular in connection with the aforementioned features - also solved by a method for producing a technical component, in particular a motor vehicle or a motor vehicle component, wherein the mounting location of a component to be mounted by means of - according to the method described above - three-dimensional virtual image component is marked or marked, and that the component to be mounted is mounted in the technical component, in the motor vehicle or in the motor vehicle component at the installation site.

Vorgenannte Aufgabe wird – insbesondere in Verbindung mit vorgenannten Merkmalen – zudem durch ein Verfahren zum Herstellen einer technischen Komponente, insbesondere eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, gelöst, wobei ein Montageablauf zum Montieren eines zu montierenden Bauteils mittels des – gemäß dem vorgehend beschriebenen Verfahren dargestellten – dreidimensionalen virtuellen Bildbestandteils ermittelt oder verifiziert wird, und dass das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente entsprechend dem Montageablauf montiert wird. The aforementioned object is - in particular in connection with the aforementioned features - also solved by a method for producing a technical component, in particular a motor vehicle or a motor vehicle component, wherein an assembly process for mounting a component to be mounted by means of - according to the method described above - three-dimensional virtual image component is determined or verified, and that the component to be mounted in the technical component, in the motor vehicle or in the motor vehicle component is mounted according to the assembly process.

Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt. Motor vehicle in the sense of the invention is in particular a land vehicle which can be used individually in road traffic. Motor vehicles according to the invention are not limited in particular to land vehicles with internal combustion engine.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen: Further advantages and details emerge from the following description of exemplary embodiments. Showing:

1 ein Ausführungsbeispiel eines Systems zur Darstellung eines Augmented-Reality-Bildes, 1 an embodiment of a system for displaying an augmented reality image,

2 ein Ausführungsbeispiel eines transparenten Displays, 2 an embodiment of a transparent display,

3 ein Ausführungsbeispiel eines Verfahrens zur Kalibrierung einer Anzeigensteuerung bzw. zur Erzeugung einer Transformationsmatrix, 3 an embodiment of a method for calibrating a display control or for generating a transformation matrix,

4 eine Prinzipskizze zur Erläuterung des Verfahrens gemäß 3, 4 a schematic diagram for explaining the method according to 3 .

5 ein weiteres Ausführungsbeispiel eines Verfahrens zur Kalibrierung einer Anzeigensteuerung bzw. zur Erzeugung einer Transformationsmatrix, 5 a further embodiment of a method for calibrating a display control or for generating a transformation matrix,

6 eine Prinzipskizze zur Erläuterung des Verfahrens gemäß 5, 6 a schematic diagram for explaining the method according to 5 .

7 ein weiteres Ausführungsbeispiel eines Verfahrens zur Kalibrierung einer Anzeigensteuerung bzw. zur Erzeugung einer Transformationsmatrix, 7 a further embodiment of a method for calibrating a display control or for generating a transformation matrix,

8 eine Prinzipskizze zur Erläuterung des Verfahrens gemäß 7, 8th a schematic diagram for explaining the method according to 7 .

9 ein Ausführungsbeispiel für die Positionierung virtueller Marker, 9 an embodiment for the positioning of virtual markers,

10 eine Prinzipskizze zur Erläuterung eines weiteren Ausführungsbeispiels eines Verfahrens zur Kalibrierung einer Anzeigensteuerung bzw. zur Erzeugung einer Transformationsmatrix, 10 a schematic diagram for explaining a further embodiment of a method for calibrating a display control or for generating a transformation matrix,

11 ein Ausführungsbeispiel zur Ausgestaltung des transparenten Displays gemäß 2 als Head-up-Display und 11 an embodiment of the embodiment of the transparent display according to 2 as a head-up display and

12 ein Ausführungsbeispiel für einen beispielhaften Verfahrensablauf zur Herstellung bzw. Korrektur bzw. Instandsetzung eines Kraftfahrzeuges. 12 An exemplary embodiment of an exemplary method sequence for the production or correction or repair of a motor vehicle.

1 zeigt ein System zur Darstellung eines virtuellen Bildbestandteils (Augmented-Reality-Bildes) VIRT. Das System umfasst ein von einem Benutzer 1 getragenes Headset 10 mit einem transparenten Display 11 (Durchsichtdisplay) zur Darstellung des virtuellen Bildbestandteils VIRT. 2 zeigt ein Ausführungsbeispiel einer Prinzipdarstellung des transparenten Displays 11, wobei ein darzustellender virtueller Bildbestandteil auf einen semitransparenten Spiegel 110, der für das Auge 100 des Benutzers 1 transparent ist, projiziert wird. Zur Projektion ist ein Bildgenerator 111 vorgesehen, der zum Beispiel ein LED-Display oder ein OLED-Display sein kann. Das von dem Bildgenerator 111 generierte Bild wird mittels einer Mikrolinsenmatrix 112 sowie einer Optik 113 auf dem semitransparenten Spiegel 110 abgebildet. 1 shows a system for displaying an augmented reality image (VIRT). The system includes one by a user 1 worn headset 10 with a transparent display 11 (See-through display) for displaying the virtual image component VIRT. 2 shows an embodiment of a schematic diagram of the transparent display 11 in which a virtual image component to be displayed points to a semitransparent mirror 110 that for the eye 100 the user 1 is transparent, is projected. For projection is an image generator 111 provided, which may be for example an LED display or an OLED display. That of the image generator 111 generated image is using a microlens matrix 112 as well as a look 113 on the semitransparent mirror 110 displayed.

Das transparente Display 11 wird mittels einer Anzeigesteuerung 20 angesteuert, die an das transparente Display 11 das virtuelle Bildbestandteil VIRT sowie dessen Position PVIRT' ausgibt. Die virtuellen Bildbestandteile VIRT können zum Beispiel von einer Datenbasis 22 und/oder mittels eines Netzwerks bereitgestellt und von diesem zur Anzeigesteuerung 20 übermittelt werden. Dabei ist einem virtuellen Bildbestandteil VIRT dessen gewünschte Position PVIRT zu einem realen Objekt zugeordnet. Die Position PVIRT' des virtuellen Bildbestandteils VIRT ermittelt die Anzeigesteuerung 20 mittels einer Transformationsmatrix T in Abhängigkeit der gewünschten Position PVIRT des virtuellen Bildbestandteils VIRT zu dem realen Objekt:

The transparent display 11 is by means of a display control 20 addressed to the transparent display 11 the virtual image component VIRT and its position PVIRT 'outputs. The virtual image components VIRT can, for example, from a database 22 and / or by means of a network and from this to the display controller 20 be transmitted. In this case, a virtual image component VIRT whose desired position PVIRT is assigned to a real object. The position PVIRT 'of the virtual image component VIRT determines the display control 20 by means of a transformation matrix T as a function of the desired position PVIRT of the virtual image component VIRT to the real object:

Dabei bezeichnen die VIRTx, VIRTy, VIRTz die Koordinaten der gewünschten Position PVIRT eines Pixels des virtuellen Bildbestandteils VIRT zu einem realen Objekt. VIRT'x und VIRT'y bezeichnen die Position des Pixels des virtuellen Bildbestandteils VIRT auf dem transparenten Display 11. Die Koordinate PVIRT'z bezeichnet die (virtuelle) Tiefenebene bzw. Raumtiefe des Pixels des virtuellen Bildbestandteils VIRT. Die Parameter der Transformationsmatrix T sind in 1 mit Bezugszeichen KAL bezeichnet und werden der Anzeigesteuerung 20 zum Beispiel durch eine Datenbasis 21 übermittelt. Die Kalibrierungsparameter KAL bzw. die Parameter der Transformationsmatrix T umfassen insbesondere optische Parameter eines Auges des Benutzers 1 des transparenten Displays 11 bzw. die Lage des Auges 100 des Benutzers 1 relativ zum transparenten Display 11. Diese Parameter werden beispielhaft durch nachfolgende Ausführungsbeispiele möglicher Verfahren ermittelt. Here, the VIRTx, VIRTy, VIRTz designate the coordinates of the desired position PVIRT of a pixel of the virtual image component VIRT to a real object. VIRT'x and VIRT'y denote the position of the pixel of the virtual image component VIRT on the transparent display 11 , The coordinate PVIRT'z denotes the (virtual) depth level or spatial depth of the pixel of the virtual image component VIRT. The parameters of the transformation matrix T are in 1 denoted by KAL and become the display controller 20 for example, by a database 21 transmitted. The calibration parameters KAL and the parameters of the transformation matrix T comprise in particular optical parameters of an eye of the user 1 of the transparent display 11 or the position of the eye 100 the user 1 relative to the transparent display 11 , These parameters are determined by way of example by subsequent embodiments of possible methods.

3 zeigt ein Verfahren zur Kalibrierung der Anzeigensteuerung 20 bzw. zur Erzeugung der Transformationsmatrix T durch Bestimmung optischer Parameter des Auges 100 des Benutzers 1 des transparenten Displays 11 bzw. durch Bestimmung der Lage des Auges 100 relativ zum transparenten Display 11. Das Verfahren beginnt mit einem Schritt 31, in dem ein in 4 dargestellter realer Marker 46 bereitgestellt wird, dessen Raumkoordinaten entweder bekannt sind oder mittels eines Trackingsystems, das in 4 durch drei Kameras 41, 42, 43 symbolisiert ist, bestimmt werden. Zudem wird der Kopf des Benutzers 1 mit einer Markeranordnung 45 versehen, mittels der die Position des Kopfes bzw. des Auges 100 des Benutzers 1 mittels des Trackingsystems bestimmbar ist. Zudem werden drei Raumkoordinaten für einen virtuellen Marker, der mittels des Displays 11 dargestellt wird, ausgewählt. 3 shows a method for calibrating the display control 20 or for generating the transformation matrix T by determining optical parameters of the eye 100 the user 1 of the transparent display 11 or by determining the position of the eye 100 relative to the transparent display 11 , The process begins with a step 31 in which a in 4 illustrated real marker 46 whose space coordinates are either known or by means of a tracking system that is in 4 through three cameras 41 . 42 . 43 is symbolized, to be determined. In addition, the user's head 1 with a marker arrangement 45 provided by means of the position of the head or the eye 100 the user 1 can be determined by means of the tracking system. In addition, three spatial coordinates for a virtual marker, the means of the display 11 is displayed, selected.

Dem Schritt 31 folgt ein Schritt 32, in dem ein virtueller Marker 115 mittels des transparenten Displays 11 (in der zu kalibrierenden Fokusebene 116) dargestellt wird. Es folgt ein Schritt 33, in dem sich der Benutzer 1 derart ausrichtet, dass der reale Marker 46 und der virtuelle Marker 115 auf einer Sichtachse S des Benutzers 1 liegen. Optional kann vorgesehen sein, dass ein zweiter Marker 47 verwendet wird, den der Benutzer 1 derart ausrichtet, dass der reale Marker 46, der zweite Marker 47 und der virtuelle Marker 115 auf der Sichtachse S des Benutzers 1 liegen. Die Position des zweiten realen Markers 47 wird mittels des Trackingsystems, das durch die Kameras 41, 42, 43 symbolisiert ist, ermittelt. The step 31 follows a step 32 in which a virtual marker 115 by means of the transparent display 11 (in the focal plane to be calibrated 116 ) is pictured. It follows a step 33 in which the user is 1 aligns so that the real marker 46 and the virtual marker 115 on a visual axis S of the user 1 lie. Optionally, it can be provided that a second marker 47 used by the user 1 aligns so that the real marker 46 , the second marker 47 and the virtual marker 115 on the visual axis S of the user 1 lie. The position of the second real marker 47 is done by means of the tracking system that passes through the cameras 41 . 42 . 43 symbolized, determined.

Dem Schritt 33 folgt eine Abfrage 34, ob das Verfahren mit z. B. sechs verschiedenen virtuellen Markern bzw. virtuellen Markern mit sechs verschiedenen Raumkoordinaten durchgeführt wurde. Wurde das Verfahren mit weniger als sechs virtuellen Markern durchgeführt, so werden die Koordinaten des virtuellen Markers in einem Schritt 35 verändert. Die Position möglicher weiterer virtueller Marker 115A, 115B, 115C, 115D und 115E zeigt 9. Dem Schritt 35 folgt der Schritt 32. The step 33 follows a query 34 whether the method with z. B. six different virtual markers or virtual markers was performed with six different spatial coordinates. If the procedure was performed with fewer than six virtual markers, the coordinates of the virtual marker become one step 35 changed. The position of possible other virtual markers 115A . 115B . 115C . 115D and 115E shows 9 , The step 35 follows the step 32 ,

Wurde das Verfahren mit sechs verschiedenen virtuellen Markern durchgeführt, so folgt der Abfrage 34 ein Schritt 36, in dem aus den Koordinaten des realen Markers 46, optional aus den Koordinaten des realen Markers 47 sowie aus den Koordinaten der virtuellen Marker 115, 115A, 115B, 115C, 115D und 115E die optischen Parameter des Auges 100 des Benutzers 1 bzw. die Lage des Auges 100 relativ zum transparenten Display 11 (für die ausgewählten bzw. verwendeten virtuellen Raumtiefen) ermittelt werden. If the procedure was performed with six different virtual markers, the query follows 34 a step 36 in which the coordinates of the real marker 46 , optionally from the coordinates of the real marker 47 as well as from the coordinates of the virtual markers 115 . 115A . 115B . 115C . 115D and 115E the optical parameters of the eye 100 the user 1 or the position of the eye 100 relative to the transparent display 11 (for the selected or used virtual room depths).

5 zeigt ein zum Verfahren gemäß 3 alternatives Verfahren zur Kalibrierung der Anzeigensteuerung 20 bzw. zur Erzeugung der Transformationsmatrix T durch Bestimmung optischer Parameter des Auges 100 des Benutzers 1 des transparenten Displays 11 bzw. durch Bestimmung der Lage des Auges 100 relativ zum transparenten Display 11, wobei das Verfahren anhand der Prinzipskizze gemäß 6 erläutert ist. In Abweichung zu dem unter Bezugnahme auf 3 beschriebenen Verfahren, ist anstelle des Schritts 33, in dem unter Bezugnahme auf 5 beschriebenen Verfahren ein Schritt 53 und anstelle des Schritts 36 ein Schritt 56 vorgesehen. Im Schritt 53 richtet sich der Benutzer 1 derart aus, dass der reale Marker 46 und der virtuelle Marker 115 auf einer Sichtachse S des Benutzers 1 liegen. Zudem wird der zweite Marker 47 von dem Benutzer 1 – wie durch den Pfeil 48 angedeutet – in eine Lage gebracht, die mit der Position des virtuellen Markers 115 übereinstimmt. Im Schritt 56 werden aus den Koordinaten des realen Markers 46, aus den Koordinaten des realen Markers 47 sowie aus den Koordinaten der virtuellen Marker 115, 115A, 115B, 115C, 115D und 115E die optischen Parameter des Auges 100 des Benutzers 1 bzw. die Lage des Auges 100 relativ zum transparenten Display 11 (für die ausgewählten bzw. verwendeten virtuellen Raumtiefen) ermittelt. 5 shows a to the method according to 3 alternative method of calibrating the display control 20 or for generating the transformation matrix T by determining optical parameters of the eye 100 the user 1 of the transparent display 11 or by determining the position of the eye 100 relative to the transparent display 11 , wherein the method based on the schematic diagram according to 6 is explained. By way of derogation from that with reference to 3 described method is instead of the step 33 in which referring to 5 described a step 53 and instead of the step 36 a step 56 intended. In step 53 depends on the user 1 such that the real marker 46 and the virtual marker 115 on a visual axis S of the user 1 lie. In addition, the second marker 47 from the user 1 - as by the arrow 48 indicated - placed in a position with the position of the virtual marker 115 matches. In step 56 become from the coordinates of the real marker 46 , from the coordinates of the real marker 47 as well as from the coordinates of the virtual markers 115 . 115A . 115B . 115C . 115D and 115E the optical parameters of the eye 100 the user 1 or the position of the eye 100 relative to the transparent display 11 (for the selected or used virtual room depths).

7 zeigt ein weiteres zum Verfahren gemäß 3 alternatives Verfahren zur Kalibrierung der Anzeigensteuerung 20 bzw. zur Erzeugung der Transformationsmatrix T durch Bestimmung optischer Parameter des Auges 100 des Benutzers 1 des transparenten Displays 11 bzw. durch Bestimmung der Lage des Auges 100 relativ zum transparenten Display 11, wobei das Verfahren anhand der Prinzipskizze gemäß 8 erläutert ist. In Abweichung zu dem unter Bezugnahme auf 3 beschriebenen Verfahrens, ist anstelle des Schritts 33 in dem unter Bezugnahme auf 7 beschriebenen Verfahren ein Schritt 63 und anstelle des Schritts 36 ein Schritt 66 vorgesehen. Im Schritt 63 wird der virtuelle Marker 115, wie in 8 durch den Pfeil 49 angedeutet, durch Bewegen des Benutzers in Deckung mit dem realen Marker 46 gebracht. Im Schritt 66 werden aus den Koordinaten des realen Markers 46 sowie aus den Koordinaten der virtuellen Marker 115, 115A, 115B, 115C, 115D und 115E die optischen Parameter des Auges 100 des Benutzers 1 bzw. die Lage des Auges 100 relativ zum transparenten Display 11 (für die ausgewählten bzw. verwendeten virtuellen Raumtiefen) ermittelt. 7 shows another to the method according to 3 alternative method of calibrating the display control 20 or for generating the transformation matrix T by determining optical parameters of the eye 100 the user 1 of the transparent display 11 or by determining the position of the eye 100 relative to the transparent display 11 , wherein the method based on the schematic diagram according to 8th is explained. By way of derogation from that with reference to 3 described method, is instead of the step 33 in reference to 7 described a step 63 and instead of the step 36 a step 66 intended. In step 63 becomes the virtual marker 115 , as in 8th through the arrow 49 indicated by moving the user into coincidence with the real marker 46 brought. In step 66 become from the coordinates of the real marker 46 as well as from the coordinates of the virtual markers 115 . 115A . 115B . 115C . 115D and 115E the optical parameters of the eye 100 the user 1 or the position of the eye 100 relative to the transparent display 11 (for the selected or used virtual room depths).

10 zeigt ein weiteres zum Verfahren gemäß 3 alternatives Verfahren zur Kalibrierung der Anzeigensteuerung 20 bzw. zur Erzeugung der Transformationsmatrix T durch Bestimmung optischer Parameter des Auges 100 des Benutzers 1 des transparenten Displays 11 bzw. durch Bestimmung der Lage des Auges 100 relativ zum transparenten Display 11. Dabei ist ein realer Referenzkörper 46R vorgesehen. Mittels des Displays 11 wird ein virtuelles dreidimensionales Abbild 115R des Referenzkörpers 46R im Maßstab 1:1 erzeugt. Anschließend bewegt sich der Benutzer 1 mit dem Display 11 derart, dass er das virtuelle dreidimensionale Abbild 115R des Referenzkörpers – wie durch den mit Bezugszeichen 49R bezeichneten Pfeil angedeutet – in exakte Übereinstimmung mit dem realen Referenzkörper 46R bringt. 10 shows another to the method according to 3 alternative method of calibrating the display control 20 or for generating the transformation matrix T by determining optical parameters of the eye 100 the user 1 of the transparent display 11 or by determining the position of the eye 100 relative to the transparent display 11 , This is a real reference body 46R intended. By means of the display 11 becomes a virtual three-dimensional image 115R of the reference body 46R in the scale 1: 1 generated. Then the user moves 1 with the display 11 such that it is the virtual three-dimensional image 115R of the reference body - as by the reference numeral 49R indicated arrow indicated - in exact accordance with the real reference body 46R brings.

Die unter Bezugnahme auf ein als Head-Mounted-Display ausgestaltetes Display 11 beschriebenen Verfahren sind auch in Verbindung mit einem Head-up-Display, wie in 11 dargestellt, anwendbar. Dabei bezeichnet Bezugszeichen 1A einen Benutzer des Head-up-Displays, bei dem anstelle des transparenten Spiegels 110 die Windschutzscheibe 110A verwendet wird. Über eine Anordnung von Spiegeln 72 und 73 wird ein mittels eines Projektors 71 erzeugtes Bild mit einem dreidimensionalen virtuellen Bildbestandteil VIRT für den Benutzer 1A sichtbar auf die Windschutzscheibe 110A projiziert. Dabei umfasst der Projektor 71 optische Bestandteile, die dem Bildgenerator 111, der Mikrolinsenmatrix 112 sowie der Optik 113 entsprechen. With reference to a designed as a head-mounted display display 11 described methods are also used in conjunction with a head-up display, as in 11 shown, applicable. Here, reference numeral designates 1A a user of the head-up display, in which instead of the transparent mirror 110 the windshield 110A is used. About an arrangement of mirrors 72 and 73 becomes one by means of a projector 71 generated image with a three-dimensional virtual image component VIRT for the user 1A visible on the windshield 110A projected. This includes the projector 71 optical components belonging to the image generator 111 , the microlens matrix 112 as well as the optics 113 correspond.

12 zeigt ein Ausführungsbeispiel für einen beispielhaften Verfahrensablauf zur Herstellung bzw. Korrektur bzw. Instandsetzung eines Kraftfahrzeuges. Dabei erfolgt zunächst ein Kalibrierschritt 81, in dem die Anzeigesteuerung 20 bzw. die Transformationsmatrix T der Anzeigesteuerung 20 erzeugt wird. Dem Kalibrierschritt 81 folgt ein Schritt 82, in dem der virtuelle Bildbestandteil VIRT mittels des transparenten Displays 11 derart angezeigt wird, dass er ein reales Objekt an der gewünschten Position überlagert. Auf der Basis der so eingeblendeten Information erfolgt eine Reparatur oder Montage oder Überprüfung in einem Schritt 83. 12 shows an exemplary embodiment of an exemplary method sequence for the manufacture or correction or repair of a motor vehicle. At first a calibration step takes place 81 in which the display control 20 or the transformation matrix T of the display controller 20 is produced. The calibration step 81 follows a step 82 in which the virtual image component VIRT by means of the transparent display 11 is displayed so as to superimpose a real object at the desired position. On the basis of the information thus displayed, a repair or assembly or inspection takes place in one step 83 ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102011122206 A1 [0002, 0010]
DE 112004000902 T5 [0003, 0003]
US 6753828 B2 [0004]
US 8487838 B2 [0005]

Claims

A method of calibrating a display controller to display a three-dimensional virtual image component on a transparent display, the method comprising the steps of: (a) providing at least one real marker, wherein three spatial coordinates are assigned to the real marker, (b) displaying at least one virtual marker on the transparent display, wherein three spatial coordinates are assigned to the virtual marker, (c) aligning a user of the transparent display so that the real marker and the virtual marker lie on one another, or that the real marker and the virtual marker lie on a viewing axis of the user of the transparent display, (d) determining an optical parameter of an eye of the user of the transparent display and / or determining the position of the eye relative to the transparent display and / or further calibration parameters.

A method according to claim 1, characterized in that the spatial coordinates of the virtual marker or the virtual spatial depth of the virtual marker is / are changed, wherein steps (b) and (c) are repeated.

A method according to claim 1, characterized in that steps (b) and (c) are replaced by the following steps: (e) providing at least one second real marker, wherein the three real coordinates are assigned to the second real marker, (f) representing at least one virtual marker on the transparent display, wherein three spatial coordinates are assigned to the virtual marker, (g) aligning a user of the transparent display, so that the real marker and the virtual marker lie on a visual axis of the user of the transparent display, and aligning the second real Marker by the user of the transparent display, so that the second real marker and the virtual marker lie on each other and / or on a visual axis.

A method according to claim 3, characterized in that the spatial coordinates of the virtual marker or the virtual spatial depth of the virtual marker is / are changed, wherein the steps (e), (f) and (g) are repeated.

Method according to one of the preceding claims, characterized in that the transparent display comprises a projection module for the projection of the virtual image component or the virtual marker on a semi-transparent surface of the transparent display, wherein the projection module comprises an image generator and a microlens array, in the light path between the Image generator and the semitransparent surface is arranged.

A method for displaying a three-dimensional virtual image component on a transparent display, characterized in that the three-dimensional virtual image component ─ depending on a determined according to a method according to any one of the preceding claims optical parameter of an eye of the user of the transparent display and / or ─ depending on a position of the eye is determined relative to the transparent display a method according to one of the preceding claims.

A method for producing a technical component, in particular a motor vehicle or a motor vehicle component, characterized in that a component to be mounted is marked or marked by means of the three-dimensional virtual image component according to a method according to claim 6, and in that the component to be mounted in the technical component, in the motor vehicle or in the motor vehicle component is mounted.

A method for producing a technical component, in particular a motor vehicle or a motor vehicle component, in particular method according to claim 7, characterized in that the mounting location of a component to be mounted by means of the three-dimensional virtual image component according to a method of claim 6 is marked or marked, and that to mounting component is mounted in the technical component, in the motor vehicle or in the motor vehicle component at the installation site.

Method for producing a technical component, in particular a motor vehicle or a motor vehicle component, in particular method according to claim 7 or 8, characterized in that an assembly procedure for mounting a component to be mounted by means of the three-dimensional virtual image component is determined or verified according to a method according to claim 6, and that the component to be assembled is mounted in the technical component, in the motor vehicle or in the motor vehicle component in accordance with the assembly procedure.