WO2004088994A1 - Device for taking into account the viewer's position in the representation of 3d image contents on 2d display devices - Google Patents

Device for taking into account the viewer's position in the representation of 3d image contents on 2d display devices Download PDF

Info

Publication number
WO2004088994A1
WO2004088994A1 PCT/EP2004/001466 EP2004001466W WO2004088994A1 WO 2004088994 A1 WO2004088994 A1 WO 2004088994A1 EP 2004001466 W EP2004001466 W EP 2004001466W WO 2004088994 A1 WO2004088994 A1 WO 2004088994A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
viewer
display device
display devices
objects
Prior art date
Application number
PCT/EP2004/001466
Other languages
German (de)
French (fr)
Inventor
Holger Regenbrecht
Original Assignee
Daimlerchrysler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimlerchrysler Ag filed Critical Daimlerchrysler Ag
Publication of WO2004088994A1 publication Critical patent/WO2004088994A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the invention relates to a device for the consideration of the observer position in the representation of 3D objects on 2D display devices.
  • 3D representations The representation of three-dimensional geometries or three-dimensional (short 3D) objects or scenes with the help of computer systems plays a role in numerous applications today.
  • the scope of application for 3D representations ranges from 3D product presentations on the Internet (eg using VRML browsers or multi-media players) to 3D computer games on conventional personal computers or game consoles up to virtual reality systems in industrial environments and academic areas.
  • a spatial impression which in addition to the actual two-dimensional representation in the XY plane also conveys a feeling of the third dimension (Z-direction), uses various methods and systems: perspective projection, light, shadow and fog effects, projection systems with different special glasses for stereoscopic presentation and more.
  • stereo glasses used in this case can be roughly divided into polarization, shutter and color systems. In any case, the user requires the use of these systems appropriate glasses to get the depth impression.
  • the stereo effect can also be achieved by special screen surfaces, which are designed for example by a certain corrugation so that each eye perceives a separate image.
  • tracking methods for example, in connection with head-mounted displays (data helmets with attached sensors for determining the position in space), because thereby the viewer's perspective on the virtual scene or on the virtual object immediately his movements relative to the scene or the object follows.
  • DE 196 13 618 C2 describes a device for incorporating a viewer position which can be changed in relation to a display device into the representation of 3D objects or 3D scenes.
  • the position of the observer in front of the display device is detected by means of a light-sensitive transceiver device, wherein the transmitter or light emitter is associated with the viewer and the receiver, consisting of one or more position-sensitive detectors, is in a defined spatial association with the display device.
  • the transmitter may, for example, be attached to a stereo goggle associated with the display or to a pointing stick.
  • the device can also be used for 2D display devices, so that the effort for stereoscopic displays is not required.
  • the device itself is again a special piece of hardware that is not standard equipment for personal computers, workstations or laptops.
  • the object of the invention is, starting from the state of the art, to provide an inexpensive device which is as uncomplicated as possible in terms of device technology for the consideration of the observer position when displaying 3D objects or 3D scenes on 2D display devices.
  • a simple standard camera as they are common for Internet applications, are used; for example, an analog camera, a USB (Universal Serial Bus) or a Firewire camera ("Firewire” refers to a particular data transmission protocol).
  • USB Universal Serial Bus
  • Firewire refers to a particular data transmission protocol
  • the camera is in the inventive device in a predetermined spatial assignment to the display device.
  • a geometric reference of the respective observer position to be determined by this camera can also be produced for the display device.
  • This relationship "observer position - display device” is taken into account for the representation of a 3D object imaged on the display device, ie the observer moves to the left in front of the display device from his point of view, the viewed object is turned to the right, so that the observer corresponds to his After -Links movement can see more of the left side of the object.
  • the distance of the Observers can be determined by the display device, the respective image section of the objects or scenes shown can also be enlarged or reduced (zoomed) according to this distance.
  • the camera is watching the user's head.
  • the smaller the focal length of the camera the larger the area in which the user can be detected.
  • a range of almost 0 ° to almost 180 ° in the X and Y directions can be achieved.
  • the determination of the observer position by the camera takes place by recognition of a marked object or by the recognition of distinctive facial features, such as nose and / or mouth and / or eyes.
  • image analysis method the 3D position (X, Y and Z coordinates with respect to the projection center) of the viewer or the marked object is determined in front of the display device.
  • markers can be attached to the head of the observer.
  • the methods of so-called brand tracking are particularly suitable.
  • markings for example, well-reflective paper labels come into question, as they can be found in every office. They can be attached to a pair of glasses or hats, for example, or the viewer can, for example, attach them directly to the face.
  • markers it is also possible to virtually shift the observer position, according to which the representation of the 3D scene or the 3D object is aligned, to a pointing device in which a suitable object, for example a pointing stick, is provided with markings , This allows the display device to For example, view for a group of viewers could easily be rotated and / or zoomed.
  • the camera can be used simultaneously for other purposes, such as video conferencing where all participants view the same 3D virtual object or 3D virtual scene.
  • variable view yramiden The calculation of a viewer position according to the representation of a 3D object or a 3D scene on the 2D display device takes place with the aid of so-called variable view yramiden.
  • the viewing pyramid is determined by the four corners or the ground plane of the display device and by the observer position lying in front of the display device - as a pyramid tip.
  • variable viewing pyramids depending on the variable observer position, a skew-symmetrical projection of the representation of the viewed 3D object or the 3D scene is undertaken. This approach is possible for both monoscopic and stereoscopic systems'. For the observer, the impression of spatial depth thus arises, especially in monoscopic systems.
  • the device according to the invention a significant improvement in the spatial impression is achieved when viewing 3D objects, in particular on 2D display devices, by determining the observer position by the simplest means and taking it into account for the representation of the 3D objects.
  • the spatial impression of 3D views can be significantly increased, even if the application of stereoscopic drive and systems, in particular eyeglasses, is completely dispensed with.
  • the device according to the invention can also be used for the representation of a so-called Augmented Reality.
  • Augmented Reality This is advantageously realized in such a way that a camera (which is not identical to the camera for detecting the observer position) records the environment obscured by the display device for the viewer, and this image is displayed on the display device, as a result of which there is a kind of transparency on the display device ⁇ video-see-through) into the real world.
  • the image obtained by this camera can be partially modified by only showing the corresponding sections of the viewer position, or the camera is adapted to the movements of the observer
  • the representation of the video-augmented view on the 2D display device takes place in the background of the representation of the 3D objects or the 3D scene.
  • the additional camera is advantageously mounted on the back of the display device.
  • the spatial impression of 3D objects can be further enhanced by the device according to the invention by spatially arranging a plurality of such devices.
  • a plurality of such devices In an arrangement of, for example, four large display devices in a square, an almost enclosed all-round view of a 3D virtual scene can be achieved for a viewer included therein.
  • This arrangement can also be extended by a fifth display device as a ceiling. It is equal to- if possible four smaller display devices - again in square - to order, around which the viewer can go around, so that he can continuously view a 3D object from all sides and, if necessary, with two other display devices to a cube, even from above or below ,
  • any number of other combinations of such display devices are conceivable for different applications (eg also in video conferences) in open or closed arrangements.
  • an omnidirectional camera which is accommodated separately from the 2D display devices can advantageously be used for position detection of the observer.
  • the cameras associated with the individual display devices can be replaced by a single camera, because this allows a 360 ° recording of the environment.
  • the camera is mounted on a favorable location with respect to the arrangement of the display devices for the detection of the observer position. So the camera can e.g. in a square arrangement of the display devices located at a sufficient height above the center of the square, wherein the viewer position is determined, for example, based on a cap worn by the viewer with suitable markings.
  • the attachment of the camera can be done for example on a tripod or on a ceiling. Of course it is also possible to determine the observer position by a combination of several cameras.
  • FIG. 2 shows a camera attached to the 2D display device 1 and FIG
  • the arrangement of four 2D display devices 1 shown by way of example can be designed such that a viewer is enclosed by the display devices 1 and thus has, for example, an all-round view of a 3D scene virtually surrounding it.
  • the display devices 1 may also be oriented such that the viewer is outside the space surrounded by the display devices 1, being able to walk around a 3D virtual object to view it from all sides.
  • the determination of the position of the observer can in both embodiments described by cameras 2, which are respectively mounted on the 2D display devices 1, take place, or by an omnidirectional camera 3, which is independent of the display devices 1 at a point with sufficient overview, on a Tripod or attached to the ceiling.
  • markings for example on a cap or on glasses, can be attached to the observer.
  • the calculation of the observer position and the corresponding representation of the 3D objects or the 3D scene is performed separately for each display device by a conventional computer. not shown - (eg personal computer, workstation, laptop) to which a camera 2 and the 2D display device 1 are connected.
  • an omnidirectional camera 3 the signals of the camera 3 are transmitted to the computer associated with the existing display devices 1.
  • This view of the 3D objects on a display device 1 can also be controlled by means of a marked pointer, not shown, which a viewer handles.
  • 2D display devices 1 The illustrated arrangement of 2D display devices 1 is only to be understood as an example. Arrangements with more or fewer than four 2D display devices 1 can also be represented with the device according to the invention.

Abstract

The invention relates to a device for representing 3D objects on a 2D display device (1), whereby the 3D objects can be represented taking into account a viewer's position that can be modified with regard to the 2D display device. The viewer's position is determined by means of a camera (2, 3) that is mounted in a defined spatial relation to the 2D display device by recognizing a marked object or facial features of a viewer.

Description

Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Bildinhalten auf Device for taking into account the viewer's position when displaying 3D image content
2D-Anzeigevorrichtungen2D display devices
Die Erfindung betrifft eine Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Objekten auf 2D-Anzeigevorrichtungen.The invention relates to a device for the consideration of the observer position in the representation of 3D objects on 2D display devices.
Die Darstellung dreidimensionaler Geometrien oder dreidimensionaler (kurz 3D-) Objekte oder Szenen mit Hilfe von Computer-Systemen spielt heute in zahlreichen Anwendungen eine Rolle. Der Anwendungsbereich für 3D-Darstellungen erstreckt sich von 3D-Produktpräsentationen im Internet (z.B. mittels VRML-Browser oder Mul ti -Media- Player) über 3D-Computerspiele an herkömmlichen Personal-Computern oder Spielkonsolen bis zu Virtual - Real i ty- Systemen in industriellen und akademischen Bereichen.The representation of three-dimensional geometries or three-dimensional (short 3D) objects or scenes with the help of computer systems plays a role in numerous applications today. The scope of application for 3D representations ranges from 3D product presentations on the Internet (eg using VRML browsers or multi-media players) to 3D computer games on conventional personal computers or game consoles up to virtual reality systems in industrial environments and academic areas.
Um für 3D-Szenen oder für 3D-Objekte eine optische Tiefenwirkung zu erzielen - d.h. einen räumlichen Eindruck, der neben der tatsächlichen zweidimensionalen Darstellung in der XY- Ebene auch ein Gefühl der dritten Dimension (Z-Richtung) vermittelt -, kommen verschiedene Verfahren und Systeme zum Einsatz: Perspektivische Projektion, Licht-, Schatten- und Nebeleffekte, Projektionssysteme mit unterschiedlichen Spezial- brillen zur stereoskopischen Darstellung und anderes mehr.To achieve a visual depth effect for 3D scenes or for 3D objects - i. A spatial impression, which in addition to the actual two-dimensional representation in the XY plane also conveys a feeling of the third dimension (Z-direction), uses various methods and systems: perspective projection, light, shadow and fog effects, projection systems with different special glasses for stereoscopic presentation and more.
Dabei sind Projektionssysteme mit Spezialbrillen zur stereoskopischen Darstellung von besonderer Bedeutung, da sie einen guten Tiefeneindruck dadurch vermitteln, dass sie für jedes Auge ein separates Bild darstellen. Die hierbei verwendeten Stereo-Brillen können grob nach Polarisations- , Shutter- und F rb-Systemen unterschieden werden. In jedem Fall benötigt der Benutzer beim Einsatz dieser Systeme eine entsprechende Brille, um den Tiefeneindruck zu erhalten. Der Stereo-Effekt kann aber auch durch spezielle Bildschirmoberflächen erzielt werden, die beispielsweise durch eine bestimmte Riffelung so gestaltet sind, dass jedes Auge eine separates Bild wahrnimmt .Here are projection systems with special glasses for stereoscopic display of particular importance, since they have a convey a good depth impression by presenting a separate image for each eye. The stereo glasses used in this case can be roughly divided into polarization, shutter and color systems. In any case, the user requires the use of these systems appropriate glasses to get the depth impression. The stereo effect can also be achieved by special screen surfaces, which are designed for example by a certain corrugation so that each eye perceives a separate image.
Neben einer guten Tiefenwirkung ist für 3D-Anwendungen die Möglichkeit der virtuellen Selbstbewegung des Beobachters durch eine 3D-Szene bzw. die Betrachtung von 3D-Objekten von verschiedenen Seiten durch den Beobachter wichtig. Dreidimensionale Darstellungen von 3D-0bjekten oder 3D-Szenen an herkömmlichen Computer-Arbeitsplätzen oder Spielkonsolen, ob stereoskopisch oder nicht, gehen von einem fixen Betrachterstandpunkt aus. Die Veränderung der Betrachterposition oder - Perspektive wird dabei virtuell dadurch erreicht, dass die Ansicht des virtuellen 3D-Objekts oder der virtuellen 3D- Szene mittels Mouse, Tastatur oder durch andere spezielle Eingabegeräte verändert wird. Für den Benutzer komfortabler ist die Nutzung von Tracking-Verfahren beispielsweise im Zusammenhang mit Head-Mounted-Displays (Datenhelme mit angebrachten Sensoren zur Lagebestimmung im Raum) , weil dabei die dem Betrachter dargestellte Perspektive auf die virtuelle Szene oder auf das virtuelle Objekt unmittelbar seinen Bewegungen relativ zur Szene bzw. zum Objekt folgt.In addition to a good depth effect, the possibility of the virtual self-movement of the observer through a 3D scene or the viewing of 3D objects from different sides by the observer is important for 3D applications. Three-dimensional representations of 3D objects or 3D scenes on conventional computer workstations or game consoles, whether stereoscopic or not, emanate from a fixed viewer's point of view. The change of the observer position or perspective is thereby achieved virtually by changing the view of the virtual 3D object or the virtual 3D scene by means of a mouse, keyboard or other special input devices. For the user more comfortable is the use of tracking methods, for example, in connection with head-mounted displays (data helmets with attached sensors for determining the position in space), because thereby the viewer's perspective on the virtual scene or on the virtual object immediately his movements relative to the scene or the object follows.
Der breite Einsatz von Virtual -Reali ty-Anwendungen wird aber unter anderem durch die Notwendigkeit der soeben beschriebenen, teilweise teueren Spezialhardware verhindert. Insbeson- dere die Anschaffung und das Tragen von 3D-Brillen stellt sich als grundsätzliche Barriere dar.However, the widespread use of Virtual Reality applications is prevented, among other things, by the need for the partially expensive special hardware just described. par- The purchase and wearing of 3D glasses presents itself as a fundamental barrier.
Die DE 196 13 618 C2 beschreibt eine Vorrichtung zur Einbeziehung einer gegenüber einer Anzeigevorrichtung veränderbaren Betrachterposition in die Darstellung von 3D-Objekten oder 3D-Szenen. Dabei wird die Position des Beobachters vor der Anzeigevorrichtung mithilfe einer lichtempfindlichen Sender-Empfänger-Einrichtung detektiert, wobei der Sender oder Lichtemitter dem Betrachter zugeordnet ist und der Empfänger, bestehend aus einem oder mehreren positionsempfindlichen Detektoren, sich in einer definierten räumlichen Zuordnung zur Anzeigevorrichtung befindet. Der Sender kann bspw. an einer Stereo-Brille, die zur Anzeigevorrichtung gehört, oder an einem Zeigestab angebracht sein. Die Vorrichtung kann auch für 2D-Anzeigevorrichtungen eingesetzt werden, so dass der Aufwand für stereoskopische Darstellungen nicht erforderlich ist . Allerdings handelt es sich bei der Vorrichtung selbst wiederum um eine Spezialhardware, die nicht standardmäßig zur Ausrüstung von Personal-Computern, Work-Stations oder Lap- Tops gehört .DE 196 13 618 C2 describes a device for incorporating a viewer position which can be changed in relation to a display device into the representation of 3D objects or 3D scenes. In this case, the position of the observer in front of the display device is detected by means of a light-sensitive transceiver device, wherein the transmitter or light emitter is associated with the viewer and the receiver, consisting of one or more position-sensitive detectors, is in a defined spatial association with the display device. The transmitter may, for example, be attached to a stereo goggle associated with the display or to a pointing stick. The device can also be used for 2D display devices, so that the effort for stereoscopic displays is not required. However, the device itself is again a special piece of hardware that is not standard equipment for personal computers, workstations or laptops.
Aufgabe der Erfindung ist es, ausgehend vom Stand der Technik, eine preisgünstige und in gerätetechnischer Hinsicht möglichst unaufwändige Vorrichtung zur Berücksichtigung der Betrachterposition bei der Darstellung von 3D-Objekten oder 3D-Szenen auf 2D-Anzeigevorrichtungen zu schaffen.The object of the invention is, starting from the state of the art, to provide an inexpensive device which is as uncomplicated as possible in terms of device technology for the consideration of the observer position when displaying 3D objects or 3D scenes on 2D display devices.
Die Erfindung löst diese Aufgabe durch die Merkmale der unabhängigen Ansprüche 1 und 5. Vorteilhafte Ausgestaltungen finden sich in den Unteransprüchen.The invention solves this problem by the features of independent claims 1 and 5. Advantageous embodiments can be found in the dependent claims.
Mit der erfindungsgemäßen Vorrichtung kann eine Berücksichtigung der Betrachterposition bei der Darstellung von 3D- Objekten, worunter im weiteren auch Ansichten von 3D-Szenen verstanden werden sollen, auf 2D-Anzeigevorrichtungen durch eine standardmäßig erhältliche Personalcomputer-, Notebookoder Workstation-Ausrüstung - also mit geringstmöglichen Aufwand - realisiert werden:With the device according to the invention, a consideration of the viewer position in the representation of 3D objects, which are to be understood below also views of 3D scenes, on 2D display devices by a standard personal computer, notebook or workstation equipment - so with the least possible effort - realized:
- Als 2D-Anzeigevorrichtung können alle herkömmlichen Bildschirme wie zum Beispiel CRT- ( Cathode Ray Tube) , LCD-- As a 2D display device, all conventional screens, such as CRT (Cathode Ray Tube), LCD
(Liguid Crystal Display) oder TFT- { Thin- Film-Transistor) Bildschirme dienen.(Liguid Crystal Display) or TFT {Thin- Film Transistor) screens.
- Als Kamera kann eine einfache Standard-Kamera, wie sie für Internet-Anwendungen üblich sind, eingesetzt werden; beispielsweise eine analoge Kamera, eine USB- (Universal Serial Bus) oder eine Firewire-Kamera („Firewire" bezeichnet ein bestimmtes Daten-Übertragungs-Protokoll) .- As a camera, a simple standard camera, as they are common for Internet applications, are used; for example, an analog camera, a USB (Universal Serial Bus) or a Firewire camera ("Firewire" refers to a particular data transmission protocol).
Damit besteht die Möglichkeit auch mit herkömmlichen Personal-Computern oder Spielkonsolen auf 2D-Anzeigevorrichtungen einen räumlichen Eindruck 3D-0bjekten zu erzeugen, wobei allerdings keine Stereo-Brille erforderlich ist, und in vielen Fällen auch auf manuelle Eingaben zur virtuellen Selbstbewegung des Betrachters verzichtet werden kann.This makes it possible to create a spatial impression 3D objects with conventional personal computers or game consoles on 2D display devices, although no stereo glasses are required, and in many cases even manual inputs to the virtual self-movement of the viewer can be dispensed with ,
Die Kamera befindet sich bei der erfindungsgemäßen Vorrichtung in einer vorgegebenen räumlichen Zuordnung zur Anzeigevorrichtung. Über diese bekannte geometrische Zuordnung ist auch ein geometrischer Bezug der jeweiligen, von dieser Kamera zu bestimmenden, Betrachterposition zur Anzeigevorrichtung herstellbar. Diese Beziehung „Betrachterposition - Anzeigevorrichtung" wird für der Darstellung eines auf der Anzeigevorrichtung abgebildeten 3D-0bjekts berücksichtigt. D.h. bewegt sich der Betrachter vor der Anzeigevorrichtung aus seiner Sicht nach links, wird das betrachtete Objekt nach rechts gedreht dargestellt, so dass der Betrachter entsprechend seiner Nach -Links -Bewegung mehr von der linken Seite des Objekts sehen kann. Entsprechendes gilt für Bewegungen nach rechts, oben oder unten. Da mit der Kamera auch die Entfernung des Betrachters von der Anzeigevorrichtung bestimmt werden kann, kann der jeweilige Bildausschnitt der gezeigten Objekte oder Szenen auch entsprechend dieser Entfernung vergrößert oder verkleinert (gezoomt) werden.The camera is in the inventive device in a predetermined spatial assignment to the display device. By means of this known geometric association, a geometric reference of the respective observer position to be determined by this camera can also be produced for the display device. This relationship "observer position - display device" is taken into account for the representation of a 3D object imaged on the display device, ie the observer moves to the left in front of the display device from his point of view, the viewed object is turned to the right, so that the observer corresponds to his After -Links movement can see more of the left side of the object.The same applies to movements to the right, up or down.As with the camera, the distance of the Observers can be determined by the display device, the respective image section of the objects or scenes shown can also be enlarged or reduced (zoomed) according to this distance.
Die Kamera beobachtet den Kopf des Benutzers. Je geringer die Brennweite der Kamera ist, desto größer ist der Bereich, in welchem der Benutzer erfasst werden kann. Bei geeigneter Kamera kann ein Bereich von fast 0° bis nahezu 180° in X- und Y- Richtung erreicht werden.The camera is watching the user's head. The smaller the focal length of the camera, the larger the area in which the user can be detected. With a suitable camera, a range of almost 0 ° to almost 180 ° in the X and Y directions can be achieved.
Die Bestimmung der Betrachterposition durch die Kamera erfolgt durch Erkennung eines markierten Gegenstandes oder durch die Erkennung von markanten Gesichtsmerkmalen, wie zum Beispiel Nase und/oder Mund und/oder Augen. Durch bildanalytische Verfahren wird die 3D-Position (X-,Y- und Z- Koordinaten bezüglich des Projektionsmittelpunktes) des Betrachters oder des markierten Gegenstandes vor der Anzeigevorrichtung bestimmt .The determination of the observer position by the camera takes place by recognition of a marked object or by the recognition of distinctive facial features, such as nose and / or mouth and / or eyes. By image analysis method, the 3D position (X, Y and Z coordinates with respect to the projection center) of the viewer or the marked object is determined in front of the display device.
Für eine schnellere oder robustere Berechnung der Betrachterposition können auch Markierungen am Kopf des Betrachters angebracht werden. Hierfür sind die Methoden des sogenannten Marke trackings besonders geeignet. Als Markierungen kommen beispielsweise gut reflektierende Papieretiketten in Frage, wie sie in jedem Büro zu finden sind. Sie können z.B. an einer Brille oder Mütze befestigt sein, oder der Betrachter kann sie beispielsweise auch direkt auf dem Gesicht befestigen. Durch die Verwendung von Markierungen ist es auch möglich, die Betrachterposition, nach welcher die Darstellung der 3D-Szene oder des 3D-Objekts ausgerichtet wird, virtuell auf eine Zeigeeinrichtung zu verlagern, in dem ein geeigneter Gegenstand, beispielsweise ein Zeigestock, mit Markierungen versehen wird. Damit kann die auf der Anzeigevorrichtung ge- zeigte Ansicht beispielsweise für eine Gruppe von Betrachtern auf einfache Weise gedreht und/oder gezoomt werden.For a faster or more robust calculation of the observer position also markers can be attached to the head of the observer. For this purpose, the methods of so-called brand tracking are particularly suitable. As markings, for example, well-reflective paper labels come into question, as they can be found in every office. They can be attached to a pair of glasses or hats, for example, or the viewer can, for example, attach them directly to the face. By using markers, it is also possible to virtually shift the observer position, according to which the representation of the 3D scene or the 3D object is aligned, to a pointing device in which a suitable object, for example a pointing stick, is provided with markings , This allows the display device to For example, view for a group of viewers could easily be rotated and / or zoomed.
Neben der Bestimmung der Betrachterposition kann die Kamera simultan für andere Zwecke genutzt werden, beispielsweise für Video-Konferenzen, bei denen alle Teilnehmer das gleiche virtuelle 3D-Objekt oder die gleiche virtuelle 3D-Szene betrachten.In addition to determining the viewer's position, the camera can be used simultaneously for other purposes, such as video conferencing where all participants view the same 3D virtual object or 3D virtual scene.
Die Berechnung einer der Betrachterposition gemäßen Darstellung eines 3D-Objektes oder einer 3D-Szene auf der 2D- Anzeigevorrichtung erfolgt mit Hilfe sogenannter variabler Sicht yramiden. Die Sichtpyramide ist durch die vier Ecken bzw. die Grundebene der Anzeigevorrichtung und durch die vor der Anzeigevorrichtung liegende Beobachterposition - als Pyramidenspitze - bestimmt. Mit Hilfe der variablen Sichtpyramiden wird in Abhängigkeit von der variablen Betrachterposition eine schiefsymmetrische Projektion der Darstellung des betrachteten 3D-Objekts oder der 3D-Szene vorgenommen. Diese Vorgehensweise ist sowohl für monoskopische als auch für stereoskopische Systeme möglich'. Für den Betrachter entsteht so, insbesondere auch bei monoskopisehen Systemen, der Eindruck räumlicher Tiefe.The calculation of a viewer position according to the representation of a 3D object or a 3D scene on the 2D display device takes place with the aid of so-called variable view yramiden. The viewing pyramid is determined by the four corners or the ground plane of the display device and by the observer position lying in front of the display device - as a pyramid tip. With the help of the variable viewing pyramids, depending on the variable observer position, a skew-symmetrical projection of the representation of the viewed 3D object or the 3D scene is undertaken. This approach is possible for both monoscopic and stereoscopic systems'. For the observer, the impression of spatial depth thus arises, especially in monoscopic systems.
Mit der erfindungsgemäßen Vorrichtung wird eine deutliche Verbesserung des räumlichen Eindrucks bei der Betrachtung von 3D-Objekten insbesondere auf 2D-Anzeigevorrichtungen erreicht, indem die Betrachterposition durch einfachste Mittel bestimmt und für die Darstellung der 3D-Objekte berücksichtigt wird. Auf diese Weise kann in vielen Anwendungen, wie DesJtop-Virtual-Keality oder bei Computerspielen, der räumliche Eindruck von 3D-Ansichten wesentlich erhöht werden, auch wenn auf die Anwendung von stereoskopischen Ver- fahren und Systemen, insbesondere auf Brillen, vollständig verzichtet wird.With the device according to the invention, a significant improvement in the spatial impression is achieved when viewing 3D objects, in particular on 2D display devices, by determining the observer position by the simplest means and taking it into account for the representation of the 3D objects. In this way, in many applications, such as DesJtop Virtual Keality or in computer games, the spatial impression of 3D views can be significantly increased, even if the application of stereoscopic drive and systems, in particular eyeglasses, is completely dispensed with.
Die erfindungsgemäße Vorrichtung kann auch für die Darstellung einer sogenannten erweiterten Realität (Augmented Reali - ty) eingesetzt werden. Dies wird vorteilhaft so realisiert, dass eine Kamera (die nicht mit der Kamera zur Detektion der Beobachterposition identisch ist) , die für den Betrachter von der Anzeigevorrichtung verdeckte Umgebung aufnimmt, und dieses Bild auf der Anzeigevorrichtung dargestellt wird, wodurch auf der Anzeigevorrichtung quasi eine Durchsicht { video-see- through) in die reale Umgebung entsteht. Für 'eine der Betrachterposition entsprechende korrekte Darstellung dieser „Durchsicht" kann entweder das von dieser Kamera gewonnene Bild partiell modifiziert werden, indem nur die der Betrachterposition entsprechenden Ausschnitte in entsprechender Größe daraus gezeigt werden, oder die Kamera wird den Bewegungen des Betrachters, die von der Kamera zur Bestimmung der Beobachterposition ermittelt werden, gesteuert. Die Darstellung der video-augmentierten Sicht auf der 2D-Anzeigevorrichtung erfolgt im Hintergrund der Darstellung der 3D-Objekte bzw. der 3D-Szene.The device according to the invention can also be used for the representation of a so-called Augmented Reality. This is advantageously realized in such a way that a camera (which is not identical to the camera for detecting the observer position) records the environment obscured by the display device for the viewer, and this image is displayed on the display device, as a result of which there is a kind of transparency on the display device {video-see-through) into the real world. For a correct representation of this "see through" corresponding to the observer position, either the image obtained by this camera can be partially modified by only showing the corresponding sections of the viewer position, or the camera is adapted to the movements of the observer The representation of the video-augmented view on the 2D display device takes place in the background of the representation of the 3D objects or the 3D scene.
Für die Darstellung von erweiterter Realität wird die zusätzliche Kamera vorteilhaft an der Rückseite der Anzeigevorrichtung montiert .For the representation of augmented reality, the additional camera is advantageously mounted on the back of the display device.
Der räumliche Eindruck von 3D-Objekten kann durch die erfindungsgemäße Vorrichtung weiter verstärkt werden, indem mehrere solcher Vorrichtungen räumlich angeordnet werden. Bei einer Anordnung bspw. von vier großen Anzeigevorrichtungen im Quadrat kann für einen darin eingeschlossenen Betrachter eine nahezu vollständige Rundumsicht auf eine virtuelle 3D-Szene erreicht werden. Diese Anordnung kann auch durch eine fünfte Anzeigevorrichtung als Decke erweitert werden. Es ist gleich- falls denkbar vier kleinere Anzeigevorrichtungen - wiederum im Quadrat - anzuordnen, um die der Betrachter herumgehen kann, so dass er ein 3D-Objekt kontinuierlich von allen Seiten und, ggf. mit zwei weiteren Anzeigevorrichtungen zu einem Würfel ergänzt, sogar von oben oder unten betrachten kann. Natürlich sind noch beliebig viele andere Kombinationen solcher Anzeigevorrichtungen für verschiedene Anwendungen (z.B. auch in Videokonferenzen) in offenen oder geschlossenen Anordnungen denkbar.The spatial impression of 3D objects can be further enhanced by the device according to the invention by spatially arranging a plurality of such devices. In an arrangement of, for example, four large display devices in a square, an almost enclosed all-round view of a 3D virtual scene can be achieved for a viewer included therein. This arrangement can also be extended by a fifth display device as a ceiling. It is equal to- if possible four smaller display devices - again in square - to order, around which the viewer can go around, so that he can continuously view a 3D object from all sides and, if necessary, with two other display devices to a cube, even from above or below , Of course, any number of other combinations of such display devices are conceivable for different applications (eg also in video conferences) in open or closed arrangements.
Bei einer Anordnung mehrerer erfindungsgemäßer Vorrichtungen kann zur Positionserkennung des Betrachters vorteilhaft eine omnidirektionale Kamera, die separat von den 2D-Anzeigevor- richtungen untergebracht ist, verwendet werden. Auf diese Weise können die Kameras, die den einzelnen Anzeigevorrichtungen zugeordnet sind, durch eine einzige Kamera ersetzt werden, weil diese eine 360° -Aufnahme der Umgebung ermöglicht. Die Kamera ist dabei an einem in Bezug auf die Anordnung der Anzeigevorrichtungen günstigen Ort für die Detektion der Betrachterposition angebracht. So kann sich die Kamera z.B. bei einer quadratischen Anordnung der Anzeigevorrichtungen in ausreichender Höhe über dem Mittelpunkt des Quadrats befinden, wobei die Betrachterposition beispielsweise anhand einer vom Betrachter getragenen Mütze mit geeigneten Markierungen bestimmt wird. Die Befestigung der Kamera kann beispielsweise auf einem Stativ oder an einer Zimmerdecke erfolgen. Natürlich ist es auch möglich, die Beobachterposition durch eine Kombination von mehreren Kameras zu bestimmen.In the case of an arrangement of a plurality of devices according to the invention, an omnidirectional camera which is accommodated separately from the 2D display devices can advantageously be used for position detection of the observer. In this way, the cameras associated with the individual display devices can be replaced by a single camera, because this allows a 360 ° recording of the environment. The camera is mounted on a favorable location with respect to the arrangement of the display devices for the detection of the observer position. So the camera can e.g. in a square arrangement of the display devices located at a sufficient height above the center of the square, wherein the viewer position is determined, for example, based on a cap worn by the viewer with suitable markings. The attachment of the camera can be done for example on a tripod or on a ceiling. Of course it is also possible to determine the observer position by a combination of several cameras.
Kommt nur eine erfindungsgemäße Vorrichtung zum Einsatz, ist es vorteilhaft, die Kamera zur Bestimmung der Beobachterposition unmittelbar an der 2D-Anzeigevorrichtung selbst zu befestigen; beispielsweise mittig oberhalb der Oberkante eines herkömmlichen Bildschirms. Eine solche Ausführungsform ist in einfacher Weise als ein Standard-Desktop-Arbeitsplatz mit angeschlossener Web-Cam realisierbar. Aber auch bei einer An- Ordnung von mehreren 2D-Anzeigevorrichtungen, kann diese Ausstattungsform mit an der Anzeigevorrichtung montierter Kamera zur Positionserkennung gewählt werden.If only one device according to the invention is used, it is advantageous to attach the camera directly to the 2D display device itself for determining the observer position; for example, centrally above the top of a conventional screen. Such an embodiment can be implemented in a simple manner as a standard desktop workstation with a connected web cam. But even at a Order of multiple 2D display devices, this configuration can be selected with mounted on the display camera for position detection.
Anhand der Zeichnung wird die Erfindung weiter erläutert. Die Figur skizziert eine räumliche Anordnung von vier 2D- Anzeigevorrichtunge .Reference to the drawings, the invention will be further explained. The figure outlines a spatial arrangement of four 2D display devices.
Im einzelnen bezeichnen die ZeichenSpecifically, the characters denote
1 eine 2D-Anzeigevorrichtung,1 a 2D display device,
2 eine an der 2D-Anzeigevorrichtung 1 befestigte Kamera und2 shows a camera attached to the 2D display device 1 and FIG
3 eine omnidirektionale Kamera.3 an omnidirectional camera.
Die beispielhaft gezeigte Anordnung von vier 2D-Anzeige- vorrichtungen 1 kann so ausgeführt sein, dass ein Betrachter von den Anzeigevorrichtungen 1 umschlossen ist, und damit beispielsweise eine Rundumsicht auf eine ihn virtuell umgebende 3D-Szene hat. Die Anzeigevorrichtungen 1 können aber auch so ausgerichtet sein, dass sich der Betrachter außerhalb des von den Anzeigevorrichtungen 1 umstellten Raums befindet, wobei er um ein virtuelles 3D-Objekt herumgehen kann, um es von allen Seiten zu betrachten.The arrangement of four 2D display devices 1 shown by way of example can be designed such that a viewer is enclosed by the display devices 1 and thus has, for example, an all-round view of a 3D scene virtually surrounding it. However, the display devices 1 may also be oriented such that the viewer is outside the space surrounded by the display devices 1, being able to walk around a 3D virtual object to view it from all sides.
Die Bestimmung der Position des Betrachters kann bei beiden beschriebenen Ausführungen durch Kameras 2, die jeweils auf den 2D-Anzeigevorrichtungen 1 befestigt sind, erfolgen, oder durch eine omnidirektionale Kamera 3, die unabhängig von den Anzeigevorrichtungen 1 an einer Stelle mit ausreichendem Überblick, an einem Stativ oder an der Decke befestigt ist. Für eine bessere Erkennung bzw. Bestimmung der Betrachterposition, können am Betrachter Markierungen, beispielsweise auf einer Mütze oder auf einer Brille, angebracht sein. Die Berechnung der Betrachterposition und die entsprechende Darstellung der 3D-Ojekte oder der 3D-Szene erfolgt für jede Anzeigevorrichtung separat durch einen herkömmlichen Rechner - nicht abgebildet - (z.B. Personal-Computer, Workstation, Lap- Top) an den eine Kamera 2 und die 2D-Anzeigevorrichtung 1 angeschlossen sind. Bei Verwendung einer omnidirelationalen Kamera 3 werden die Signale der Kamera 3 an die zu den vorhandenen Anzeigevorrichtungen 1 gehörenden Rechner übertragen.The determination of the position of the observer can in both embodiments described by cameras 2, which are respectively mounted on the 2D display devices 1, take place, or by an omnidirectional camera 3, which is independent of the display devices 1 at a point with sufficient overview, on a Tripod or attached to the ceiling. For a better recognition or determination of the observer position, markings, for example on a cap or on glasses, can be attached to the observer. The calculation of the observer position and the corresponding representation of the 3D objects or the 3D scene is performed separately for each display device by a conventional computer. not shown - (eg personal computer, workstation, laptop) to which a camera 2 and the 2D display device 1 are connected. When using an omnidirectional camera 3, the signals of the camera 3 are transmitted to the computer associated with the existing display devices 1.
Dies Ansicht der 3D-Objekte auf einem Anzeigegerät 1 kann auch mit Hilfe eines markierten Zeigestocks - nicht abgebildet - gesteuert werden, den ein Betrachter handhabt.This view of the 3D objects on a display device 1 can also be controlled by means of a marked pointer, not shown, which a viewer handles.
Die gezeigte Anordnung von 2D-Anzeigevorrichtungen 1 ist nur beispielhaft zu verstehen. Mit der erfindungsgemäßen Vorrichtung sind auch Anordnungen mit mehr oder weniger als vier 2D- Anzeigevorrichtungen 1 darstellbar. The illustrated arrangement of 2D display devices 1 is only to be understood as an example. Arrangements with more or fewer than four 2D display devices 1 can also be represented with the device according to the invention.

Claims

Patentansprüche Claims
1. Vorrichtung zur Darstellung von 3D-Objekten auf einer 2D- Anzeigevorrichtung (1), wobei die 3D-Objekte unter Berücksichtigung einer gegenüber der 2D-Anzeigevorrichtung (1) veränderbaren Betrachterposition darstellbar sind, die Betrachterposition mittels einer Positionserkennungs- einrichtung bestimmbar ist, und die Positionserkennungs- einrichtung in einer vorgegebenen räumlichen Zuordnung zur 2D-Anzeigevorrichtung angebracht ist, d a d u r c h g e k e n n z e i c h n e t , dass die Positionserkennungseinrichtung eine Kamera (2, 3) ist, mit der die Betrachterposition durch Erkennung eines markierten Gegenstandes oder durch Erkennung von Gesichtsmerkmalen eines Betrachters bestimmbar ist.1. A device for displaying 3D objects on a 2D display device (1), wherein the 3D objects can be displayed taking into account a viewer position that can be changed compared to the 2D display device (1), the viewer position can be determined by means of a position detection device, and the position detection device is attached in a predetermined spatial assignment to the 2D display device, characterized in that the position detection device is a camera (2, 3) with which the viewer position can be determined by recognizing a marked object or by recognizing facial features of a viewer.
2. Vorrichtung nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass eine zusätzliche Kamera ein Bild der von der Anzeigevorrichtung verdeckten Umgebung gleichzeitig mit den 3D-Objekten auf der 2D-Anzeigevorrichtung (1) darstellbar ist, sodass eine virtuelle Durchsicht auf die verdeckte Umgebung ermöglicht wird.2. Device according to claim 1, so that an additional camera can display an image of the environment hidden by the display device simultaneously with the 3D objects on the 2D display device (1), so that a virtual view of the hidden environment is made possible.
3. Vorrichtung nach Anspruch 2, d a d u r c h g e k e n n z e i c h n e t , dass sich die zusätzliche Kamera an der Rückseite der 2D- Anzeigevorrichtung (1) befindet.3. Device according to claim 2, so that the additional camera is located at the rear of the 2D display device (1).
. Vorrichtung nach einem der Ansprüche 1 bis 3 , d a d u r c h g e k e n n z e i c h n e t , dass die Kamera (2) zur Positionserkennung an der 2D- Anzeigevorrichtung (1) befestigt ist.. Device according to one of claims 1 to 3, characterized in that the camera (2) for position detection on the 2D Display device (1) is attached.
5. Vorrichtung zur Darstellung von 3D-Objekten auf 2D- Anzeigevorrichtungen (1) , d a d u r c h g e k e n n z e i c h n e t , dass mehrere Vorrichtungen gemäß einem der Ansprüche 1 bis 4 in einer räumlichen Anordnung aufgestellt sind.5. Device for displaying 3D objects on 2D display devices (1), so that several devices according to one of claims 1 to 4 are arranged in a spatial arrangement.
6. Vorrichtung nach Anspruch 5 , d a d u r c h g e e n n z e i c h n e t , dass die Kamera zur Positionserkennung eine omnidirektionale Kamera (3) ist, die separat von den 2D-Anzeigevor- richtungen (1) untergebracht ist. 6. The device according to claim 5, so that the camera for position detection is an omnidirectional camera (3) which is housed separately from the 2D display devices (1).
PCT/EP2004/001466 2003-04-02 2004-02-17 Device for taking into account the viewer's position in the representation of 3d image contents on 2d display devices WO2004088994A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE20305278U DE20305278U1 (en) 2003-04-02 2003-04-02 Device for taking into account the viewer's position when displaying 3D image content on 2D display devices
DE20305278.1 2003-04-02

Publications (1)

Publication Number Publication Date
WO2004088994A1 true WO2004088994A1 (en) 2004-10-14

Family

ID=7981268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/001466 WO2004088994A1 (en) 2003-04-02 2004-02-17 Device for taking into account the viewer's position in the representation of 3d image contents on 2d display devices

Country Status (2)

Country Link
DE (1) DE20305278U1 (en)
WO (1) WO2004088994A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005025470B4 (en) * 2005-06-02 2007-12-20 Metaio Gmbh Method and system for determining the position and orientation of a camera relative to a real object
DE102011115739A1 (en) 2011-10-11 2013-04-11 Daimler Ag Method for integrating virtual objects in vehicle displays

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2345538A (en) * 1998-11-06 2000-07-12 David James Optical tracker
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
GB2345538A (en) * 1998-11-06 2000-07-12 David James Optical tracker
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
US20020082498A1 (en) * 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization

Also Published As

Publication number Publication date
DE20305278U1 (en) 2003-06-12

Similar Documents

Publication Publication Date Title
DE60025926T2 (en) CONTROL OF THE DEPTH MOTION IN A DISPLAY DEVICE WITH A MULTILAYER SCREEN
DE60225933T2 (en) PORTABLE VIRTUAL REALITY
DE19640936C2 (en) Position adaptive autostereoscopic monitor (PAM)
DE60308541T2 (en) HUMAN MACHINE INTERFACE USING A DEFORMABLE DEVICE
DE60133386T2 (en) DEVICE AND METHOD FOR DISPLAYING A TARGET BY IMAGE PROCESSING WITHOUT THREE DIMENSIONAL MODELING
EP0691000B1 (en) Optical system for the two and three-dimensional display of information
DE102004016331B4 (en) Apparatus and method for concurrently displaying virtual and real environmental information
DE112012001022T5 (en) Alignment control in a head-worn augmented reality device
WO1998015869A1 (en) Projection system, in particular for three-dimensional representations on a viewing device
EP2156410A1 (en) Method for representing image objects in a virtual three-dimensional image space
WO2007056986A1 (en) Method and arrangement for monoscopically representing at least one area of an image on an autostereoscopic display apparatus and information reproduction unit having such an arrangement
DE102016104186A1 (en) Simulator for training a team of a helicopter crew
DE4207284C2 (en) Spatial image presentation
DE102014115363A1 (en) Virtual character in real environment
DE102014010309B4 (en) View additional content in a virtual scenery
WO2004088994A1 (en) Device for taking into account the viewer's position in the representation of 3d image contents on 2d display devices
DE102014009699B4 (en) Method for operating a display device and system with a display device
DE102011112617A1 (en) Cooperative 3D workplace
DE102011112620B3 (en) Angled display for the three-dimensional representation of a scenario
DE102004032586B4 (en) Method for generating a three-dimensional representation
DE102018201336A1 (en) Virtual Reality conference system
DE102004027289A1 (en) User navigating method, involves processing sensor information to realize motion in area of head or line of user`s vision, evaluating motion information to derive navigation action and effecting modification of document section by action
DE10300527A1 (en) Display system for virtual three-dimensional scenes, adjusts spatial angles of camera model when trackball is rotated, so that view of virtual three-dimensional scene varies accordingly
DE10358722A1 (en) Three-dimensional display includes controller operating in first mode to cause two-dimensional display movements and in second mode to cause movement with respect to third coordinate
DE102004036736B4 (en) Apparatus and method for multi-user interaction with computer applications on a horizontal surface - interaction table

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)