DE102014015390A1

DE102014015390A1 - OPERATING MODE FOR VIRTUAL REALITY SYSTEMS

Info

Publication number: DE102014015390A1
Application number: DE102014015390.8A
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-10-17
Filing date: 2014-10-17
Publication date: 2016-04-21

Abstract

Mit steigender Sichtfeldabdeckung virtuellen Welten mit der Auslösung der Simulator Krankheit (Simulator Sickness) bei dem jeweiligen Nutzer zu rechnen. Dies kommt bei der Verwendung von Head Mounted Display, Projektionsaufbauten, oder sonstigen Bildschirmtechnologien von der Diskrepanz zwischen den in der virtuellen Welt erlebten Ereignissen und den dazu zeitgleich fehlenden Wahrnehmungen des Nutzers in der Echtwelt. Das Gehirn des Nutzers erwartet aufgrund der Ereignisse in der virtuellen Welt wie beispielsweise positiver oder negativer Beschleunigung, bestimmte Wahrnehmungsreize. Bleiben diese Wahrnehmungsreize in der Echtwelt des Nutzers aus, veranlasst das Gehirn des Nutzers das als Simulator Krankheit bekannte Unwohlsein bei dem Nutzer. Durch die Erzeugung von Ersatzereignissen für die Sinneswahrnehmung des Menschen wird das Auftreten der Simulator Krankheit verhindert und oder herausgezögert und oder abgeschwächt. Durch die Schaffung eines Trainingsmodus für HMD's, bei dem keine virtuelle Welt dargestellt wird, kann in Verbindung mit reizerzeugenden Elementen, die Energiereize aus Bewegungen auf das Gleichgewichtsorgan mit Zusatzreizen auf andere Wahrnehmungsquellen des Menschen versehen, die Ersatzreizung für das Gehirn trainiert werden.With increasing field coverage virtual worlds with the triggering of the simulator disease (Simulator Sickness) expected by the respective user. This comes with the use of head mounted display, projection devices, or other screen technologies from the discrepancy between the events experienced in the virtual world and the same time missing perceptions of the user in the real world. The user's brain expects certain perceptual stimuli due to events in the virtual world, such as positive or negative acceleration. If these perceptual stimuli remain in the user's real world, the user's brain causes the malady, known as a simulator, to affect the user. By creating substitute events for the sensory perception of the human being, the occurrence of the simulator disease is prevented and / or delayed and / or weakened. By creating a training mode for HMDs that does not present a virtual world, in conjunction with stimuli-generating elements that provide energy gain from movements on the balance organ with additional stimuli to other human perception sources, the brain's spare stimulus can be trained.

Description

Mit steigender Sichtfeldabdeckung von dem Sehapparat des Nutzers ist bei Systemen zur visuellen Abbildung von virtuellen Welten mit der Auslösung der Simulator Krankheit (Simulator Sickness) bei dem jeweiligen Nutzer zu rechnen. Dies kommt bei der Verwendung von Head Mounted Displays, Projektionsaufbauten oder sonstigen Bildschirmtechnologien von der Diskrepanz zwischen den in der virtuellen Welt erlebten Ereignissen und den dazu zeitgleich fehlenden Wahrnehmungen des Nutzers in der Echtwelt. Das Gehirn des Nutzers erwartet aufgrund der Ereignisse in der virtuellen Welt wie positive oder negative Beschleunigung bestimmte Wahrnehmungsreize. Im Besonderen ist hier das Gleichgewichtsorgan des Nutzers zu erwähnen. Bleiben diese Wahrnehmungsreize in der Echtwelt des Nutzers aus, veranlasst das Gehirn des Nutzers das als Simulator Krankheit bekannte Unwohlsein bei dem Nutzer. Durch verschiedene von mir, Marc Ebel zum Patent angemeldet Vorrichtungen wird versucht dass Auftreten der Simulator Krankheit zu verhindern, und oder herauszuzögern, und oder abzuschwächen. Dies soll erreicht werden durch die Erzeugung oder die Verwendung von Ersatzereignissen für andere Wahrnehmungsquellen des Körpers eines Nutzers, die zeitgleich und symbolhaft die auf den Nutzer in der virtuellen Realität einwirkenden Energieniveaus in der Echtwelt darstellen und so einen alternativen Reitz für das Gehirn des Nutzers darstellen. Schnell, oder nach einer Eingewöhnungsphase oder nach einigen Trainingseinheiten bei denen der Reizersatz wiederholt dem Gehirn zur Verfügung gestellt wird, treten Minderungseffekte oder sogar eine Ausbleiben der Simulator Krankheit ein. Hier sind Unterschiede bei den jeweiligen Nutzern zu erwarten.With increasing field of view coverage of the user's visual system, in systems for visual imaging of virtual worlds, the triggering of the simulator sickness (simulator sickness) by the respective user is to be expected. This comes with the use of head-mounted displays, projection devices or other screen technologies from the discrepancy between the events experienced in the virtual world and the same time missing perceptions of the user in the real world. The user's brain expects certain perceptual stimuli due to events in the virtual world, such as positive or negative acceleration. In particular, the equilibrium organ of the user should be mentioned here. If these perceptual stimuli remain in the user's real world, the user's brain causes the malady, known as a simulator, to affect the user. Various devices patented by me, Marc Ebel, attempt to prevent and delay, and / or mitigate the occurrence of simulator disease. This is to be achieved by the generation or use of surrogate events for other sources of perception of the body of a user, which at the same time and symbolically represent the energy levels acting on the user in the virtual reality in the real world and thus represent an alternative Reitz for the brain of the user. Quickly, or after a settling-in phase or after a few training sessions in which the stimulus set is repeatedly made available to the brain, diminishing effects or even the absence of the simulator illness occur. Here differences between the respective users are to be expected.

Der im Patentanspruch 1 angegebenen Erfindung liegt das Problem zugrunde, dem Nutzer eine Möglichkeit zu bieten, die Ersatzreizungen parallel mit realen Bewegungen in der Echtwelt auf dem jeweiligen HMDzu trainieren.The indicated in claim 1 invention is based on the problem to provide the user with a way to train the spare stimuli in parallel with real movements in the real world on the respective HMD.

Dieses Problem wird durch die im Patentanspruch 1 aufgeführten Merkmale gelößt. Durch die ausschließliche Nutzung der ersatzreizerzeugenden Elemente für eine Zusatzreizung von in der Echtwelt stattfindenden Bewegungen oder Beschleunigungen, kann ohne Unwohlsein in den Trainingsphasen für virtuelle Realitäten, die Ersatzreizung trainiert werden. So können, in Verbindung mit reizerzeugenden Elementen des HMD, die Energiereize aus Alltagsbewegungen auf das Gleichgewichtsorgan mit Zusatzreizen auf andere Wahrnehmungsquellen des Menschen versehen werden, und die Ersatzreizung für das Gehirn trainiert werden während reale Energiereize auf das Gleichgewichtsorgan vorhanden sind. Denn wenn die Zusatzreize bei bestimmten Bewegungen in er Echtwelt den Ersatzreizen bei entsprechenden Bewegungen in Anwendungen von virtuellen Realitäten gleich sind oder ähneln, kann dann das Ausbleiben von Reitzungen des menschlichen Gleichgewichtsorganes bei Anwendungen von virtuellen Realitäten trainiert werden, da ja die Ersatzreizungen bei Anwendungen von virtuellen Realitäten die im Alltag trainierte Zusatzreizung darstellt und vorhanden ist bei Anwendungen von virtuellen Realitäten. Der HMD könnte hierfür zum Beispiel auf der Stirne anstatt auf den Augen getragen werden, damit der Nutzer in den Genuss von seinem eigenen Sichtfeld kommt. Dies ist aber nicht nötig.This problem is solved by the features listed in claim 1. By the exclusive use of the elements causing the replacement stimulus for an additional stimulation of movements or accelerations taking place in the real world, the additional stimulation can be trained without discomfort in the training phases for virtual realities. Thus, in conjunction with stimulating elements of the HMD, the energy gains from everyday movements on the balance organ can be provided with additional stimuli to other sources of human perception, and the surrogate brain stimuli are trained while real energy levels are present on the balance organ. For if the additional stimuli for certain movements in the real world are equal or similar to the substitute stimuli with corresponding movements in applications of virtual realities, then the absence of tabs of the human organ of balance can be trained in applications of virtual reality, since the substitute irritation in applications of virtual reality Realities which is the additional stimulus trained in everyday life and is present in applications of virtual realities. For example, the HMD could be worn on the forehead instead of on the eyes to allow the user to enjoy his own field of vision. This is not necessary.

Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in dem Patentanspruch 2 angeben. Die Weiterbildung nach Anspruch 2 ermöglicht die Kamerabasierte „see through” eines HMD zu nutzen. Somit könnte sich ein Nutzer im Falle beispielsweise eines Mobile VR devices, das kabellos funktioniert, frei in der Welt bewegen, und Energieniveaus auf sein Gleichgewichtsorgan in Verbindung mit Zusatzreizereignissen in der Echtwelt trainieren, und sich auf eine Fehlen der Gleichgewichtsorganreizung in der virtuellen Welt vorbereiten, wenn dann nur noch die Zusatz- oder Ersatzreizungen vorhanden sind.A further advantageous embodiment of the invention is specified in the patent claim 2. The development according to claim 2 makes it possible to use the camera-based "see through" of an HMD. Thus, in the case of, for example, a mobile VR device that operates wirelessly, a user could freely roam the world and train energy levels on his balance organ in conjunction with extra-stimulus events in the real world, and prepare for a lack of balance organ stimulation in the virtual world, if then only the additional or replacement irritations are present.

Mit den folgenden Passagen sollen einige, der in den Patentansprüchen erwähnten Möglichkeiten im Einsatz beschrieben werden. Es dient nur als ein Beispiel der vielen Kombinationsmöglichkeiten, die sich aus den in den Patentansprüchen erwähnten Eigenschaften ableiten lassen. Ebenso sind erwähnte Technologietypen nur beispielhaft für die Möglichkeiten, die sich aus den Patentansprüchen ergeben, vor allem aber sind erwähnte Schallmuster und oder Frequenzen nur eine Ansatz dessen, was verwendet werden könnte.The following passages are intended to describe some of the possibilities mentioned in the claims in use. It serves only as an example of the many possible combinations that can be derived from the properties mentioned in the patent claims. Likewise, mentioned types of technology are only exemplary of the possibilities arising from the claims, but above all, mentioned sound patterns and or frequencies are only an approach of what could be used.

Beispiel 1:Example 1:

Ein Mobile VR device, das mittels Gummizügen, die um den ganzen Kopf reichen, an den Kopf des Nutzers befestigt wird, ist mit Vibrationselementen über den gesamten Umfang der Gummizüge ausgestattet, sowie in ihrem Inneren. Das integrierte Mobiltelefon ist mit Beschleunigungssensoren sowie einem 3-Achsen Gyrometer ausgestattet. Ein Prozessor des Mobiltelefons wertet die Sensorendaten aus und steuert den Betrieb der Vibrationselemente. Alle Komponenten beziehen ihren Energiebedarf aus dem Akku des Mobiltelefons. Die Kamera des Mobiltelefons ermöglicht das anzeigen der Außenwelt auf dem Display des Mobiltelefons und ist damit im Inneren des Mobile VR devices für den Nutzer sichtbar. Ein Nutzer trägt das Mobile VR device. Vom Nutzer nun gemachte Bewegungen werden von den Sensoren aufgezeichnet und von dem Prozessor ausgewertet. Jeder Bewegung, sowie deren Geschwindigkeit, wird nun von dem Controller ein passendes Betriebssignal für entsprechende Vibrationselemente zugeordnet, sodass durch das auslösen der Vibrationselemente jede Bewegung des Nutzers mit einem vibrationsbasierten Zusatzreiz am Kopf begleitet wird. Also beispielsweise dass dann eine Vorwärtsbewegung des Nutzers beispielsweise mit einem Vibrieren des oder der Vibrationselemente an der Stirnposition des Mobile VR devices begleitet wird, und beispielsweise eine Rückwärtsbewegung beispielsweise mit einer Vibration des oder der Vibrationselemente an der Hinterkopfposition des Mobile VR devices begleitet wird, sowie beispielsweise eine Bewegung des Nutzers nach rechts beispielsweise mit einem Auslösen der Vibrationselemente der rechten Seite des Mobile VR devices und damit der rechten Kopfseite des Nutzers begleitet wird, und beispielsweise eine Drehung des Nutzers nach rechts um die eigene Achse beispielsweise mit einem Auslösen der Vibrationselemente der rechten Seite des Mobile VR devices und damit der rechten Kopfseite des Nutzers begleitet wird, wobei bei der Drehung beispielsweise eine intervallmäßig unterbrochenes Vibrationssignal vorliegt, dessen Kürze oder Länge der Unterbrechungen die Geschwindigkeit der Drehung des Nutzers ausdrückt. Wenn der Nutzer dann bei der nächsten Anwendung von virtuellen Realitäten beispielsweise das gleiche Mobile VR device, oder einen Head Mounted Display trägt, der ebenso mit Vibrationselementen ausgestattet ist, und deren Steuerung der Computer übernimmt der auch die virtuellen Welten erzeugt, dann kann der Nutzer mit bereits trainierten Ersatzreizen konfrontiert werden. Als Basis für den Betrieb der Vibrationselemente an dem Head Mounted Display werden die in der virtuellen Welt herrschenden Beschleunigungen des Nutzers verwendet, die denen gleich oder ähnlich sind die der Nutzer in der Echtwelt bei ähnlichen oder gleichen Bewegungen erlebt. Somit wird der Nutzer mit den gleichen Vibrationsreizen angesprochen wie auch in der Echtwelt. Dem Gehirn des Nutzers dienen diese Vibrationsreize nun als Ersatz für die fehlenden Energiereizungen des Gleichgewichtsorgans.A Mobile VR device, which is attached to the user's head by means of elastic bands that extend around the entire head, is equipped with vibrating elements over the entire circumference of the elastics, as well as inside them. The integrated mobile phone is equipped with acceleration sensors and a 3-axis gyrometer. A processor of the mobile phone evaluates the sensor data and controls the operation of the vibrating elements. All components draw their energy needs from the battery of the mobile phone. The camera of the mobile phone makes it possible to display the outside world on the display of the mobile phone and is thus visible to the user inside the mobile VR device. A user wears the Mobile VR device. Movements made by the user are recorded by the sensors and evaluated by the processor. Each movement, as well as its speed, is now assigned by the controller a suitable operating signal for corresponding vibration elements, so that by triggering the vibration elements, each movement of the user is accompanied by a vibration-based additional stimulus on the head. For example, then that a forward movement of the user, for example, accompanied by a vibration of the vibrating elements or on the front position of the Mobile VR devices, and, for example, a backward movement is accompanied, for example, with a vibration of the vibration or the elements at the Hinterkopfposition the Mobile VR devices, and for example a movement of the user to the right, for example, accompanied by a triggering of the vibration elements of the right side of the mobile VR devices and thus the right side of the user's head, and for example a rotation of the user to the right about its own axis, for example, with a triggering of the vibration elements of the right side the mobile VR devices and thus the right side of the head of the user is accompanied, wherein during the rotation, for example, an interval interrupted vibration signal is present, the shortness or length of the interruptions, the speed of rotation of the User expresses. If the user then, for example, carries the same mobile VR device, or a head mounted display, which is also equipped with vibration elements in the next application of virtual reality, and whose control is the computer that also creates the virtual worlds, then the user with already trained replacement stimuli are confronted. As the basis for the operation of the vibration elements on the head mounted display, the prevailing in the virtual world accelerations of the user are used, which are the same or similar to those experienced by users in the real world in similar or the same movements. Thus, the user is addressed with the same vibration stimuli as in the real world. These vibration stimuli now serve the brain of the user as a substitute for the lack of energy impulses of the organ of equilibrium.

Beispiel 2:Example 2:

Ein Mobile VR device, das mittels Gummizügen die um den ganzen Kopf reichen an den Kopf des Nutzers befestigt wird, ist mit Kopfhörern an den Gummizügen ausgestattet. Das integrierte Mobiltelefon ist mit Beschleunigungssensoren sowie einem 3-Achsen Gyrometer ausgestattet. Ein Prozessor des Mobiltelefons wertet die Sensorendaten aus und steuert den Betrieb der Kopfhörer. Alle Komponenten beziehen ihren Energiebedarf aus dem Akku des Mobiltelefons. Die Kamera des Mobiltelefons ermöglicht das anzeigen der Außenwelt auf dem Display des Mobiltelefons und ist damit im inneren des Mobile VR devices für den Nutzer sichtbar. Ein Nutzer trägt das Mobile VR device. Vom Nutzer nun gemachte Bewegungen werden von den Sensoren aufgezeichnet und von dem Prozessor ausgewertet. Jeder Bewegung, sowie deren Geschwindigkeit, wird nun von dem Controller ein passendes akustisches Signal zugeordnet, sodass durch akustische Signale jede Bewegung des Nutzers mit einem akustikbasierten Zusatzreiz begleitet wird. Also beispielsweise das dann eine Vorwärtsbewegung des Nutzer beispielsweise mit einem 16000 Herz Ton auf beiden Lautsprechern begleitet wird, und beispielsweise eine Rückwärtsbewegung beispielsweise mit einem 80 Herz Ton auf beiden Lautsprechern begleitet wird, sowie beispielsweise eine Bewegung des Nutzers nach rechts beispielsweise mit einem 16000 Herz Ton auf dem rechten Lautsprecher begleitet wird, und beispielsweise eine Drehung des Nutzers nach rechts um die eigene Achse beispielsweise mit einem 16000 Herz Ton auf dem rechten Lautsprecher begleitet wird, wobei bei der Drehung beispielsweise eine intervallmäßige Unterbrechung des 16000 Herz Tones vorliegt, dessen Kürze oder Länge der Unterbrechungen die Geschwindigkeit der Drehung des Nutzers ausdrückt. Wenn der Nutzer dann bei der nächsten Anwendung von virtuellen Realitäten beispielsweise das gleiche Mobile VR device verwendet, oder einen Head Mounted Display trägt, der ebenso mit Lautsprechern ausgestattet ist, und deren Steuerung der Computer übernimmt der auch die virtuellen Welten erzeugt, dann kann der Nutzer mit bereits trainierten Ersatzreizen konfrontiert werden. Als Basis für den Betrieb der Lautsprecher an dem Head Mounted Display werden die in der virtuellen Welt herrschenden Beschleunigungen des Nutzers verwendet, die denen gleich oder ähnlich sind die der Nutzer in der Echtwelt bei ähnlichen oder gleichen Bewegungen erlebt. Somit wird der Nutzer mit den gleichen Akustikreizen angesprochen wie auch in der Echtwelt. Dem Gehirn des Nutzers dienen diese Akustikreize nun als Ersatz für die fehlenden Energiereizungen des Gleichgewichtsorgans.A mobile VR device, which is attached to the head of the user by means of elastic bands that extend around the entire head, is equipped with headphones on the elastics. The integrated mobile phone is equipped with acceleration sensors and a 3-axis gyrometer. A processor of the mobile phone evaluates the sensor data and controls the operation of the headphones. All components draw their energy needs from the battery of the mobile phone. The camera of the mobile phone makes it possible to display the outside world on the display of the mobile phone and is therefore visible to the user inside the mobile VR device. A user wears the Mobile VR device. Movements made by the user are recorded by the sensors and evaluated by the processor. Each movement, as well as their speed, is now assigned a suitable acoustic signal by the controller, so that every movement of the user is accompanied by acoustic signals with an acoustic-based additional stimulus. So for example, then a forward movement of the user is accompanied, for example, with a 16000 heart sound on both speakers, and for example, a backward movement is accompanied, for example with a 80 heart sound on both speakers, and for example a movement of the user to the right, for example, with a 16000 heart sound is accompanied on the right speaker, and for example, a rotation of the user is accompanied to the right about its own axis, for example, with a 16000 heart sound on the right speaker, the rotation, for example, is an intermittent interruption of the 16000 heart sound, its shortness or length the interruptions expresses the speed of rotation of the user. If, for example, the user then uses the same mobile VR device in the next application of virtual realities, or carries a head-mounted display that is also equipped with speakers and controls the computer that also generates the virtual worlds, then the user can be confronted with already trained spare stimuli. The basis for the operation of the speakers on the head-mounted display are used in the virtual world prevailing accelerations of the user, which are the same or similar to those experienced by the user in the real world in similar or the same movements. Thus, the user is addressed with the same acoustic stimuli as in the real world. These auditory stimuli now serve the brain of the user as a substitute for the lack of energy impulses of the organ of equilibrium.

Claims

Operating mode for Virtual Reality devices that visually depict virtual worlds or realities, such as head-mounted displays, augmented reality devices, video glasses, mobile-based devices that allow mobile phones in conjunction with a head-mounted adapter, as virtual Reality display and sensor devices to use, so in English-speaking so-called Mobile VR devices, or differently named devices of similar design, and all of these devices in the text now abbreviated HMD and summarized, so image-displaying devices in conjunction with lenses that the user before or the eyes to achieve the best possible field coverage to achieve, and by means of sensor technology, such as acceleration sensors or gyroscopes, or internal or external camera detection, or other technologies that provide tracking data, so that the Movements of the user from the real world into the virtual world can be transmitted, and that by me, Marc Ebel, patent pending devices, or elements, or operating modes for loudspeaker arrangements are also present, by means of light, heat, sound or infrasound or electrodeapplied pulses , provide for an alternative stimulation of human sensory perception, and thus provide for a symbolic alternative image in the real world of forces from the virtual worlds or realities, so symbolically depict forces that would affect the user in the real world when he movements or actions experience the virtual world in the real world, such as negative or positive acceleration, and thus the virtual forces that are missing in the real perception of the user, by possible simultaneous replacement events for other sensory organs, or by other patterns of perception for the organ of balance As in the case of infrasound, the operation and pattern generation of these ancillary elements is preferably done by the computing engine, which also generates virtual world or reality, and the instruction sets of the computational engine have been correspondingly extended, characterized in that the elements for spare irritation not be used for the mapping of forces in a virtual reality, but that the elements are used to substitute irritation to accompany the resulting in the movement of the user in the real world energy with an additional stimulus, and preferably this additional stimulus similar to the spare stimulus or This is the same as the user would experience if he is similarly moved or accelerated in the virtual world, using the data of the tracking sensors of the device to determine, for example, the directions and speeds of the user's movements in the real world, and a program this user movements and or accelerations in the real world and the resultant, for example, negative or positive accelerations and their energies assigns the appropriate additional stimuli, and this causes the corresponding devices, or elements or loudspeaker arrangements, these accompanying real world added irritations in the real world for a particular movement and its Energiereizaufkommen in the real world should be as identical as possible with the spare stimuli that are triggered in the real world, if a similar movement or acceleration takes place only in the virtual world without beschieb as having an energy counterpart in the real world, the program for operating these functions on a Processor, such as on FGPA basis because of the low latency, could run or, for example, on the source device on the otherwise created and calculated virtual worlds, or if, for example, use a mobile VR device t is, in which a mobile phone is integrated, so for example, a processor of the mobile phone could run the program for evaluation of the sensors and control the operation of the spare stimuli, which would be useful, since most of the tracking sensors of the mobile phone are used in Mobile VR devices , or in addition to external sensors.

Device according to claim 1, characterized in that in HMD's, which have a so-called see-through function, ie a function in which by means of one or more cameras, which are attached to the HMD, when wearing the HMD a view of the The outside world in which the cameras transmit the image of the outside world to the image-forming unit or units of the HMD, and thus the user of the HMD, although the worn HMD prevents the direct vision of the outside world, can see the outside world on the image-representing unit or units; and when the process described in claim 1 is running, the user can see his outside world on the one or more image forming units.