WO2014178477A1 - Head mounted display and method for providing contents by using same - Google Patents

Head mounted display and method for providing contents by using same Download PDF

Info

Publication number
WO2014178477A1
WO2014178477A1 PCT/KR2013/004988 KR2013004988W WO2014178477A1 WO 2014178477 A1 WO2014178477 A1 WO 2014178477A1 KR 2013004988 W KR2013004988 W KR 2013004988W WO 2014178477 A1 WO2014178477 A1 WO 2014178477A1
Authority
WO
WIPO (PCT)
Prior art keywords
hmd
eye image
image
present
right eye
Prior art date
Application number
PCT/KR2013/004988
Other languages
French (fr)
Korean (ko)
Inventor
박수왕
Original Assignee
인텔렉추얼디스커버리 주식회사
(주)소셜네트워크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사, (주)소셜네트워크 filed Critical 인텔렉추얼디스커버리 주식회사
Publication of WO2014178477A1 publication Critical patent/WO2014178477A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Definitions

  • the present invention relates to a head mounted display (HMD) and a content providing method using the same, and more particularly, to a HMD for providing content by separating a left eye image and a right eye image, and a content providing method using the same. .
  • HMD head mounted display
  • Head mounted display refers to various digital devices that can be worn on the head like glasses to provide multimedia content.
  • various wearable computers have been developed, and the HMD is also widely used.
  • the HMD can be combined with augmented reality technology and N screen technology to provide various conveniences to the user beyond simple display functions.
  • the user wearing the HMD can interact with the HMD in various situations. At this time, the HMD needs a simpler user interface to provide a better context aware service to the user.
  • An object of the present invention is to provide a better situational awareness service to a user wearing an HMD.
  • the present invention has an object to display the content so that only the user wearing the HMD can be recognized when displaying the content provided through the HMD.
  • the present invention has an object to provide a realistic video content to the user wearing the HMD.
  • the content providing method using a head-mounted display (HMD) obtaining the information of the target object; Acquiring an image of an external area using a camera unit; Scanning the target object in the acquired image; Displaying augmented reality information of the target object when the target object is detected in the acquired image; Generating scanning completion information of the external area; Characterized in that it comprises a.
  • HMD head-mounted display
  • the content providing method using a head-mounted display according to an embodiment of the present invention, the step of obtaining a source image; Separating the source image into a left eye image and a right eye image, wherein the left eye image and the right eye image each constitute at least a part of the source image; And displaying the separated left eye image on the first display unit of the HMD and the separated right eye image on the second display unit of the HMD; Characterized in that it comprises a.
  • the video content providing method using a head mounted display comprising the steps of: obtaining video content; Acquiring orientation information of the HMD using a sensor unit; Displaying the video content on a display unit based on the obtained orientation information; Obtaining relative distance information between at least one virtual object included in the video content and the HMD; And providing feedback to the HMD when the virtual object collides with the HMD.
  • HMD head mounted display
  • the user may be provided with a context awareness service including augmented reality information through the HMD.
  • the user may receive the detection result of the target object that he / she wants to find in augmented reality through the HMD, and thus may conveniently find the target object.
  • the scanning completion information of the corresponding area is provided so that the user does not need to repeatedly search for the same area.
  • the overlapped image can be provided to the user wearing the HMD.
  • a user who does not wear the HMD can provide contents that are not well recognized. .
  • the HMD adjusts the display orientation of the video content based on the orientation information, thereby providing the user with realistic video content such as viewing a real object.
  • the HMD can check whether the HMD or the real object collides with the virtual object of the video content and provide feedback correspondingly. Therefore, the HMD of the present invention can provide more realistic multimedia content to the user.
  • FIG. 1 is a block diagram illustrating an HMD according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram illustrating an HMD according to an embodiment of the present invention.
  • FIG. 3 is a schematic view showing an HMD according to another embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a content providing method according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a content providing method according to another embodiment of the present invention.
  • 6 to 9 are diagrams illustrating a specific embodiment of finding a target object using an HMD according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a content providing method according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a content providing method according to another embodiment of the present invention.
  • FIG. 12 to 16 illustrate a specific embodiment in which the HMD separates and displays a left eye image and a right eye image according to an embodiment of the present invention.
  • FIG 17 illustrates an embodiment in which the HMD of the present invention acquires a source image.
  • FIG. 18 is a flowchart illustrating a method of providing video content according to an embodiment of the present invention.
  • 19-22 illustrate specific methods of providing video content by the HMD according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an HMD 100 according to an embodiment of the present invention.
  • the HMD 100 of the present invention includes a processor 110, a display unit 120, a camera unit 130, a communication unit 140, a sensor unit 150, and a storage unit 160. can do.
  • the display unit 120 outputs an image on the display screen.
  • the display unit 120 outputs content executed in the processor 110 or outputs an image based on a control command of the processor 110.
  • the display unit 120 may display an image based on a control command of the external digital device 200 connected to the HMD 100.
  • the display unit 120 may display content being executed by the external digital device 200 connected to the HMD 100.
  • the HMD 100 may receive data from the external digital device 200 through the communication unit 140 and output an image based on the received data.
  • the camera unit 130 senses an image and transmits the sensed image to the processor.
  • the camera unit 130 may include a front camera unit (not shown) and an eye tracking camera unit (not shown).
  • the front camera unit may detect an image of the front direction of the HMD and provide it to the processor.
  • the eye tracking camera unit may detect the pupil position of the user wearing the HMD 100 to track the eyes of the user.
  • the camera unit 130 includes various types of imaging devices such as a depth camera module and an infrared camera module, as well as a general charge coupled device (CCD) or complementary metal-oxide semiconductor (CMOS) camera module.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the communication unit 140 may communicate with the external digital device 200 or the server using various protocols to transmit / receive data.
  • the communication unit 140 may access a server or a cloud through a network, and transmit / receive digital data, for example, content.
  • the HMD 100 may connect to the external digital device 200 using the communication unit 140.
  • the HMD 100 may receive display output information of content being executed by the connected external digital device 200 in real time, and output an image to the display unit 120 using the received information.
  • the sensor unit 150 may transmit a user input or an environment recognized by the HMD 100 to the processor 110 using at least one sensor mounted on the HMD 100.
  • the sensor unit 150 may include a plurality of sensing means.
  • the plurality of sensing means includes a gravity sensor, a geomagnetic sensor, a motion sensor, a gyro sensor, an acceleration sensor, an infrared sensor, an inclination sensor, an illuminance sensor, a proximity sensor, an altitude sensor, an olfactory sensor, a temperature Sensing means such as a sensor, a depth sensor, a pressure sensor, a bending sensor, an audio sensor, a video sensor, a microphone array, a global positioning system (GPS) sensor, a touch sensor, and the like may be included.
  • GPS global positioning system
  • the sensor unit 150 collectively refers to the various sensing means described above, and may sense various inputs of the user and the environment of the user, and may transmit a sensing result to allow the processor 110 to perform an operation accordingly.
  • the above-described sensors may be included in the HMD 100 as a separate element or integrated into at least one or more elements.
  • the sensor unit detects orientation information of the digital device 100 by using at least one of the various sensing means listed above, and transmits the detected orientation information to the processor 110.
  • the orientation information includes angle information of the digital device 100 with respect to at least one axis among x, y, and z axes.
  • the HMD 100 may include a detecting module for detecting a real object located in front of the HMD 100.
  • the detecting module detects a real object located in front of the HMD 100 and transmits position information of the corresponding real object to the processor 110.
  • the detecting module may include a camera unit 130.
  • the camera unit 130 may include a depth camera.
  • the HMD 100 may acquire an image through the camera unit 130 and perform a process such as image processing on the acquired image to detect a real object located in front of the HMD 100.
  • the HMD 100 may detect the relative distance between the HMD 100 and the real object.
  • the detecting module may include a distance sensor.
  • the HMD 100 may detect a real object in front of the HMD 100 using a distance sensor.
  • the distance sensor includes an infrared method, an ultrasonic method, and various other types of sensors capable of sensing a distance.
  • the HMD 100 may detect the relative distance between the HMD 100 and the real object using the distance sensor.
  • the storage unit 160 may store digital data including various contents such as video, audio, photographs, documents, applications, and the like.
  • the storage unit 150 may include various digital data storage media such as flash memory, random access memory (RAM), and solid state drive (SSD).
  • the storage unit 150 may store the content received by the communication unit 140 from the external digital device 200 or the server.
  • the processor 110 of the present invention may execute contents of the HMD 100 itself or contents received through data communication. It can also run various applications and process data inside the device. In addition, the processor 110 may control each unit of the HMD 100 described above, and may control data transmission and reception between the units.
  • the HMD 100 shown in FIG. 1 is a block diagram according to an embodiment of the present invention, in which blocks shown separately represent logically distinguishing elements of a device. Therefore, the elements of the above-described device may be mounted in one chip or in a plurality of chips according to the design of the device.
  • the HMD 100 includes a display unit 120 and a camera unit 130.
  • the display unit 120 displays an image based on a control command of a processor (not shown) of the HMD 100.
  • the display unit 120 may include a display screen to allow an image to be formed on the display screen.
  • the display unit 120 may project an image at a specific position in the front direction of the HMD 100 without having a separate display screen.
  • the display unit 120 may include a first display unit 120a and a second display unit 120b.
  • the first display unit 120a displays an image for the left eye of the user wearing the HMD 100
  • the second display unit 120b displays an image for the right eye of the user. Display.
  • the HMD 100 may separate a source image for displaying on the display unit 120 into a left eye image and a right eye image, respectively. In this case, the separated left eye image and right eye image may be displayed on the first display unit 120a and the second display unit 120b, respectively.
  • the camera unit 130 senses an image and transmits the sensed image to the processor.
  • the camera unit 130 may include at least one of a front camera unit and an eye tracking camera unit.
  • the camera unit 130 may have a field of view area of a preset range. That is, the camera unit 130 acquires an image in the viewing area and transfers the acquired image to the processor.
  • the HMD 100 may be connected to at least one external digital device 200 and operate based on a control command of the connected external digital device 200.
  • a separate pairing or communication connection may be performed for connecting between the HMD 100 and the external digital device 200, and the pairing or communication connection operation may be performed by a user input to the HMD 100 or the external digital device 200. It can be performed by.
  • the HMD 100 may provide a separate button or user interface for pairing or communicating with an external digital device 200, and receives a user input for the button or user interface to receive the HMD 100.
  • pairing or communication connection between the external digital device 200 and the external digital device 200 may be connected to at least one external digital device 200 and operate based on a control command of the connected external digital device 200.
  • a separate pairing or communication connection may be performed for connecting between the HMD 100 and the external digital device 200, and the pairing or communication connection operation may be performed by a user input to the HMD 100 or the external digital device 200. It can be performed by.
  • the HMD 100 may provide a separate button or user
  • the external digital device 200 includes various types of digital devices capable of controlling the HMD 100.
  • the external digital device 200 includes a smart phone, a PC, a personal digital assistant (PDA), a notebook, a tablet PC, a media player, and the like, and various types of digital devices capable of controlling the operation of the HMD. It includes.
  • the HMD 100 transmits / receives data with the external digital device 200 using various wired / wireless communication means.
  • usable wireless communication means include NFC (Near Field Communication), Zigbee, infrared communication, Bluetooth, Wi-Fi, the present invention is not limited to this.
  • the HMD 100 may be connected to the external digital device 200 to perform communication by using any one of the above-mentioned communication means or a combination thereof.
  • FIGS. 4 and 5 are flowcharts illustrating a content providing method according to an embodiment of the present invention. 4 and 5 described below may be performed by the HMD 100 of the present invention. That is, the processor 110 of the HMD 100 illustrated in FIG. 1 may control each step of FIGS. 4 and 5. Meanwhile, when the HMD 100 is controlled by the external digital device 200 as in the embodiment of FIG. 3, the HMD 100 may be configured based on the control command of the corresponding external digital device 200 in FIGS. 4 and 5. Each step can be performed.
  • the HMD of the present invention acquires information of a target object (S410).
  • the target object is an object that the user of the HMD is to find, and includes various types of visible objects such as objects, characters, figures, trademarks, and characters.
  • Information of the target object may be obtained based on a user input for setting the target object.
  • the user may set the target object using various types of user inputs such as a touch input, a voice input, or a gaze input to the HMD.
  • the user input for setting the target object may be received through an external digital device connected to the HMD.
  • the HMD acquires information of the target object, for example, image information of the target object.
  • the external digital device connected to the HMD receives a user input for setting the target object, the corresponding external digital device may transmit information of the selected target object to the HMD.
  • the HMD of the present invention acquires an image of an external area by using a camera unit (S420).
  • the outer area is an area in the front direction of the HMD, and may be obtained by the front camera unit provided in the HMD.
  • the HMD of the present invention determines whether a target object is detected in the acquired image (S430). That is, the HMD may scan whether at least a part of the image of the target object exists in the acquired image based on the information of the target object acquired in operation S410.
  • the processor of the HMD can perform scanning by various means such as image processing.
  • the HMD of the present invention displays augmented reality information of the corresponding target object (S440).
  • the HMD may display the augmented reality information in an area corresponding to the location of the target object.
  • the augmented reality information may be information previously stored in a storage unit of the HMD or information received in real time through a communication unit.
  • the HMD of the present invention When the scanning of the image of the external area acquired by the camera unit is completed as described above, the HMD of the present invention generates scanning completion information of the external area (S450).
  • the scanning completion information is information indicating that the detection of the target object for the corresponding external area is completed and may be provided in various embodiments.
  • the HMD may provide scanning completion information of the external area in the form of painting information overlaid on the external area.
  • the painting information may include at least one of a preset color, shade, and pattern.
  • the HMD overlays and displays the generated painting information on the corresponding external area, and may indicate that the external area is a pre-scanned area.
  • the HMD can use various sensing information to map the scanning completion information to the corresponding external region.
  • the HMD may identify an external area corresponding to the scanning completion information by using acquired image information, a sensing value of a gyro sensor, or a combination thereof.
  • the HMD may identify the external area corresponding to the scanning completion information based on the at least one detected marker.
  • the marker is a predetermined identifier for distinguishing an external area, and may include a barcode, a QR code, an RFID, a color code, an image code, and the like.
  • the HMD of the present invention can provide the corresponding scanning completion information to the user.
  • the HMD determines whether an external area in the front direction of the HMD is a prescan area (S510). Whether the external area is a pre-scanned area may be determined based on whether scanning completion information of the corresponding external area is previously generated. In this case, the HMD may identify the corresponding external area by using various sensing information. According to an embodiment of the present invention, the HMD may determine whether the external area is a previously scanned area by using image information acquired through a camera unit, a sensing value of a gyro sensor, or a combination thereof.
  • the HMD may determine whether the external area is a previously scanned area based on at least one detected marker.
  • the marker may include a barcode, a QR code, an RFID, a color code, an image code, and the like as described above, but the present invention is not limited thereto.
  • the HMD of the present invention displays scanning completion information of the corresponding external area (S520).
  • the scanning completion information is information generated in step S450 of FIG. 4 and may include painting information overlaid on a corresponding external area.
  • the painting information may include at least one of a preset color, shade, and pattern.
  • the HMD overlays and displays the generated painting information on the corresponding external area, and may indicate that the external area is a pre-scanned area.
  • steps S510 and S520 of FIG. 5 may be performed before step S420 of FIG. 4, or may be performed after step S420. That is, according to an embodiment of the present invention, regardless of whether the step S420 of FIG. 4 is performed, the HMD may determine whether the external area in the front direction is a previously scanned area by using a sensing value of the gyro sensor. Can be. In addition, according to another embodiment of the present invention, the HMD may determine whether the external area is a previously scanned area by using an image acquired through the camera unit.
  • 6 to 9 illustrate a specific embodiment of searching for the target object 305 using the HMD 100 according to an embodiment of the present invention.
  • the user 10 wearing the HMD 100 sets the book as the target object 305 to find a specific book in the library.
  • FIG. 6 illustrates an embodiment in which the HMD 100 of the present invention detects the target object 305 in the external area 300 in the forward direction.
  • the HMD 100 according to an embodiment of the present invention acquires an image of the external area 300 by using a camera unit, and scans the target object 305 from the image.
  • the external area 300 in which the image is obtained is an area located in the forward viewing area 102 of the HMD 100.
  • the HMD may display augmented reality information 320 of the target object 305.
  • the augmented reality information 320 is displayed by the display unit of the HMD 100.
  • the HMD 100 may display the augmented reality information 320 by overlaying it on the target object 305 or display the area in a region corresponding to the position of the target object 305. As such, by displaying the augmented reality information 320 of the target object 305, the HMD 100 may inform the location of the target object 305 that the user 10 wants to find.
  • FIG. 7 illustrates an embodiment in which the HMD 100 displays the scanning completion information 340 of the external areas 300a and 300b.
  • the HMD 100 of the present invention looks at the second field of view 102 ′ after completing scanning of the target object with respect to the first field of view 102.
  • An outer area 300a is located in the first viewing area 102, and outer areas 300a and 300b are located in the second viewing area 102 ′.
  • the HMD 100 of the present invention when scanning of the external area 300a is completed, the HMD 100 of the present invention generates the scanning completion information 340 of the external area 300a.
  • the scanning completion information 340 is painting information overlaid on the corresponding outer area 300a and may include at least one of a preset color, a shadow, and a pattern.
  • the HMD 100 determines whether the outer regions 300a and 300b located in the second field of view 102 ′ are previously scanned. Determine whether or not. Whether the external areas 300a and 300b are the previously scanned areas may be determined by whether there is scanning completion information of the corresponding external area.
  • the HMD 100 may identify the external regions 300a and 300b using various sensing information. According to the embodiment of FIG. 7, the HMD 100 may identify the external areas 300a and 300b by using image information obtained through the camera unit, a sensing value of a gyro sensor, or a combination thereof. Since the external area 300a is a scanning-completed area, the HMD 100 overlays and displays the scanning completion information 340 of the external area 300a on the corresponding external area 300a. On the other hand, since the external area 300b is an area in which scanning is not completed, the HMD does not display the scanning completion information corresponding to the external area 300b. The HMD 100 of the present invention may perform scanning of the target object on the external area 300b in which scanning is not completed.
  • FIG. 8 illustrates another embodiment in which the HMD 100 displays the scanning completion information 340 of the external areas 300a and 300b.
  • the same or corresponding parts as those of the embodiment of FIG. 7 will be omitted.
  • the HMD can identify the outer region based on the at least one detected marker 342a, 342b.
  • preset markers may be located at predetermined intervals in the outer region.
  • the marker is a predetermined identifier for distinguishing an external area, and may include a barcode, a QR code, an RFID, a color code, an image code, and the like.
  • the HMD can detect markers 342a and 342b in the forward direction.
  • the HMD 100 can identify that the outer regions 300a and 300b corresponding to the markers 342a and 342b are located in the forward direction of the HMD 100, respectively. Since the external area 300a is a scanning-completed area, the HMD 100 overlays and displays the scanning completion information 340 of the external area 300a on the corresponding external area 300a. On the other hand, since the external area 300b is an area in which scanning is not completed, the HMD does not display the scanning completion information corresponding to the external area 300b.
  • the HMD 100 of the present invention displays the scanning completion information of the corresponding area on the target object, that is, the area where the scanning of the book is completed. Accordingly, the user 10 wearing the HMD 100 may recognize an area where scanning is completed in the current viewing area 102 and find a target object in the area where scanning is not completed.
  • FIGS. 10 and 11 are flowcharts illustrating a content providing method according to an embodiment of the present invention.
  • Each step of FIGS. 10 and 11 described below may be performed by the HMD 100 of the present invention. That is, the processor 110 of the HMD 100 illustrated in FIG. 1 may control each step of FIGS. 10 and 11. Meanwhile, when the HMD 100 is controlled by the external digital device 200 as in the embodiment of FIG. 3, the HMD 100 may be configured based on the control command of the corresponding external digital device 200. Each step can be performed.
  • the HMD of the present invention acquires a source image (S1010).
  • the source image is an image to be displayed on the display unit of the HMD, and includes various kinds of images such as display images, icons, text, and symbols of various contents.
  • the source image includes augmented reality information corresponding to a specific object.
  • the HMD of the present invention separates the source image into a left eye image and a right eye image (S1020).
  • the left eye image is an image for the left eye of the user wearing the HMD
  • the right eye image is an image for the right eye of the user.
  • the left eye image and the right eye image overlap each other to form a source image.
  • the HMD can separate a source image into a left eye image and a right eye image by various methods.
  • the HMD can separate a source image into a left eye image and a right eye image by character units.
  • the HMD may separate the source image into a left eye image and a right eye image based on a predetermined pattern. Specific embodiments thereof will be described in detail with reference to FIGS. 12 to 13.
  • the HMD of the present invention displays the separated left eye image and right eye image on the first display unit and the second display unit, respectively (S1030).
  • the first display unit displays an image for the left eye of the user wearing the HMD, that is, the left eye image
  • the second display unit displays an image for the right eye of the user, that is, the right eye image.
  • the HMD can adjust the display interval of the left eye image and the right eye image to cross each other. A detailed embodiment thereof will be described in detail with reference to FIG. 14.
  • the HMD of the present invention may detect the gaze of a user wearing the HMD (S1110).
  • the HMD can detect the pupil position of the user wearing the HMD using the provided eye tracking camera unit, and can track the gaze of the user by using the pupil position of the detected user.
  • the HMD of the present invention adjusts the display position of at least one of the left eye image and the right eye image based on the detected gaze of the user (S1120). At this time, the HMD adjusts the display position so that the left eye image and the right eye image overlap exactly and are shown to the user.
  • the HMD calculates at least one display position shift factor of the left eye image and the right eye image based on the detected gaze of the user, and uses the calculated position shift factor to determine the left eye image and the right eye image. At least one of them may be displayed by being moved from the basic display position. Accordingly, the HMD can display the separated left eye image and the right eye image so as to overlap with each other's eyes. Specific embodiments thereof will be described in detail with reference to FIGS. 15 and 16.
  • FIG. 12 to 16 illustrate a specific embodiment in which the HMD 100 separates and displays a left eye image and a right eye image according to an embodiment of the present invention.
  • the HMD 100 may divide and display the source image 400 in units of characters.
  • the HMD 100 generates a left eye image “7 8” and a right eye image “5 1” by separating the source image “7581” by character units.
  • the HMD 100 displays the separated left eye images “7 8”, 420a and right eye images “5 1”, 420b on the first display unit 120a and the second display unit 120b, respectively.
  • the left eye image (“7 8”, 420a) and the right eye image (“5 1”, 420b) overlap each other and the source image (“7851”). , 400) is shown to the user in the same or similar form.
  • the HMD 100 may separate the source image 400 into a left eye image 430a and a right eye image 430b based on a preset pattern.
  • the source image “7581” may be split into a specific pattern and divided into a left eye image 430a and a right eye image 430b.
  • the HMD 100 displays the separated left eye image 430a and the right eye image 430b on the first display unit 120a and the second display unit 120b, respectively.
  • the left eye image 430a and the right eye image 430b overlap each other to form the same or similar to the source image (“7851”, 400). Will be shown to the user.
  • the HMD 100 may include a left eye image 440a displayed on the first display unit 120a and a right eye image 440b displayed on the second display unit 120b.
  • the display intervals can be adjusted to intersect each other.
  • the HMD 100 displays the left eye image 440a on the first display unit 120a for a predetermined time T1, and the right eye image 440b on the second display unit 120b.
  • T1 a predetermined time
  • the right eye image 440b on the second display unit 120b.
  • the HMD 100 displays the right eye image 440b on the second display unit 120b for a predetermined time T2
  • the left eye image on the first display unit 120a is shown in FIG. 14A. 14A, the HMD 100 displays the left eye image 440a on the first display unit 120a for a predetermined time T1, and the right eye image 440b on the second display unit 120b.
  • the HMD 100 displays the left eye image 440a on the first display unit 120a and the right eye image 440b on the second display unit 120b. ) May not be displayed. That is, the HMD 100 according to the embodiment of the present invention may alternately display the left eye image 440a and the right eye image 440b. Thus, even if the left eye image 440a and the right eye image 440b are not displayed at the same time. The afterimage of each image is left to the user wearing the HMD 100 to recognize the same or similar image as the source image 400.
  • the HMD 100 when the HMD 100 separates and displays the source image 400 into the left eye image and the right eye image, the corresponding source image 400 wears the HMD 100. It is only visible to the user. That is, since the left eye image and the right eye image do not appear to overlap with the person who does not wear the HMD 100, the source image may not be recognized. Therefore, the HMD 100 according to the embodiment of the present invention enables the secure display of the source image 400.
  • 15 and 16 illustrate a method for displaying a left eye image and a right eye image according to another embodiment of the present invention.
  • the HMD 100 detects the gaze 105 of the user wearing the HMD 100, and the left eye image 450a and the right eye image based on the detected gaze 105. 450b can be displayed.
  • the gaze 105 of a user wearing the HMD 100 may be different for each user, and may be changed in real time even with the same user. Accordingly, as illustrated in FIG. 15, the overlap image 480 of the left eye image 450a and the right eye image 450b may be distorted unlike the source image to the user wearing the HMD 100. In this way, if the left eye image 450a and the right eye image 450b do not exactly overlap with the user's line of sight 105, the user may not correctly recognize the source image.
  • the HMD 100 may change the display positions of the left eye image 450a and the right eye image 450b based on the user's gaze 105. That is, the HMD 100 detects the user's gaze 105 using the eye tracking camera unit, and the left eye image 450a and the right eye image 450b are exactly overlapped with the detected user's gaze 105.
  • the display position shift factors 25a and 25b are calculated.
  • the display position shift factors 25a and 25b may be calculated for both the left eye image 450a and the right eye image 450b, or may be calculated for either one.
  • the HMD moves and displays at least one of the left eye image 450a and the right eye image 450b from the basic display position by using the calculated position shift factors 25a and 25b. do.
  • the left eye image 450a and the right eye image 450b are exactly overlapped to form an overlap image 480 'which is the same as or similar to the source image.
  • FIG 17 is a diagram illustrating an embodiment in which the HMD 100 of the present invention acquires a source image.
  • the HMD 100 may acquire a source image in various ways.
  • the HMD 100 may obtain augmented reality information as the source image.
  • the HMD 100 may detect a specific marker 415 and acquire augmented reality information corresponding to the detected marker 415 as a source image.
  • the marker 415 is a predetermined identifier for providing augmented reality information, and includes various kinds of markers such as a barcode, a QR code, an RFID, a color code, and an image code.
  • the user 10 wearing the HMD 100 may receive the augmented reality information “7581” corresponding to the marker 415 detected by the HMD 100 as the overlap image 480.
  • the HMD 100 may display the left eye image and the right eye image of the augmented reality information “7581” based on the gaze 105 of the user 10.
  • the HMD 100 may acquire augmented reality information provided when tagged with a preset device as a source image.
  • a preset device such as a digital door lock or an automated teller machine (ATM)
  • the HMD 100 may acquire augmented reality information such as a password.
  • the HMD 100 may separate the acquired augmented reality information into a left eye image and a right eye image, and display them on the first display unit and the second display unit, respectively.
  • FIG. 18 is a flowchart illustrating a method of providing video content according to an embodiment of the present invention.
  • Each step of FIG. 18 described below may be performed by the HMD 100 of the present invention. That is, the processor 110 of the HMD 100 shown in FIG. 1 may control each step of FIG. 18. Meanwhile, when the HMD 100 is controlled by the external digital device 200 as in the embodiment of FIG. 3, the HMD 100 performs each step of FIG. 18 based on a control command of the corresponding external digital device 200. Can be done.
  • the HMD of the present invention acquires video content (S1910).
  • the HMD can obtain the video content from a connected external digital device.
  • the HMD can obtain the video content from a server via a communication unit.
  • the video content may include data stored in a storage unit of the HMD.
  • the HMD can detect at least one marker and acquire the video content with augmented reality information corresponding to the marker.
  • the marker may be a predetermined identifier for providing augmented reality information, and may include a barcode, a QR code, an RFID, a color code, an image code, and the like.
  • the HMD may acquire the video content as augmented reality information provided when tagged with a preset device.
  • the HMD of the present invention acquires orientation information of the HMD using the sensor unit (S1920).
  • the orientation information may include angle information of the HMD with respect to at least one axis among x, y and z axes. That is, according to an embodiment of the present invention, the orientation information may include azimuth information of the HMD with respect to at least one of the x-axis, the y-axis, and the z-axis. In addition, according to another embodiment of the present invention, the orientation information may include rotation angle information of the HMD about at least one axis of the x-axis, y-axis and z-axis.
  • the rotation angle information of the HMD about the arbitrary x-axis, y-axis, and z-axis may be defined as roll, pitch, and yaw information, respectively.
  • the present invention is not limited thereto, and each rotation angle information about the x-axis, y-axis, and z-axis may be appropriately set to any one of the roll, pitch, and yaw information.
  • the HMD of the present invention displays the video content on the display unit based on the obtained orientation information (S1930).
  • the HMD can adjust the display direction of the video content based on the obtained orientation information. For example, when the orientation information indicates that the HMD is inclined at an angle of ⁇ to the left in the reference direction, the HMD may display the video content by tilting it to the right at an angle of ⁇ . That is, when displaying the video content, the HMD can compensate for and display the tilted angle of the HMD. Thus, even if the posture of the user wearing the HMD changes, the video content displayed through the HMD can be provided to the user as if displayed at a fixed position.
  • the HMD of the present invention obtains relative distance information between at least one virtual object included in the video content and the HMD (S1940).
  • the HMD can obtain location information of at least one virtual object in the video content being displayed.
  • the location information of the virtual object may be included as additional information in the obtained video content, or the HMD may be obtained through image processing.
  • video content may include various simulation games, and various visual objects appearing in the simulation game may be included in the virtual object.
  • the HMD obtains distance information between the virtual object and the HMD in real time by using the position information of the virtual object and the orientation information of the HMD.
  • the HMD of the present invention determines whether the virtual object and the HMD collide with each other (S1950).
  • the HMD of the present invention determines whether a location collision occurs between the virtual object and the HMD based on the distance information between the virtual object and the HMD obtained in step S1940.
  • the HMD may provide the feedback in various forms.
  • the HMD can provide vibration feedback through the HMD or a device connected to the HMD.
  • the HMD can provide various kinds of visual feedback to the display unit.
  • the HMD may include a voice output unit, for example, an earphone, and may provide various types of voice feedback to the voice output unit.
  • the HMD may provide feedback including at least one of the vibration feedback, visual feedback, and voice feedback. Accordingly, the user wearing the HMD can recognize that a collision between the virtual object and the HMD has occurred.
  • the HMD may detect a real object located in front of the HMD.
  • the real object may include various objects such as a body of a user's hands and feet, a remote controller, and the like.
  • the HMD of the present invention can detect a real object by using a detection module, and obtain position information of the real object.
  • the HMD further obtains relative distance information between the real object and the virtual object, and determines whether the real object and the virtual object collide with each other. If the real object and the virtual object collide with each other, the HMD can provide feedback as described above in operation S1960.
  • 19 to 22 illustrate a specific method of providing video content by the HMD 100 according to an embodiment of the present invention.
  • FIG. 19 shows how the HMD 100 of the present invention displays video content on a display unit.
  • the HMD 100 may display at least some areas of the video content.
  • the area is referred to as the display area 40.
  • the display area 40 of the video content includes at least one virtual object 500a, 500b, or 500c.
  • Reference numeral 32 designates an orientation of the HMD 100.
  • the HMD 100 obtains the orientation 32 information of the HMD 100 using the sensor unit.
  • the orientation 32 information includes angle information of the HMD 100 with respect to at least one of the x-axis, the y-axis, and the z-axis.
  • the x-axis, the y-axis, and the z-axis shown in FIGS. 19 and 20 show examples of three axes based on arbitrary directions, and the present invention is not limited thereto.
  • the HMD 100 adjusts the display orientation 20 of the video content based on the obtained orientation 32 information.
  • FIG. 20 illustrates a state in which the HMD 100 of FIG. 19 is inclined at an angle ⁇ in a counterclockwise direction with respect to the x-axis.
  • the HMD 100 of the present invention obtains new orientation 32 'information of the HMD 100 through the sensor unit.
  • the HMD 100 changes the display area of video content from 40 to 40 'based on the new orientation 32' information.
  • the display area 40 ′ is an area in a direction inclined by an angle ⁇ in a counterclockwise direction with respect to the x axis in the display area 40 of FIG. 19. That is, the HMD 100 may display a new display area 40 'in response to the orientation change of the HMD 100.
  • the display area 40 ' includes virtual objects 500a and 500b of video content. Therefore, the HMD 100 may display the virtual objects 500a and 500b included in the display area 40 '. However, the HMD 100 may not display the virtual object 500c not included in the display area 40 '.
  • the HMD 100 may change the display orientation of the video content from 20 to 20 'based on the acquired new orientation 32' information.
  • the HMD 100 corresponds to the orientation 32 ′ of the HMD 100 inclined at an angle ⁇ in the counterclockwise direction with respect to the x axis, so that the display orientation of the video content is clocked with respect to the x axis. Can be tilted at an angle of ⁇ in the direction.
  • the virtual objects 500a and 500b included in the video content may also be tilted at an angle ⁇ in the clockwise direction with respect to the x-axis and displayed on the HMD 100.
  • the HMD 100 of the present invention may compensate for and display an inclination angle of the HMD 100. Therefore, even if the posture of the user wearing the HMD 100 changes, the video content displayed through the HMD 100 and the virtual objects 500a and 500b included therein may be provided to the user as if they are displayed at a fixed position. have.
  • the HMD 100 of the present invention may acquire location information of the virtual objects 500a, 500b, and 500c in the display area 40.
  • the HMD may acquire distance information between the virtual objects 500a, 500b, and 500c and the HMD in real time using the location information of the virtual objects 500a, 500b and 500c and the orientation 32 information of the HMD.
  • a positional collision occurs between the virtual object 500c and the HMD 100.
  • HMD 100 may provide feedback in response to such a location conflict.
  • HMD 100 may provide visual feedback 600 as shown in FIG. 21.
  • the HMD 100 may provide vibration feedback, voice feedback, and the like. Accordingly, the user wearing the HMD 100 can recognize that a collision has occurred between the virtual object 500c and the HMD 100.
  • FIG. 22 illustrates a method of providing video content when a virtual object collides with a real object 14 located in front of the HMD 100 according to another embodiment of the present invention.
  • the HMD 100 may detect the real object 14 located in front of the HMD 100 using the detecting module.
  • the real object 14 may include various objects such as a body such as a hand and a foot of the user 10, a remote controller, and other tools.
  • the user 10 wearing the HMD 100 may interact with the virtual objects 500a, 500b, and 500c of the video content using the real object 14.
  • the HMD 100 obtains the position information of the real object 14 using the detecting module, and calculates relative distance information between the real object 14 and the virtual objects 500a, 500b, and 500c.
  • the HMD 100 determines whether the real object 14 and the virtual objects 500a, 500b, and 500c collide with each other. In the embodiment of FIG. 22, a positional conflict occurs between the virtual object 500b and the real object 14. In response to the collision, the HMD 100 may provide visual feedback 600, vibration feedback, voice feedback, and the like, as shown. Accordingly, a user wearing the HMD 100 can recognize that a collision has occurred between the virtual object 500b and the real object 14.
  • each operation is performed by the control of the external digital device 200 connected to the HMD 100.
  • the HMD described in the present invention can be changed and replaced with various devices according to the purpose of the present invention.
  • the HMD of the present invention includes various devices capable of providing a display by being worn by a user, such as eye mounted display (EMD), eyeglass, eyepiece, eye wear, HWD (Head Worn Display), and used in the present invention. It is not limited to the said term.
  • EMD eye mounted display
  • HWD Head Worn Display
  • the present invention may be applied, in whole or in part, to various digital devices including HMDs.

Abstract

The present invention relates to a head mounted display (HMD) for providing contents separated into a left eye image and a right eye image and a method for providing the contents by using the same. To this end, the present invention provides a head mounted display including: a processor for controlling the operation of the HMD; and a display unit for outputting an image according to a command of the processor, characterized in that the display unit includes a first display unit and a second display unit, and the processor separates a source image obtained into a left eye image and a right eye image displayed respectively on the first display unit and the second display unit, the left and the right eye image constituting at least a part of the source image.

Description

[규칙 제26조에 의한 보정 21.06.2013]　헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법[Revision according to Rule 26.21.06.2013] Head mounted display and content providing method using the same
본 발명은, 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 이를 이용한 콘텐츠 제공 방법에 관한 것으로, 더욱 상세하게는 좌안 영상과 우안 영상을 분리하여 콘텐츠를 제공하는 HMD 및 이를 이용한 콘텐츠 제공 방법에 관한 것이다.The present invention relates to a head mounted display (HMD) and a content providing method using the same, and more particularly, to a HMD for providing content by separating a left eye image and a right eye image, and a content providing method using the same. .
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합 되어 유저에게 각종 편의를 제공할 수 있다.Head mounted display (HMD) refers to various digital devices that can be worn on the head like glasses to provide multimedia content. In accordance with the trend of light weight and miniaturization of digital devices, various wearable computers have been developed, and the HMD is also widely used. The HMD can be combined with augmented reality technology and N screen technology to provide various conveniences to the user beyond simple display functions.
HMD를 착용한 유저는 다양한 상황에서 HMD와 인터랙션을 수행할 수 있다. 이때, HMD가 유저에게 더 나은 상황 인식 서비스(Context Aware Service)를 제공하기 위해서는 보다 간편한 유저 인터페이스가 필요하다.The user wearing the HMD can interact with the HMD in various situations. At this time, the HMD needs a simpler user interface to provide a better context aware service to the user.
본 발명은 HMD를 착용한 유저에게 더 나은 상황 인식 서비스를 제공하기 위한 목적을 가지고 있다.An object of the present invention is to provide a better situational awareness service to a user wearing an HMD.
특히, 본 발명은 HMD를 통해 제공 되는 콘텐츠를 디스플레이 할 때, 해당 콘텐츠를 HMD를 착용한 유저만 인식할 수 있도록 디스플레이 하기 위한 목적을 가지고 있다.In particular, the present invention has an object to display the content so that only the user wearing the HMD can be recognized when displaying the content provided through the HMD.
또한, 본 발명은 HMD를 착용한 유저에게 실감나는 비디오 콘텐츠를 제공하기 위한 목적을 가지고 있다.In addition, the present invention has an object to provide a realistic video content to the user wearing the HMD.
상기와 같은 과제를 해결하기 위해, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법은, 타겟 오브젝트의 정보를 획득하는 단계; 카메라 유닛을 이용하여 외부 영역의 이미지를 획득하는 단계; 상기 획득된 이미지에서 상기 타겟 오브젝트를 스캐닝 하는 단계; 상기 획득된 이미지에서 상기 타겟 오브젝트가 디텍트 될 경우, 상기 타겟 오브젝트의 증강 현실 정보를 디스플레이 하는 단계; 및 상기 외부 영역의 스캐닝 완료 정보를 생성하는 단계; 를 포함하는 것을 특징으로 한다.In order to solve the above problems, the content providing method using a head-mounted display (HMD) according to an embodiment of the present invention, obtaining the information of the target object; Acquiring an image of an external area using a camera unit; Scanning the target object in the acquired image; Displaying augmented reality information of the target object when the target object is detected in the acquired image; Generating scanning completion information of the external area; Characterized in that it comprises a.
또한, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법은, 소스 영상을 획득하는 단계; 상기 소스 영상을 좌안 영상 및 우안 영상으로 분리하는 단계, 상기 좌안 영상 및 우안 영상은 각각 상기 소스 영상의 적어도 일부를 구성함; 및 상기 분리된 좌안 영상을 상기 HMD의 제 1 디스플레이 유닛에, 상기 분리된 우안 영상을 상기 HMD의 제 2 디스플레이 유닛에 각각 디스플레이 하는 단계; 를 포함하는 것을 특징으로 한다.In addition, the content providing method using a head-mounted display (HMD) according to an embodiment of the present invention, the step of obtaining a source image; Separating the source image into a left eye image and a right eye image, wherein the left eye image and the right eye image each constitute at least a part of the source image; And displaying the separated left eye image on the first display unit of the HMD and the separated right eye image on the second display unit of the HMD; Characterized in that it comprises a.
또한, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(HMD)를 이용한 비디오 콘텐츠 제공 방법은, 비디오 콘텐츠를 획득하는 단계; 센서 유닛을 이용하여 상기 HMD의 오리엔테이션 정보를 획득하는 단계; 상기 획득된 오리엔테이션 정보에 기초하여 상기 비디오 콘텐츠를 디스플레이 유닛에 디스플레이 하는 단계; 상기 비디오 콘텐츠에 포함된 적어도 하나의 버츄얼 오브젝트와 상기 HMD간의 상대적 거리 정보를 획득하는 단계; 및 상기 버츄얼 오브젝트와 상기 HMD가 충돌할 경우, 상기 HMD로 피드백을 제공하는 단계; 를 포함하는 것을 특징으로 한다.In addition, the video content providing method using a head mounted display (HMD) according to an embodiment of the present invention, the method comprising the steps of: obtaining video content; Acquiring orientation information of the HMD using a sensor unit; Displaying the video content on a display unit based on the obtained orientation information; Obtaining relative distance information between at least one virtual object included in the video content and the HMD; And providing feedback to the HMD when the virtual object collides with the HMD. Characterized in that it comprises a.
본 발명의 실시예에 따르면, 유저는 HMD를 통해 증강현실 정보를 포함한 상황 인식 서비스를 제공받을 수 있다.According to an embodiment of the present invention, the user may be provided with a context awareness service including augmented reality information through the HMD.
본 발명의 일 실시예에 따르면, 유저는 자신이 찾고자 하는 타겟 오브젝트의 디텍트 결과를 HMD를 통해 증강현실로 제공 받을 수 있으며, 이를 통해 해당 타겟 오브젝트를 편리하게 찾을 수 있다.According to an embodiment of the present invention, the user may receive the detection result of the target object that he / she wants to find in augmented reality through the HMD, and thus may conveniently find the target object.
또한 본 발명의 실시예에 따르면, HMD를 착용한 유저가 현재 바라보는 영역이 기 스캔 된 영역일 경우에는, 해당 영역의 스캐닝 완료 정보를 제공함으로 유저가 불필요하게 동일한 영역을 반복해서 검색하지 않도록 해준다.In addition, according to an embodiment of the present invention, when the area currently viewed by the user wearing the HMD is a previously scanned area, the scanning completion information of the corresponding area is provided so that the user does not need to repeatedly search for the same area. .
본 발명의 다른 실시예에 따르면, HMD를 착용한 유저에게만 인식될 수 있는 콘텐츠를 제공할 수 있다.According to another embodiment of the present invention, it is possible to provide content that can only be recognized by a user wearing the HMD.
또한, HMD를 착용한 유저의 시선을 디텍트하고 이에 기초하여 좌안 영상 및 우안 영상을 디스플레이 하므로, HMD를 착용한 유저에게 정확히 오버랩 되는 영상을 제공할 수 있다.In addition, since the gaze of the user wearing the HMD is detected and the left eye image and the right eye image are displayed based on the eyes, the overlapped image can be provided to the user wearing the HMD.
또한, 다양한 방법을 통해 소스 영상을 좌안 영상과 우안 영상으로 분리하고, 분리된 2개의 영상을 서로 다른 디스플레이 유닛에 디스플레이 함으로, HMD를 착용하지 않은 유저는 잘 인식할 수 없는 콘텐츠를 제공할 수 있다.In addition, by separating the source image into a left eye image and a right eye image through various methods, and displaying the two separated images on different display units, a user who does not wear the HMD can provide contents that are not well recognized. .
본 발명의 다른 실시예에 따르면, HMD는 오리엔테이션 정보에 기초하여 비디오 콘텐츠의 디스플레이 오리엔테이션을 조정함으로, 유저에게 실제 사물을 보는 것과 같이 실감나는 비디오 콘텐츠를 제공할 수 있다.According to another embodiment of the present invention, the HMD adjusts the display orientation of the video content based on the orientation information, thereby providing the user with realistic video content such as viewing a real object.
또한, HMD는 HMD 또는 리얼 오브젝트가 비디오 콘텐츠의 버츄얼 오브젝트와 충돌하는지 여부를 체크하고 이에 대응하여 피드백을 제공할 수 있다. 따라서, 본 발명의 HMD는 유저에게 더욱 실감나는 멀티미디어 콘텐츠를 제공할 수 있다.In addition, the HMD can check whether the HMD or the real object collides with the virtual object of the video content and provide feedback correspondingly. Therefore, the HMD of the present invention can provide more realistic multimedia content to the user.
도 1은 본 발명의 실시예에 따른 HMD를 나타낸 블록도.1 is a block diagram illustrating an HMD according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 HMD를 나타낸 개략도.2 is a schematic diagram illustrating an HMD according to an embodiment of the present invention.
도 3은 본 발명의 다른 실시예에 따른 HMD를 나타낸 개략도.3 is a schematic view showing an HMD according to another embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도.4 is a flowchart illustrating a content providing method according to an embodiment of the present invention.
도 5는 본 발명의 다른 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도.5 is a flowchart illustrating a content providing method according to another embodiment of the present invention.
도 6 내지 도 9는 본 발명의 실시예에 따른 HMD를 이용하여 타겟 오브젝트를 찾는 구체적인 실시예를 나타낸 도면.6 to 9 are diagrams illustrating a specific embodiment of finding a target object using an HMD according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도.10 is a flowchart illustrating a content providing method according to an embodiment of the present invention.
도 11은 본 발명의 다른 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도.11 is a flowchart illustrating a content providing method according to another embodiment of the present invention.
도 12 내지 도 16은 본 발명의 실시예에 따른 HMD가 좌안 영상 및 우안 영상을 분리하여 디스플레이 하는 구체적인 실시예를 나타낸 도면.12 to 16 illustrate a specific embodiment in which the HMD separates and displays a left eye image and a right eye image according to an embodiment of the present invention.
도 17은 본 발명의 HMD가 소스 영상을 획득하는 일 실시예를 나타낸 도면.17 illustrates an embodiment in which the HMD of the present invention acquires a source image.
도 18은 본 발명의 실시예에 따른 비디오 콘텐츠 제공 방법을 나타낸 순서도.18 is a flowchart illustrating a method of providing video content according to an embodiment of the present invention.
도 19 내지 도 22는 본 발명의 실시예에 따른 HMD가 비디오 콘텐츠를 제공하는 구체적인 방법을 나타낸 도면.19-22 illustrate specific methods of providing video content by the HMD according to an embodiment of the present invention.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.The terminology used herein is a general term that has been widely used as far as possible in consideration of functions in the present invention, but may vary according to the intention of a person skilled in the art, custom or the emergence of new technology. In addition, in certain cases, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in the corresponding description of the invention. Therefore, it is to be understood that the terminology used herein is to be interpreted based not on the name of the term but on the actual meaning and contents throughout the present specification.
도 1은 본 발명의 실시예에 따른 HMD(100)를 나타낸 블록도이다.1 is a block diagram illustrating an HMD 100 according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 HMD(100)는 프로세서(110), 디스플레이 유닛(120), 카메라 유닛(130), 커뮤니케이션 유닛(140), 센서 유닛(150) 및 스토리지 유닛(160)을 포함할 수 있다.Referring to FIG. 1, the HMD 100 of the present invention includes a processor 110, a display unit 120, a camera unit 130, a communication unit 140, a sensor unit 150, and a storage unit 160. can do.
먼저, 디스플레이 유닛(120)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(120)은 프로세서(110)에서 실행되는 콘텐츠를 출력하거나, 프로세서(110)의 제어 명령에 기초하여 이미지를 출력한다. 또한, 본 발명의 실시예에 따르면 디스플레이 유닛(120)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(120)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)가 실행중인 콘텐츠를 디스플레이 할 수 있다. 이때, HMD(100)는 커뮤니케이션 유닛(140)을 통해 상기 외부 디지털 디바이스(200)로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 이미지를 출력할 수 있다.First, the display unit 120 outputs an image on the display screen. The display unit 120 outputs content executed in the processor 110 or outputs an image based on a control command of the processor 110. In addition, according to an embodiment of the present invention, the display unit 120 may display an image based on a control command of the external digital device 200 connected to the HMD 100. For example, the display unit 120 may display content being executed by the external digital device 200 connected to the HMD 100. In this case, the HMD 100 may receive data from the external digital device 200 through the communication unit 140 and output an image based on the received data.
다음으로, 카메라 유닛(130)은 이미지를 센싱하고, 센싱된 이미지를 상기 프로세서에 전달한다. 본 발명의 실시예에 따르면, 상기 카메라 유닛(130)은 전방 카메라 유닛(미도시)과 아이 트래킹(eye tracking) 카메라 유닛(미도시)을 포함할 수 있다. 상기 전방 카메라 유닛은 HMD의 전방 방향의 이미지를 디텍트하여 프로세서에 제공할 수 있다. 또한 상기 아이 트래킹 카메라 유닛은 HMD(100)를 착용한 유저의 동공 위치를 디텍트하여 해당 유저의 시선을 트래킹 할 수 있다. 본 발명의 실시예에서 상기 카메라 유닛(130)은 일반적인 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 모듈뿐만 아니라 뎁스 카메라 모듈, 적외선 카메라 모듈 등 다양한 종류의 촬상 장치를 포함한다.Next, the camera unit 130 senses an image and transmits the sensed image to the processor. According to an embodiment of the present invention, the camera unit 130 may include a front camera unit (not shown) and an eye tracking camera unit (not shown). The front camera unit may detect an image of the front direction of the HMD and provide it to the processor. In addition, the eye tracking camera unit may detect the pupil position of the user wearing the HMD 100 to track the eyes of the user. In the embodiment of the present invention, the camera unit 130 includes various types of imaging devices such as a depth camera module and an infrared camera module, as well as a general charge coupled device (CCD) or complementary metal-oxide semiconductor (CMOS) camera module.
다음으로, 커뮤니케이션 유닛(140)은 외부 디지털 디바이스(200) 또는 서버와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 본 발명에서 커뮤니케이션 유닛(140)은 네트워크를 통해 서버 또는 클라우드에 접속할 수 있으며, 디지털 데이터, 예를 들면 콘텐츠를 송/수신할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 HMD(100)는 커뮤니케이션 유닛(140)을 이용하여 외부 디지털 디바이스(200)와 커넥팅을 수행할 수 있다. 이때, HMD(100)는 상기 커넥팅 된 외부 디지털 디바이스(200)가 실행중인 콘텐츠의 디스플레이 출력 정보를 실시간으로 수신하고, 수신된 정보를 이용하여 디스플레이 유닛(120)에 이미지를 출력할 수 있다.Next, the communication unit 140 may communicate with the external digital device 200 or the server using various protocols to transmit / receive data. In the present invention, the communication unit 140 may access a server or a cloud through a network, and transmit / receive digital data, for example, content. In addition, according to another embodiment of the present invention, the HMD 100 may connect to the external digital device 200 using the communication unit 140. In this case, the HMD 100 may receive display output information of content being executed by the connected external digital device 200 in real time, and output an image to the display unit 120 using the received information.
센서 유닛(150)은 HMD(100)에 장착된 적어도 하나의 센서를 사용하여 유저 인풋 또는 상기 HMD(100)가 인식하는 환경을 프로세서(110)로 전달할 수 있다. 이때, 상기 센서 유닛(150)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 조도 센서, 근접 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, 마이크 어레이, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(150)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.The sensor unit 150 may transmit a user input or an environment recognized by the HMD 100 to the processor 110 using at least one sensor mounted on the HMD 100. In this case, the sensor unit 150 may include a plurality of sensing means. In one embodiment, the plurality of sensing means includes a gravity sensor, a geomagnetic sensor, a motion sensor, a gyro sensor, an acceleration sensor, an infrared sensor, an inclination sensor, an illuminance sensor, a proximity sensor, an altitude sensor, an olfactory sensor, a temperature Sensing means such as a sensor, a depth sensor, a pressure sensor, a bending sensor, an audio sensor, a video sensor, a microphone array, a global positioning system (GPS) sensor, a touch sensor, and the like may be included. The sensor unit 150 collectively refers to the various sensing means described above, and may sense various inputs of the user and the environment of the user, and may transmit a sensing result to allow the processor 110 to perform an operation accordingly. The above-described sensors may be included in the HMD 100 as a separate element or integrated into at least one or more elements.
본 발명의 실시예에 따르면 센서 유닛은 상기 열거된 다양한 센싱 수단 중 적어도 하나를 이용하여 디지털 디바이스(100)의 오리엔테이션 정보를 디텍트 하고, 디텍트 된 오리엔테이션 정보를 프로세서(110)에 전달한다. 이때, 상기 오리엔테이션 정보는 x축, y축 및 z축 중 적어도 하나의 축에 대한 디지털 디바이스(100)의 각도 정보를 포함한다.According to an embodiment of the present invention, the sensor unit detects orientation information of the digital device 100 by using at least one of the various sensing means listed above, and transmits the detected orientation information to the processor 110. In this case, the orientation information includes angle information of the digital device 100 with respect to at least one axis among x, y, and z axes.
본 발명의 일 실시예에 따르면, HMD(100)는 HMD(100)의 전방에 위치한 리얼 오브젝트를 디텍트 하는 디텍팅 모듈을 포함할 수 있다. 상기 디텍팅 모듈은 HMD(100)의 전방에 위치한 리얼 오브젝트를 디텍트 하고, 해당 리얼 오브젝트의 위치 정보를 프로세서(110)에 전달한다. 본 발명의 실시예에 따르면, 상기 디텍팅 모듈은 카메라 유닛(130)을 포함할 수 있다. 바람직하게는, 상기 카메라 유닛(130)은 뎁스 카메라를 포함할 수 있다. 이때, HMD(100)는 카메라 유닛(130)을 통해 이미지를 획득하고, 획득된 이미지에 대한 이미지 프로세싱 등의 작업을 수행하여 HMD(100)의 전방에 위치한 리얼 오브젝트를 디텍트 할 수 있다. 이때, HMD(100)는 상기 HMD(100)와 리얼 오브젝트 간의 상대적인 거리를 함께 디텍트 할 수 있다. 본 발명의 다른 실시예에 따르면, 상기 디텍팅 모듈은 거리 센서(distance sensor)를 포함할 수 있다. HMD(100)는 거리 센서를 이용하여 HMD(100) 전방의 리얼 오브젝트를 디텍트 할 수 있다. 이때, 상기 거리 센서는 적외선 방식, 초음파 방식 및 거리를 센싱할 수 있는 그 밖의 다양한 방식의 센서를 포함한다. HMD(100)는 상기 거리 센서를 이용하여 HMD(100)와 리얼 오브젝트 간의 상대적인 거리를 디텍트 할 수 있다.According to an embodiment of the present invention, the HMD 100 may include a detecting module for detecting a real object located in front of the HMD 100. The detecting module detects a real object located in front of the HMD 100 and transmits position information of the corresponding real object to the processor 110. According to an embodiment of the present invention, the detecting module may include a camera unit 130. Preferably, the camera unit 130 may include a depth camera. In this case, the HMD 100 may acquire an image through the camera unit 130 and perform a process such as image processing on the acquired image to detect a real object located in front of the HMD 100. In this case, the HMD 100 may detect the relative distance between the HMD 100 and the real object. According to another embodiment of the present invention, the detecting module may include a distance sensor. The HMD 100 may detect a real object in front of the HMD 100 using a distance sensor. In this case, the distance sensor includes an infrared method, an ultrasonic method, and various other types of sensors capable of sensing a distance. The HMD 100 may detect the relative distance between the HMD 100 and the real object using the distance sensor.
다음으로, 스토리지 유닛(160)은, 비디오, 오디오, 사진, 문서, 애플리케이션 등 다양한 콘텐츠를 포함하는 디지털 데이터를 저장할 수 있다. 스토리지 유닛(150)은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 매체를 포함한다. 또한, 스토리지 유닛(150)은 커뮤니케이션 유닛(140)이 외부 디지털 디바이스(200) 또는 서버로부터 수신한 콘텐츠를 저장할 수 있다.Next, the storage unit 160 may store digital data including various contents such as video, audio, photographs, documents, applications, and the like. The storage unit 150 may include various digital data storage media such as flash memory, random access memory (RAM), and solid state drive (SSD). In addition, the storage unit 150 may store the content received by the communication unit 140 from the external digital device 200 or the server.
본 발명의 프로세서(110)는 HMD(100) 자체의 콘텐츠 또는 데이터 통신을 통해 수신된 콘텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(110)는 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.The processor 110 of the present invention may execute contents of the HMD 100 itself or contents received through data communication. It can also run various applications and process data inside the device. In addition, the processor 110 may control each unit of the HMD 100 described above, and may control data transmission and reception between the units.
도 1에 도시된 HMD(100)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.The HMD 100 shown in FIG. 1 is a block diagram according to an embodiment of the present invention, in which blocks shown separately represent logically distinguishing elements of a device. Therefore, the elements of the above-described device may be mounted in one chip or in a plurality of chips according to the design of the device.
도 2는 본 발명의 일 실시예에 따른 HMD(100)를 나타낸 개략도이다. 본 발명의 실시예에 따른 HMD(100)는 디스플레이 유닛(120) 및 카메라 유닛(130)을 구비한다.2 is a schematic diagram illustrating an HMD 100 according to an embodiment of the present invention. The HMD 100 according to the embodiment of the present invention includes a display unit 120 and a camera unit 130.
상기 디스플레이 유닛(120)은 HMD(100)의 프로세서(미도시)의 제어 명령에 기초하여 이미지를 디스플레이 한다. 본 발명의 실시예에서 디스플레이 유닛(120)은 디스플레이 스크린을 구비하여, 상기 디스플레이 스크린에 이미지가 맺히도록 할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 디스플레이 유닛(120)은 별도의 디스플레이 스크린을 구비하지 않고, HMD(100)의 전방 방향의 특정 위치에 이미지를 투영할 수 있다.The display unit 120 displays an image based on a control command of a processor (not shown) of the HMD 100. In an exemplary embodiment of the present invention, the display unit 120 may include a display screen to allow an image to be formed on the display screen. In addition, according to another embodiment of the present invention, the display unit 120 may project an image at a specific position in the front direction of the HMD 100 without having a separate display screen.
본 발명의 일 실시예에 따르면, 상기 디스플레이 유닛(120)은 제 1 디스플레이 유닛(120a) 및 제 2 디스플레이 유닛(120b)을 포함할 수 있다. 본 발명의 실시예에서 상기 제 1 디스플레이 유닛(120a)은 HMD(100)를 착용한 유저의 좌측 눈을 위한 영상을 디스플레이 하며, 제 2 디스플레이 유닛(120b)은 상기 유저의 우측 눈을 위한 영상을 디스플레이 한다. 본 발명의 실시예에 따르면, HMD(100)는 디스플레이 유닛(120)에 디스플레이 하기 위한 소스 영상을 각각 좌안 영상 및 우안 영상으로 분리할 수 있다. 이때, 상기 분리된 좌안 영상 및 우안 영상은 각각 상기 제 1 디스플레이 유닛(120a) 및 제 2 디스플레이 유닛(120b)에 디스플레이 될 수 있다.According to an embodiment of the present invention, the display unit 120 may include a first display unit 120a and a second display unit 120b. In an embodiment of the present invention, the first display unit 120a displays an image for the left eye of the user wearing the HMD 100, and the second display unit 120b displays an image for the right eye of the user. Display. According to an embodiment of the present invention, the HMD 100 may separate a source image for displaying on the display unit 120 into a left eye image and a right eye image, respectively. In this case, the separated left eye image and right eye image may be displayed on the first display unit 120a and the second display unit 120b, respectively.
또한, 카메라 유닛(130)은 이미지를 센싱하고, 센싱된 이미지를 상기 프로세서에 전달한다. 상기 카메라 유닛(130)은 전술한 바와 같이 전방 카메라 유닛과 아이 트래킹 카메라 유닛 중 적어도 하나를 포함할 수 있다. 상기 카메라 유닛(130)은 기 설정된 범위의 시야(field of view) 영역을 가질 수 있다. 즉, 카메라 유닛(130)은 상기 시야 영역 내의 이미지를 획득하고, 획득된 이미지를 프로세서에 전달한다.In addition, the camera unit 130 senses an image and transmits the sensed image to the processor. As described above, the camera unit 130 may include at least one of a front camera unit and an eye tracking camera unit. The camera unit 130 may have a field of view area of a preset range. That is, the camera unit 130 acquires an image in the viewing area and transfers the acquired image to the processor.
도 3은 본 발명의 다른 실시예에 따른 HMD(100) 및 이와 커넥팅 된 외부 디지털 디바이스(200)를 나타내고 있다. 도 3의 실시예에서 HMD(100)는 적어도 하나의 외부 디지털 디바이스(200)와 커넥팅 되고, 커넥팅 된 외부 디지털 디바이스(200)의 제어 명령에 기초하여 동작할 수 있다. 상기 HMD(100)와 외부 디지털 디바이스(200) 간의 커넥팅을 위해 별도의 페어링 또는 통신 접속이 수행될 수 있으며, 이러한 페어링 또는 통신 접속 작업은 HMD(100) 또는 외부 디지털 디바이스(200)에 대한 유저 입력에 의해 수행될 수 있다. 예를 들어, HMD(100)는 외부 디지털 디바이스(200)와의 페어링 또는 통신 접속을 위한 별도의 버튼 또는 유저 인터페이스를 제공할 수 있으며, 상기 버튼 또는 유저 인터페이스에 대한 유저 입력을 수신하여 HMD(100)와 외부 디지털 디바이스(200) 간의 페어링 또는 통신 접속을 수행할 수 있다.3 illustrates an HMD 100 and an external digital device 200 connected thereto according to another embodiment of the present invention. In the embodiment of FIG. 3, the HMD 100 may be connected to at least one external digital device 200 and operate based on a control command of the connected external digital device 200. A separate pairing or communication connection may be performed for connecting between the HMD 100 and the external digital device 200, and the pairing or communication connection operation may be performed by a user input to the HMD 100 or the external digital device 200. It can be performed by. For example, the HMD 100 may provide a separate button or user interface for pairing or communicating with an external digital device 200, and receives a user input for the button or user interface to receive the HMD 100. And pairing or communication connection between the external digital device 200 and the external digital device 200.
상기 외부 디지털 디바이스(200)는 HMD(100)를 제어할 수 있는 다양한 종류의 디지털 디바이스를 포함한다. 예를 들어, 외부 디지털 디바이스(200)는 스마트폰, PC, PDA(Personal Digital Assistant), 노트북, 태블릿 피씨, 미디어 플레이어 등을 포함하며, 이 외에도 HMD의 동작을 제어할 수 있는 다양한 종류의 디지털 디바이스를 포함한다. HMD(100)는 다양한 유/무선 통신 수단을 이용하여 외부 디지털 디바이스(200)와 데이터를 송/수신 한다. 이때, 사용 가능한 무선 통신 수단으로는 NFC(Near Field Communication), Zigbee, 적외선 통신, 블루투스, 와이파이 등이 있으며, 본 발명은 이에 한정하지 않는다. 본 발명에서 HMD(100)는 앞서 열거된 통신 수단 중 어느 하나, 또는 이들 간의 조합을 이용하여 외부 디지털 디바이스(200)와 커넥팅 되어 통신을 수행할 수 있다.The external digital device 200 includes various types of digital devices capable of controlling the HMD 100. For example, the external digital device 200 includes a smart phone, a PC, a personal digital assistant (PDA), a notebook, a tablet PC, a media player, and the like, and various types of digital devices capable of controlling the operation of the HMD. It includes. The HMD 100 transmits / receives data with the external digital device 200 using various wired / wireless communication means. At this time, usable wireless communication means include NFC (Near Field Communication), Zigbee, infrared communication, Bluetooth, Wi-Fi, the present invention is not limited to this. In the present invention, the HMD 100 may be connected to the external digital device 200 to perform communication by using any one of the above-mentioned communication means or a combination thereof.
도 4 및 도 5는 본 발명의 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 4 및 도 5의 각 단계는 본 발명의 HMD(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 HMD(100)의 프로세서(110)가 도 4 및 도 5의 각 단계를 제어할 수 있다. 한편, 도 3의 실시예와 같이 HMD(100)가 외부 디지털 디바이스(200)에 의해 제어될 경우, 해당 외부 디지털 디바이스(200)의 제어 명령에 기초하여 HMD(100)가 도 4 및 도 5의 각 단계를 수행할 수 있다.4 and 5 are flowcharts illustrating a content providing method according to an embodiment of the present invention. 4 and 5 described below may be performed by the HMD 100 of the present invention. That is, the processor 110 of the HMD 100 illustrated in FIG. 1 may control each step of FIGS. 4 and 5. Meanwhile, when the HMD 100 is controlled by the external digital device 200 as in the embodiment of FIG. 3, the HMD 100 may be configured based on the control command of the corresponding external digital device 200 in FIGS. 4 and 5. Each step can be performed.
먼저 도 4를 참조하면, 본 발명의 HMD는 타겟 오브젝트의 정보를 획득한다(S410). 본 발명에서 타겟 오브젝트는 HMD의 유저가 찾고자 하는 오브젝트로써, 물건, 문자, 도형, 상표, 캐릭터 등 다양한 형태의 비저블(visible)한 오브젝트를 포함한다. 상기 타겟 오브젝트의 정보는 타겟 오브젝트를 설정하는 유저 입력에 기초하여 획득될 수 있다. 본 발명의 실시예에서 유저는 HMD에 대한 터치 입력, 음성 입력, 또는 시선 입력 등 다양한 형태의 유저 입력을 이용하여 타겟 오브젝트를 설정할 수 있다. 한편 본 발명의 다른 실시예에 따르면, 타겟 오브젝트를 설정하는 유저 입력은 HMD와 커넥팅 된 외부 디지털 디바이스를 통해 수신할 수도 있다. 이와 같이 타겟 오브젝트가 설정되면, HMD는 해당 타겟 오브젝트의 정보 이를 테면, 해당 타겟 오브젝트의 이미지 정보 등을 획득한다. 타겟 오브젝트를 설정하는 유저 입력을 HMD와 커넥팅 된 외부 디지털 디바이스가 수신한 경우, 해당 외부 디지털 디바이스는 선택된 타겟 오브젝트의 정보를 HMD에 전달할 수 있다.First, referring to FIG. 4, the HMD of the present invention acquires information of a target object (S410). In the present invention, the target object is an object that the user of the HMD is to find, and includes various types of visible objects such as objects, characters, figures, trademarks, and characters. Information of the target object may be obtained based on a user input for setting the target object. In an embodiment of the present invention, the user may set the target object using various types of user inputs such as a touch input, a voice input, or a gaze input to the HMD. Meanwhile, according to another exemplary embodiment of the present invention, the user input for setting the target object may be received through an external digital device connected to the HMD. When the target object is set as described above, the HMD acquires information of the target object, for example, image information of the target object. When the external digital device connected to the HMD receives a user input for setting the target object, the corresponding external digital device may transmit information of the selected target object to the HMD.
다음으로, 본 발명의 HMD는 카메라 유닛을 이용하여 외부 영역의 이미지를 획득한다(S420). 상기 외부 영역은 HMD의 전방 방향의 영역으로써, HMD에 구비된 전방 카메라 유닛에 의해 획득될 수 있다.Next, the HMD of the present invention acquires an image of an external area by using a camera unit (S420). The outer area is an area in the front direction of the HMD, and may be obtained by the front camera unit provided in the HMD.
다음으로, 본 발명의 HMD는 상기 획득된 이미지에서 타겟 오브젝트가 디텍트 되는지 여부를 판별한다(S430). 즉, HMD는 S410단계에서 획득한 타겟 오브젝트의 정보에 기초하여, 상기 획득된 이미지에서 타겟 오브젝트의 적어도 일부의 이미지가 존재하는지 스캐닝(scanning) 할 수 있다. HMD의 프로세서는 이미지 프로세싱 등 다양한 수단을 이용하여 스캐닝을 수행할 수 있다.Next, the HMD of the present invention determines whether a target object is detected in the acquired image (S430). That is, the HMD may scan whether at least a part of the image of the target object exists in the acquired image based on the information of the target object acquired in operation S410. The processor of the HMD can perform scanning by various means such as image processing.
만약, 상기 S430 단계에서 타겟 오브젝트가 디텍트 될 경우, 본 발명의 HMD는 해당 타겟 오브젝트의 증강현실 정보를 디스플레이 한다(S440). 이때, HMD는 상기 증강현실 정보를 해당 타겟 오브젝트의 위치에 대응하는 영역에 디스플레이 할 수 있다. 상기 증강현실 정보는 HMD의 스토리지 유닛에 기 저장된 정보이거나, 커뮤니케이션 유닛을 통해 실시간으로 수신되는 정보일 수 있다.If the target object is detected in step S430, the HMD of the present invention displays augmented reality information of the corresponding target object (S440). In this case, the HMD may display the augmented reality information in an area corresponding to the location of the target object. The augmented reality information may be information previously stored in a storage unit of the HMD or information received in real time through a communication unit.
이와 같이 카메라 유닛이 획득한 외부 영역의 이미지에 대한 스캐닝이 완료되면, 본 발명의 HMD는 상기 외부 영역의 스캐닝 완료 정보를 생성한다(S450). 본 발명의 실시예에서 스캐닝 완료 정보는 해당 외부 영역에 대한 타겟 오브젝트의 검출이 완료되었음을 나타내는 정보로써, 다양한 실시예로 제공될 수 있다. 일 실시예에 따르면, HMD는 상기 외부 영역의 스캐닝 완료 정보를 해당 외부 영역에 오버레이 되는 페인팅 정보의 형태로 제공할 수 있다. 이때, 상기 페인팅 정보는 기 설정된 색상, 음영, 패턴 중 적어도 하나를 포함할 수 있다. HMD는 상기 생성된 페인팅 정보를 해당 외부 영역에 오버레이 하여 디스플레이 함으로, 해당 외부 영역이 기 스캔 된 영역임을 나타낼 수 있다. 한편, HMD는 상기 스캐닝 완료 정보를 해당 외부 영역과 매핑(mapping)하기 위하여 다양한 센싱 정보를 이용할 수 있다. 예를 들어, HMD는 획득된 이미지 정보, 자이로 센서의 센싱값, 또는 이들의 조합을 이용하여 상기 스캐닝 완료 정보에 대응하는 외부 영역을 식별할 수 있다. 본 발명의 다른 실시예에 따르면, HMD는 디텍트 된 적어도 하나의 마커를 기초로 하여, 상기 스캐닝 완료 정보에 대응하는 외부 영역을 식별할 수 있다. 이때, 상기 마커는 외부 영역을 구분하기 위해 미리 지정된 식별자로써, 바코드, QR 코드, RFID, 컬러 코드, 이미지 코드 등을 포함할 수 있다.When the scanning of the image of the external area acquired by the camera unit is completed as described above, the HMD of the present invention generates scanning completion information of the external area (S450). In the embodiment of the present invention, the scanning completion information is information indicating that the detection of the target object for the corresponding external area is completed and may be provided in various embodiments. According to an embodiment, the HMD may provide scanning completion information of the external area in the form of painting information overlaid on the external area. In this case, the painting information may include at least one of a preset color, shade, and pattern. The HMD overlays and displays the generated painting information on the corresponding external area, and may indicate that the external area is a pre-scanned area. The HMD can use various sensing information to map the scanning completion information to the corresponding external region. For example, the HMD may identify an external area corresponding to the scanning completion information by using acquired image information, a sensing value of a gyro sensor, or a combination thereof. According to another embodiment of the present invention, the HMD may identify the external area corresponding to the scanning completion information based on the at least one detected marker. In this case, the marker is a predetermined identifier for distinguishing an external area, and may include a barcode, a QR code, an RFID, a color code, an image code, and the like.
이와 같이 스캐닝 완료 정보가 생성되면, 본 발명의 HMD는 해당 스캐닝 완료 정보를 유저에게 제공할 수 있다. 도 5를 참조하면, HMD는 도 4의 S410 단계에서 타겟 오브젝트의 정보가 획득된 후에, HMD의 전방 방향의 외부 영역이 기 스캔 된 영역인지 여부를 판별한다(S510). 상기 외부 영역이 기 스캔된 영역인지 여부는 해당 외부 영역의 스캐닝 완료 정보가 기 생성되었는지 여부로 판별할 수 있다. 이때, HMD는 다양한 센싱 정보를 이용하여 해당 외부 영역을 식별할 수 있다. 본 발명의 일 실시예에 따르면, HMD는 카메라 유닛을 통해 획득되는 이미지 정보, 자이로 센서의 센싱값, 또는 이들의 조합을 이용하여 상기 외부 영역이 기 스캔 된 영역인지 여부를 판별할 수 있다. 본 발명의 다른 실시예에 따르면, HMD는 디텍트 된 적어도 하나의 마커를 기초로 하여, 상기 외부 영역이 기 스캔 된 영역인지 여부를 판별할 수 있다. 이때, 상기 마커는 전술한 바와 같이 바코드, QR 코드, RFID, 컬러 코드, 이미지 코드 등을 포함할 수 있으며, 본 발명은 이에 한정하지 않는다.When the scanning completion information is generated in this way, the HMD of the present invention can provide the corresponding scanning completion information to the user. Referring to FIG. 5, after the information on the target object is obtained in step S410 of FIG. 4, the HMD determines whether an external area in the front direction of the HMD is a prescan area (S510). Whether the external area is a pre-scanned area may be determined based on whether scanning completion information of the corresponding external area is previously generated. In this case, the HMD may identify the corresponding external area by using various sensing information. According to an embodiment of the present invention, the HMD may determine whether the external area is a previously scanned area by using image information acquired through a camera unit, a sensing value of a gyro sensor, or a combination thereof. According to another embodiment of the present invention, the HMD may determine whether the external area is a previously scanned area based on at least one detected marker. In this case, the marker may include a barcode, a QR code, an RFID, a color code, an image code, and the like as described above, but the present invention is not limited thereto.
만약 상기 외부 영역이 기 스캔 된 영역일 경우, 본 발명의 HMD는 해당 외부 영역의 스캐닝 완료 정보를 디스플레이 한다(S520). 상기 스캐닝 완료 정보는 도 4의 S450 단계에서 생성된 정보로써, 해당 외부 영역에 오버레이 되는 페인팅 정보를 포함할 수 있다. 이때, 상기 페인팅 정보는 기 설정된 색상, 음영, 패턴 중 적어도 하나를 포함할 수 있다. HMD는 상기 생성된 페인팅 정보를 해당 외부 영역에 오버레이 하여 디스플레이 함으로, 해당 외부 영역이 기 스캔 된 영역임을 나타낼 수 있다.If the external area is a previously scanned area, the HMD of the present invention displays scanning completion information of the corresponding external area (S520). The scanning completion information is information generated in step S450 of FIG. 4 and may include painting information overlaid on a corresponding external area. In this case, the painting information may include at least one of a preset color, shade, and pattern. The HMD overlays and displays the generated painting information on the corresponding external area, and may indicate that the external area is a pre-scanned area.
한편, 본 발명의 실시예에 따르면, 도 5의 S510 단계 및 S520 단계는 도 4의 S420 단계 이전에 수행될 수도 있으며, 상기 S420 단계 이후에 수행될 수도 있다. 즉, 본 발명의 일 실시예에 따르면, HMD는 도 4의 S420 단계가 수행되었는지 여부와 관계없이, 자이로 센서의 센싱값 등을 이용하여 전방 방향의 외부 영역이 기 스캔 된 영역인지 여부를 판별할 수 있다. 또한 본 발명의 다른 실시예에 따르면, HMD는 카메라 유닛을 통해 획득된 이미지를 이용하여 상기 외부 영역이 기 스캔 된 영역인지 여부를 판별할 수 있다.Meanwhile, according to an exemplary embodiment of the present invention, steps S510 and S520 of FIG. 5 may be performed before step S420 of FIG. 4, or may be performed after step S420. That is, according to an embodiment of the present invention, regardless of whether the step S420 of FIG. 4 is performed, the HMD may determine whether the external area in the front direction is a previously scanned area by using a sensing value of the gyro sensor. Can be. In addition, according to another embodiment of the present invention, the HMD may determine whether the external area is a previously scanned area by using an image acquired through the camera unit.
도 6 내지 도 9는 본 발명의 실시예에 따른 HMD(100)를 이용하여 타겟 오브젝트(305)를 찾는 구체적인 실시예를 나타내고 있다. 도 6 내지 도 9의 실시예에서 HMD(100)를 착용한 유저(10)는 도서관에서 특정 책을 찾기 위해, 해당 책을 타겟 오브젝트(305)로 설정한 상황이다.6 to 9 illustrate a specific embodiment of searching for the target object 305 using the HMD 100 according to an embodiment of the present invention. 6 to 9, the user 10 wearing the HMD 100 sets the book as the target object 305 to find a specific book in the library.
먼저, 도 6은 본 발명의 HMD(100)가 전방 방향의 외부 영역(300)에서 타겟 오브젝트(305)를 디텍트 한 경우의 실시예를 나타내고 있다. 본 발명의 실시예에 따른 HMD(100)는 카메라 유닛을 이용하여 외부 영역(300)의 이미지를 획득하고, 해당 이미지에서 타겟 오브젝트(305)를 스캐닝 한다. 이때, 이미지가 획득되는 상기 외부 영역(300)은 HMD(100)의 전방 방향의 시야 영역(102) 내에 위치한 영역이다. 상기 이미지에서 타겟 오브젝트(305)가 디텍트 될 경우, HMD는 해당 타겟 오브젝트(305)의 증강현실 정보(320)를 디스플레이 할 수 있다. 도 6에서 상기 증강현실 정보(320)는 HMD(100)의 디스플레이 유닛에 의해 디스플레이 된다. 이때, HMD(100)는 상기 증강현실 정보(320)를 해당 타겟 오브젝트(305)에 오버레이 하여 디스플레이 하거나, 상기 타겟 오브젝트(305)의 위치에 대응하는 영역에 디스플레이 할 수 있다. 이와 같이 타겟 오브젝트(305)의 증강현실 정보(320)를 디스플레이 함으로, HMD(100)는 유저(10)가 찾고자 하는 타겟 오브젝트(305)의 위치를 알려줄 수 있다.First, FIG. 6 illustrates an embodiment in which the HMD 100 of the present invention detects the target object 305 in the external area 300 in the forward direction. The HMD 100 according to an embodiment of the present invention acquires an image of the external area 300 by using a camera unit, and scans the target object 305 from the image. In this case, the external area 300 in which the image is obtained is an area located in the forward viewing area 102 of the HMD 100. When the target object 305 is detected in the image, the HMD may display augmented reality information 320 of the target object 305. In FIG. 6, the augmented reality information 320 is displayed by the display unit of the HMD 100. In this case, the HMD 100 may display the augmented reality information 320 by overlaying it on the target object 305 or display the area in a region corresponding to the position of the target object 305. As such, by displaying the augmented reality information 320 of the target object 305, the HMD 100 may inform the location of the target object 305 that the user 10 wants to find.
도 7은 HMD(100)가 외부 영역(300a, 300b)의 스캐닝 완료 정보(340)를 디스플레이 하는 일 실시예를 나타내고 있다. 도 7의 실시예서, 본 발명의 HMD(100)는 제 1 시야 영역(102)에 대하여 타겟 오브젝트의 스캐닝을 완료 한 후, 제 2 시야 영역(102’)을 바라본다. 상기 제 1 시야 영역(102) 내에는 외부 영역 300a가 위치하며, 제 2 시야 영역(102’) 내에는 외부 영역 300a 및 300b가 위치한다.FIG. 7 illustrates an embodiment in which the HMD 100 displays the scanning completion information 340 of the external areas 300a and 300b. In the embodiment of FIG. 7, the HMD 100 of the present invention looks at the second field of view 102 ′ after completing scanning of the target object with respect to the first field of view 102. An outer area 300a is located in the first viewing area 102, and outer areas 300a and 300b are located in the second viewing area 102 ′.
먼저, 외부 영역 300a에 대한 스캐닝이 완료되면, 본 발명의 HMD(100)는 외부 영역 300a의 스캐닝 완료 정보(340)를 생성한다. 상기 스캐닝 완료 정보(340)는 해당 외부 영역 300a에 오버레이 되는 페인팅 정보로써, 기 설정된 색상, 음영, 패턴 중 적어도 하나를 포함할 수 있음은 전술한 바와 같다. 다음으로, HMD(100)의 시야 영역이 제 2 시야 영역(102’)으로 변경되면, HMD(100)는 상기 제 2 시야 영역(102’) 내에 위치한 외부 영역 300a 및 300b가 기 스캔된 영역인지 여부를 판별한다. 상기 외부 영역 300a 및 300b가 기 스캔된 영역인지 여부는 해당 외부 영역의 스캐닝 완료 정보가 있는지 여부로 판별할 수 있다. 이때, HMD(100)는 다양한 센싱 정보를 이용하여 상기 외부 영역 300a 및 300b를 식별할 수 있다. 도 7의 실시예에 따르면, HMD(100)는 카메라 유닛을 통해 획득되는 이미지 정보, 자이로 센서의 센싱값, 또는 이들의 조합을 이용하여 상기 외부 영역 300a 및 300b를 식별할 수 있다. 상기 외부 영역 300a는 스캐닝이 완료된 영역이므로, HMD(100)는 외부 영역 300a의 스캐닝 완료 정보(340)를 해당 외부 영역 300a에 오버레이 하여 디스플레이 한다. 한편, 외부 영역 300b는 스캐닝이 완료되지 않은 영역이므로, HMD는 외부 영역 300b에 대응하는 스캐닝 완료 정보를 디스플레이 하지 않는다. 본 발명의 HMD(100)는 스캐닝이 완료되지 않은 외부 영역 300b에 대하여 타겟 오브젝트의 스캐닝을 수행할 수 있다.First, when scanning of the external area 300a is completed, the HMD 100 of the present invention generates the scanning completion information 340 of the external area 300a. As described above, the scanning completion information 340 is painting information overlaid on the corresponding outer area 300a and may include at least one of a preset color, a shadow, and a pattern. Next, when the field of view of the HMD 100 is changed to the second field of view 102 ′, the HMD 100 determines whether the outer regions 300a and 300b located in the second field of view 102 ′ are previously scanned. Determine whether or not. Whether the external areas 300a and 300b are the previously scanned areas may be determined by whether there is scanning completion information of the corresponding external area. In this case, the HMD 100 may identify the external regions 300a and 300b using various sensing information. According to the embodiment of FIG. 7, the HMD 100 may identify the external areas 300a and 300b by using image information obtained through the camera unit, a sensing value of a gyro sensor, or a combination thereof. Since the external area 300a is a scanning-completed area, the HMD 100 overlays and displays the scanning completion information 340 of the external area 300a on the corresponding external area 300a. On the other hand, since the external area 300b is an area in which scanning is not completed, the HMD does not display the scanning completion information corresponding to the external area 300b. The HMD 100 of the present invention may perform scanning of the target object on the external area 300b in which scanning is not completed.
도 8은 HMD(100)가 외부 영역(300a, 300b)의 스캐닝 완료 정보(340)를 디스플레이 하는 다른 실시예를 나타내고 있다. 도 8의 실시예에서 도 7의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.8 illustrates another embodiment in which the HMD 100 displays the scanning completion information 340 of the external areas 300a and 300b. In the embodiment of FIG. 8, the same or corresponding parts as those of the embodiment of FIG. 7 will be omitted.
도 8의 실시예에 따르면, HMD는 디텍트 된 적어도 하나의 마커(342a, 342b)를 기초로 하여 외부 영역을 식별할 수 있다. 본 발명의 실시예에 따르면, 외부 영역에는 기 설정된 마커들이 소정의 간격으로 위치할 수 있다. 상기 마커는 외부 영역을 구분하기 위해 미리 지정된 식별자로써, 바코드, QR 코드, RFID, 컬러 코드, 이미지 코드 등을 포함할 수 있음은 전술한 바와 같다. 도 8에 도시된 바와 같이, HMD(100)의 시야 영역이 제 2 시야 영역(102’)에 있으면, HMD는 전방 방향에 있는 마커 342a 및 342b를 디텍트할 수 있다. 따라서, HMD(100)는 상기 마커 342a 및 342b에 각각 대응하는 외부 영역 300a 및 300b가 HMD(100)의 전방 방향에 위치함을 식별할 수 있다. 상기 외부 영역 300a는 스캐닝이 완료된 영역이므로, HMD(100)는 외부 영역 300a의 스캐닝 완료 정보(340)를 해당 외부 영역 300a에 오버레이 하여 디스플레이 한다. 한편, 외부 영역 300b는 스캐닝이 완료되지 않은 영역이므로, HMD는 외부 영역 300b에 대응하는 스캐닝 완료 정보를 디스플레이 하지 않는다.According to the embodiment of FIG. 8, the HMD can identify the outer region based on the at least one detected marker 342a, 342b. According to an embodiment of the present invention, preset markers may be located at predetermined intervals in the outer region. As described above, the marker is a predetermined identifier for distinguishing an external area, and may include a barcode, a QR code, an RFID, a color code, an image code, and the like. As shown in FIG. 8, if the field of view of the HMD 100 is in the second field of view 102 ′, the HMD can detect markers 342a and 342b in the forward direction. Accordingly, the HMD 100 can identify that the outer regions 300a and 300b corresponding to the markers 342a and 342b are located in the forward direction of the HMD 100, respectively. Since the external area 300a is a scanning-completed area, the HMD 100 overlays and displays the scanning completion information 340 of the external area 300a on the corresponding external area 300a. On the other hand, since the external area 300b is an area in which scanning is not completed, the HMD does not display the scanning completion information corresponding to the external area 300b.
도 9는 도서관에서 특정 책을 찾으려는 유저(10)가 본 발명의 HMD(100)를 착용한 채 도서관을 바라보는 모습을 나타내고 있다. 도시된 바와 같이, 본 발명의 HMD(100)는 타겟 오브젝트 즉, 상기 책에 대한 스캐닝이 완료된 영역에 해당 영역의 스캐닝 완료 정보를 디스플레이 한다. 따라서, HMD(100)를 착용한 유저(10)는 현재 시야 영역(102) 내에서 스캐닝이 완료된 지역을 인지하고, 스캐닝이 완료되지 않은 영역에서 타겟 오브젝트를 찾을 수 있다.9 shows a user 10 looking for a specific book in the library while looking at the library while wearing the HMD 100 of the present invention. As shown, the HMD 100 of the present invention displays the scanning completion information of the corresponding area on the target object, that is, the area where the scanning of the book is completed. Accordingly, the user 10 wearing the HMD 100 may recognize an area where scanning is completed in the current viewing area 102 and find a target object in the area where scanning is not completed.
도 10 및 도 11은 본 발명의 실시예에 따른 콘텐츠 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 10 및 도 11의 각 단계는 본 발명의 HMD(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 HMD(100)의 프로세서(110)가 도 10 및 도 11의 각 단계를 제어할 수 있다. 한편, 도 3의 실시예와 같이 HMD(100)가 외부 디지털 디바이스(200)에 의해 제어될 경우, 해당 외부 디지털 디바이스(200)의 제어 명령에 기초하여 HMD(100)가 도 10 및 도 11의 각 단계를 수행할 수 있다.10 and 11 are flowcharts illustrating a content providing method according to an embodiment of the present invention. Each step of FIGS. 10 and 11 described below may be performed by the HMD 100 of the present invention. That is, the processor 110 of the HMD 100 illustrated in FIG. 1 may control each step of FIGS. 10 and 11. Meanwhile, when the HMD 100 is controlled by the external digital device 200 as in the embodiment of FIG. 3, the HMD 100 may be configured based on the control command of the corresponding external digital device 200. Each step can be performed.
먼저, 도 10을 참조하면, 본 발명의 HMD는 소스 영상을 획득한다(S1010). 상기 소스 영상은 HMD의 디스플레이 유닛에 디스플레이 되기 위한 영상으로서, 각종 콘텐츠의 디스플레이 영상, 아이콘, 텍스트, 심볼 등 다양한 종류의 영상을 포함한다. 본 발명의 일 실시예에 따르면, 상기 소스 영상은 특정 오브젝트에 대응하는 증강현실 정보를 포함한다.First, referring to FIG. 10, the HMD of the present invention acquires a source image (S1010). The source image is an image to be displayed on the display unit of the HMD, and includes various kinds of images such as display images, icons, text, and symbols of various contents. According to an embodiment of the present invention, the source image includes augmented reality information corresponding to a specific object.
다음으로, 본 발명의 HMD는 상기 소스 영상을 좌안 영상 및 우안 영상으로 분리한다(S1020). 상기 좌안 영상은 HMD를 착용한 유저의 좌측 눈에 보이기 위한 영상이며, 우안 영상은 상기 유저의 우측 눈에 보이기 위한 영상이다. 본 발명의 실시예에서 상기 좌안 영상 및 우안 영상은 서로 오버랩 되어 소스 영상을 구성한다. 본 발명의 실시예에 따르면, HMD는 다양한 방법으로 소스 영상을 좌안 영상 및 우안 영상으로 분리할 수 있다. 본 발명의 일 실시예에 따르면, HMD는 소스 영상을 캐릭터 단위로 좌안 영상 및 우안 영상으로 분리할 수 있다. 본 발명의 다른 실시예예 따르면, HMD는 기 설정된 패턴에 기초하여 소스 영상을 좌안 영상 및 우안 영상으로 분리할 수 있다. 이에 대한 구체적인 실시예는 도 12 내지 도 13을 참조로 상세히 설명하도록 한다.Next, the HMD of the present invention separates the source image into a left eye image and a right eye image (S1020). The left eye image is an image for the left eye of the user wearing the HMD, and the right eye image is an image for the right eye of the user. In an embodiment of the present invention, the left eye image and the right eye image overlap each other to form a source image. According to an embodiment of the present invention, the HMD can separate a source image into a left eye image and a right eye image by various methods. According to an embodiment of the present invention, the HMD can separate a source image into a left eye image and a right eye image by character units. According to another embodiment of the present invention, the HMD may separate the source image into a left eye image and a right eye image based on a predetermined pattern. Specific embodiments thereof will be described in detail with reference to FIGS. 12 to 13.
다음으로, 본 발명의 HMD는 상기 분리된 좌안 영상 및 우안 영상을 제 1 디스플레이 유닛 및 제 2 디스플레이 유닛에 각각 디스플레이 한다(S1030). 상기 제 1 디스플레이 유닛은 HMD를 착용한 유저의 좌측 눈을 위한 영상 즉, 상기 좌안 영상을 디스플레이 하며, 제 2 디스플레이 유닛은 상기 유저의 우측 눈을 위한 영상 즉, 우안 영상을 디스플레이 한다. 본 발명의 실시예에 따르면, HMD는 상기 좌안 영상 및 우안 영상의 디스플레이 인터벌이 서로 교차하도록 조정할 수 있다. 이에 대한 구체적인 실시예는 도 14를 참조로 상세히 설명하도록 한다.Next, the HMD of the present invention displays the separated left eye image and right eye image on the first display unit and the second display unit, respectively (S1030). The first display unit displays an image for the left eye of the user wearing the HMD, that is, the left eye image, and the second display unit displays an image for the right eye of the user, that is, the right eye image. According to an embodiment of the present invention, the HMD can adjust the display interval of the left eye image and the right eye image to cross each other. A detailed embodiment thereof will be described in detail with reference to FIG. 14.
도 11은 본 발명의 다른 실시예에 따른 콘텐츠 제공 방법을 나타내고 있다. 도 10의 S1020 단계에서 소스 영상이 좌안 영상 및 우안 영상으로 분리되면, 본 발명의 HMD는 상기 HMD를 착용한 유저의 시선을 디텍트 할 수 있다(S1110). HMD는 구비된 아이 트래킹 카메라 유닛을 이용하여 HMD를 착용한 유저의 동공 위치를 디텍트할 수 있으며, 디텍트 된 유저의 동공 위치를 이용하여 해당 유저의 시선을 트래킹 할 수 있다.11 illustrates a content providing method according to another embodiment of the present invention. When the source image is separated into a left eye image and a right eye image in step S1020 of FIG. 10, the HMD of the present invention may detect the gaze of a user wearing the HMD (S1110). The HMD can detect the pupil position of the user wearing the HMD using the provided eye tracking camera unit, and can track the gaze of the user by using the pupil position of the detected user.
다음으로, 본 발명의 HMD는 디텍트 된 유저의 시선에 기초하여 좌안 영상 및 우안 영상 중 적어도 하나의 디스플레이 위치를 조정한다(S1120). 이때, HMD는 상기 좌안 영상 및 우안 영상이 정확히 오버랩 되어 유저에게 보여지도록 상기 디스플레이 위치를 조정한다. 본 발명의 일 실시예에 따르면, HMD는 디텍트 된 유저의 시선에 기초하여 좌안 영상 및 우안 영상 중 적어도 하나의 디스플레이 위치 이동 팩터를 산출하고, 산출된 위치 이동 팩터를 이용하여 좌안 영상 및 우안 영상 중 적어도 하나를 기본 디스플레이 위치에서 이동하여 디스플레이 할 수 있다. 이에 따라 HMD는 분리된 좌안 영상 및 우안 영상이 유저의 시선에 연동하여 정확히 오버랩 되도록 디스플레이 할 수 있다. 이에 대한 구체적인 실시예는 도 15 및 도 16을 참조로 상세히 설명하도록 한다.Next, the HMD of the present invention adjusts the display position of at least one of the left eye image and the right eye image based on the detected gaze of the user (S1120). At this time, the HMD adjusts the display position so that the left eye image and the right eye image overlap exactly and are shown to the user. According to an embodiment of the present invention, the HMD calculates at least one display position shift factor of the left eye image and the right eye image based on the detected gaze of the user, and uses the calculated position shift factor to determine the left eye image and the right eye image. At least one of them may be displayed by being moved from the basic display position. Accordingly, the HMD can display the separated left eye image and the right eye image so as to overlap with each other's eyes. Specific embodiments thereof will be described in detail with reference to FIGS. 15 and 16.
도 12 내지 도 16은 본 발명의 실시예에 따른 HMD(100)가 좌안 영상 및 우안 영상을 분리하여 디스플레이 하는 구체적인 실시예를 나타내고 있다.12 to 16 illustrate a specific embodiment in which the HMD 100 separates and displays a left eye image and a right eye image according to an embodiment of the present invention.
도 12를 참조 하면, 본 발명의 일 실시예에 따른 HMD(100)는 소스 영상(400)을 캐릭터 단위로 분리하여 디스플레이 할 수 있다. 도 12의 실시예에서 HMD(100)는 소스 영상 “7581”을 캐릭터 단위로 분리하여 좌안 영상 “7 8 ” 및 우안 영상 “ 5 1”을 생성한다. HMD(100)는 분리된 좌안 영상(“7 8 ”, 420a) 및 우안 영상(“ 5 1”, 420b)을 각각 제 1 디스플레이 유닛(120a) 및 제 2 디스플레이 유닛(120b)에 디스플레이 한다. 본 발명의 실시예에 따른 HMD(100)를 유저가 착용할 경우, 상기 좌안 영상(“7 8 ”, 420a) 및 우안 영상(“ 5 1”, 420b)은 서로 오버랩 되어 소스 영상(“7851”, 400)과 동일하거나 유사한 형태로 상기 유저에게 보여지게 된다.Referring to FIG. 12, the HMD 100 according to an embodiment of the present invention may divide and display the source image 400 in units of characters. In the embodiment of FIG. 12, the HMD 100 generates a left eye image “7 8” and a right eye image “5 1” by separating the source image “7581” by character units. The HMD 100 displays the separated left eye images “7 8”, 420a and right eye images “5 1”, 420b on the first display unit 120a and the second display unit 120b, respectively. When the user wears the HMD 100 according to an embodiment of the present invention, the left eye image (“7 8”, 420a) and the right eye image (“5 1”, 420b) overlap each other and the source image (“7851”). , 400) is shown to the user in the same or similar form.
다음으로 도 13을 참조 하면, 본 발명의 다른 실시예에 따른 HMD(100)는 소스 영상(400)을 기 설정된 패턴에 기초하여 좌안 영상(430a) 및 우안 영상(430b)으로 분리할 수 있다. 도 13에 도시된 바와 같이 소스 영상 “7581”은 특정 패턴으로 스플릿(split) 되어, 좌안 영상(430a) 및 우안 영상(430b)으로 분리될 수 있다. HMD(100)는 분리된 좌안 영상(430a) 및 우안 영상(430b)을 각각 제 1 디스플레이 유닛(120a) 및 제 2 디스플레이 유닛(120b)에 디스플레이 한다. 본 발명의 실시예에 따른 HMD(100)를 유저가 착용할 경우, 상기 좌안 영상(430a) 및 우안 영상(430b)은 서로 오버랩 되어 소스 영상 (“7851”, 400)과 동일하거나 유사한 형태로 상기 유저에게 보여지게 된다.Next, referring to FIG. 13, the HMD 100 according to another embodiment of the present invention may separate the source image 400 into a left eye image 430a and a right eye image 430b based on a preset pattern. As illustrated in FIG. 13, the source image “7581” may be split into a specific pattern and divided into a left eye image 430a and a right eye image 430b. The HMD 100 displays the separated left eye image 430a and the right eye image 430b on the first display unit 120a and the second display unit 120b, respectively. When the user wears the HMD 100 according to an exemplary embodiment of the present invention, the left eye image 430a and the right eye image 430b overlap each other to form the same or similar to the source image (“7851”, 400). Will be shown to the user.
도 14는 본 발명의 또 다른 실시예를 나타내고 있다. 도 14를 참조하면, 본 발명의 실시예에 따른 HMD(100)는 제 1 디스플레이 유닛(120a)에 디스플레이 되는 좌안 영상(440a)과 제 2 디스플레이 유닛(120b)에 디스플레이 되는 우안 영상(440b)의 디스플레이 인터벌이 서로 교차하도록 조정할 수 있다. 도 14(a)에 도시된 바와 같이, HMD(100)는 소정의 시간 T1 동안 제 1 디스플레이 유닛(120a)에 좌안 영상(440a)을 디스플레이 하고, 제 2 디스플레이 유닛(120b)에는 우안 영상(440b)을 디스플레이 하지 않을 수 있다. 다음으로, 도 14(b)에 도시된 바와 같이 HMD(100)는 소정의 시간 T2 동안 제 2 디스플레이 유닛(120b)에 우안 영상(440b)을 디스플레이 하고, 제 1 디스플레이 유닛(120a)에는 좌안 영상(440a)을 디스플레이 하지 않을 수 있다. 다음으로, 도 14(c) 도시된 바와 같이 HMD(100)는 T3의 시간 동안 제 1 디스플레이 유닛(120a)에 좌안 영상(440a)을 디스플레이 하고, 제 2 디스플레이 유닛(120b)에는 우안 영상(440b)을 디스플레이 하지 않을 수 있다. 즉, 본 발명의 실시예에 따른 HMD(100는 좌안 영상(440a) 및 우안 영상(440b)을 번갈아 가며 디스플레이 할 수 있다. 이와 같이 좌안 영상(440a)과 우안 영상(440b)이 동시에 디스플레이 되지 않더라도, HMD(100)를 착용한 유저에게는 각 영상의 잔상이 남게 되어 소스 영상(400)과 동일하거나 유사한 영상을 인식할 수 있게 된다.14 shows another embodiment of the present invention. Referring to FIG. 14, the HMD 100 according to an exemplary embodiment of the present invention may include a left eye image 440a displayed on the first display unit 120a and a right eye image 440b displayed on the second display unit 120b. The display intervals can be adjusted to intersect each other. As shown in FIG. 14A, the HMD 100 displays the left eye image 440a on the first display unit 120a for a predetermined time T1, and the right eye image 440b on the second display unit 120b. ) May not be displayed. Next, as shown in FIG. 14B, the HMD 100 displays the right eye image 440b on the second display unit 120b for a predetermined time T2, and the left eye image on the first display unit 120a. 440a may not be displayed. Next, as shown in FIG. 14C, the HMD 100 displays the left eye image 440a on the first display unit 120a and the right eye image 440b on the second display unit 120b. ) May not be displayed. That is, the HMD 100 according to the embodiment of the present invention may alternately display the left eye image 440a and the right eye image 440b. Thus, even if the left eye image 440a and the right eye image 440b are not displayed at the same time. The afterimage of each image is left to the user wearing the HMD 100 to recognize the same or similar image as the source image 400.
전술한 도 12 내지 도 14의 실시예와 같이, HMD(100)가 소스 영상(400)을 좌안 영상 및 우안 영상으로 분리하여 디스플레이 하게 되면, 해당 소스 영상(400)은 HMD(100)를 착용한 유저에게만 잘 보이게 된다. 즉, HMD(100)를 착용하지 않은 사람에게는 좌안 영상 및 우안 영상이 제대로 오버랩 되어 보이지 않으므로, 소스 영상을 인식할 수 없게 된다. 따라서, 본 발명의 실시예에 따른 HMD(100)는 소스 영상(400)의 보안 디스플레이가 가능하게 된다.12 to 14, when the HMD 100 separates and displays the source image 400 into the left eye image and the right eye image, the corresponding source image 400 wears the HMD 100. It is only visible to the user. That is, since the left eye image and the right eye image do not appear to overlap with the person who does not wear the HMD 100, the source image may not be recognized. Therefore, the HMD 100 according to the embodiment of the present invention enables the secure display of the source image 400.
도 15 및 도 16은 본 발명의 또 다른 실시예에 따른 좌안 영상 및 우안 영상 디스플레이 방법을 나타내고 있다.15 and 16 illustrate a method for displaying a left eye image and a right eye image according to another embodiment of the present invention.
본 발명의 실시예에 따르면, HMD(100)는 상기 HMD(100)를 착용한 유저의 시선(105)을 디텍트하고, 디텍트 된 시선(105)에 기초하여 좌안 영상(450a) 및 우안 영상(450b)을 디스플레이 할 수 있다. HMD(100)를 착용한 유저의 시선(105)은 유저 개개인마다 다를 수 있으며, 동일한 유저라 하더라도 실시간으로 변화할 수 있다. 따라서, 도 15에 도시된 바와 같이 HMD(100)를 착용한 유저에게 좌안 영상(450a)과 우안 영상(450b)의 오버랩 영상(480)은 소스 영상과 달리 일그러진 영상이 될 수 있다. 이와 같이 좌안 영상(450a)과 우안 영상(450b)이 유저의 시선(105)에 따라 정확히 오버랩 되지 않으면, 유저는 소스 영상을 정확히 인식할 수 없게 된다.According to an embodiment of the present invention, the HMD 100 detects the gaze 105 of the user wearing the HMD 100, and the left eye image 450a and the right eye image based on the detected gaze 105. 450b can be displayed. The gaze 105 of a user wearing the HMD 100 may be different for each user, and may be changed in real time even with the same user. Accordingly, as illustrated in FIG. 15, the overlap image 480 of the left eye image 450a and the right eye image 450b may be distorted unlike the source image to the user wearing the HMD 100. In this way, if the left eye image 450a and the right eye image 450b do not exactly overlap with the user's line of sight 105, the user may not correctly recognize the source image.
따라서, 본 발명의 실시예에 따른 HMD(100)는 도 16에 도시된 바와 같이 유저의 시선(105)에 기초하여 좌안 영상(450a) 및 우안 영상(450b)의 디스플레이 위치를 변경할 수 있다. 즉, HMD(100)는 아이 트래킹 카메라 유닛을 이용하여 유저의 시선(105) 디텍트 하고, 디텍트 된 유저의 시선(105)에 좌안 영상(450a)과 우안 영상(450b)이 정확히 오버랩 되기 위한 디스플레이 위치 이동 팩터(25a, 25b)를 산출한다. 이러한 디스플레이 위치 이동 팩터(25a, 25b)는 좌안 영상(450a) 및 우안 영상(450b) 모두에 대해서 산출될 수 있으며, 둘 중 어느 하나에 대해서만 산출될 수도 있다. 디스플레이 위치 이동 팩터(25a, 25b)가 산출되면, HMD는 산출된 위치 이동 팩터(25a, 25b)를 이용하여 좌안 영상(450a) 및 우안 영상(450b) 중 적어도 하나를 기본 디스플레이 위치에서 이동하여 디스플레이 한다. 그 결과, 도 16에 도시된 바와 같이 좌안 영상(450a)과 우안 영상(450b)은 정확히 오버랩 되어 소스 영상과 동일하거나 유사한 오버랩 영상(480’)을 형성하게 된다.Thus, as shown in FIG. 16, the HMD 100 according to an exemplary embodiment of the present invention may change the display positions of the left eye image 450a and the right eye image 450b based on the user's gaze 105. That is, the HMD 100 detects the user's gaze 105 using the eye tracking camera unit, and the left eye image 450a and the right eye image 450b are exactly overlapped with the detected user's gaze 105. The display position shift factors 25a and 25b are calculated. The display position shift factors 25a and 25b may be calculated for both the left eye image 450a and the right eye image 450b, or may be calculated for either one. When the display position shift factors 25a and 25b are calculated, the HMD moves and displays at least one of the left eye image 450a and the right eye image 450b from the basic display position by using the calculated position shift factors 25a and 25b. do. As a result, as shown in FIG. 16, the left eye image 450a and the right eye image 450b are exactly overlapped to form an overlap image 480 'which is the same as or similar to the source image.
도 17은 본 발명의 HMD(100)가 소스 영상을 획득하는 일 실시예를 나타낸 도면이다. 본 발명의 실시예에서 HMD(100)는 다양한 방법으로 소스 영상을 획득할 수 있다. 일 실시예에 따르면, HMD(100)는 증강현실 정보를 상기 소스 영상으로 획득할 수 있다.17 is a diagram illustrating an embodiment in which the HMD 100 of the present invention acquires a source image. In an embodiment of the present invention, the HMD 100 may acquire a source image in various ways. According to an embodiment, the HMD 100 may obtain augmented reality information as the source image.
도 17을 참조하면, HMD(100)는 특정 마커(415)를 디텍트 하고, 디텍트 된 마커(415)에 대응하는 증강 현실 정보를 소스 영상으로 획득할 수 있다. 본 발명의 실시예에서 상기 마커(415)는 증강현실 정보를 제공하기 위해 미리 지정된 식별자로써, 바코드, QR 코드, RFID, 컬러 코드, 이미지 코드 등 다양한 종류의 마커를 포함한다. HMD(100)를 착용한 유저(10)는 HMD(100)가 디텍트 한 마커(415)에 대응하는 증강현실 정보 “7581”을 오버랩 영상(480)으로 제공받을 수 있다. 이때, HMD(100)는 상기 증강현실 정보 “7581”의 좌안 영상 및 우안 영상을 유저(10)의 시선(105)에 기초하여 디스플레이 할 수 있다.Referring to FIG. 17, the HMD 100 may detect a specific marker 415 and acquire augmented reality information corresponding to the detected marker 415 as a source image. In the embodiment of the present invention, the marker 415 is a predetermined identifier for providing augmented reality information, and includes various kinds of markers such as a barcode, a QR code, an RFID, a color code, and an image code. The user 10 wearing the HMD 100 may receive the augmented reality information “7581” corresponding to the marker 415 detected by the HMD 100 as the overlap image 480. In this case, the HMD 100 may display the left eye image and the right eye image of the augmented reality information “7581” based on the gaze 105 of the user 10.
한편 본 발명의 다른 실시예에 따르면, HMD(100)는 기 설정된 디바이스와 태깅 되었을 때 제공되는 증강현실 정보를 소스 영상으로 획득할 수 있다. 예를 들어, 본 발명의 HMD(100)는 디지털 도어락, ATM(Automated Teller Machine) 등 기 설정된 디바이스와 태깅 되었을 때, 비밀번호 등의 증강현실 정보를 획득할 수 있다. HMD(100)는 획득된 증강현실 정보를 좌안 영상 및 우안 영상으로 분리하고, 이를 각각 제 1 디스플레이 유닛 및 제 2 디스플레이 유닛에 디스플레이 할 수 있다.Meanwhile, according to another exemplary embodiment of the present invention, the HMD 100 may acquire augmented reality information provided when tagged with a preset device as a source image. For example, when the HMD 100 of the present invention is tagged with a preset device such as a digital door lock or an automated teller machine (ATM), the HMD 100 may acquire augmented reality information such as a password. The HMD 100 may separate the acquired augmented reality information into a left eye image and a right eye image, and display them on the first display unit and the second display unit, respectively.
도 18은 본 발명의 실시예에 따른 비디오 콘텐츠 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 18의 각 단계는 본 발명의 HMD(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 HMD(100)의 프로세서(110)가 도 18의 각 단계를 제어할 수 있다. 한편, 도 3의 실시예와 같이 HMD(100)가 외부 디지털 디바이스(200)에 의해 제어될 경우, 해당 외부 디지털 디바이스(200)의 제어 명령에 기초하여 HMD(100)가 도 18의 각 단계를 수행할 수 있다.18 is a flowchart illustrating a method of providing video content according to an embodiment of the present invention. Each step of FIG. 18 described below may be performed by the HMD 100 of the present invention. That is, the processor 110 of the HMD 100 shown in FIG. 1 may control each step of FIG. 18. Meanwhile, when the HMD 100 is controlled by the external digital device 200 as in the embodiment of FIG. 3, the HMD 100 performs each step of FIG. 18 based on a control command of the corresponding external digital device 200. Can be done.
먼저, 본 발명의 HMD는 비디오 콘텐츠를 획득한다(S1910). 본 발명의 실시예에 따르면 HMD는 커넥팅 된 외부 디지털 디바이스로부터 상기 비디오 콘텐츠를 획득할 수 있다. 다른 실시예에 따르면, HMD는 커뮤니케이션 유닛을 통해 서버로부터 상기 비디오 콘텐츠를 획득할 수 있다. 또 다른 실시예에 따르면, 상기 비디오 콘텐츠는 HMD의 스토리지 유닛에 저장된 데이터를 포함할 수 있다. 본 발명의 일 실시예에 따르면, HMD는 적어도 하나의 마커를 디텍트 할 수 있으며, 상기 마커에 대응하는 증강 현실 정보로써 상기 비디오 콘텐츠를 획득할 수 있다. 이때, 상기 마커는 증강 현실 정보를 제공하기 위해 미리 지정된 식별자로써, 바코드, QR 코드, RFID, 컬러 코드, 이미지 코드 등을 포함할 수 있다. 본 발명의 다른 실시예에 따르면, HMD는 기 설정된 디바이스와 태깅 되었을 때 제공되는 증강 현실 정보로써 상기 비디오 콘텐츠를 획득할 수 있다.First, the HMD of the present invention acquires video content (S1910). According to an embodiment of the present invention, the HMD can obtain the video content from a connected external digital device. According to another embodiment, the HMD can obtain the video content from a server via a communication unit. According to another embodiment, the video content may include data stored in a storage unit of the HMD. According to an embodiment of the present invention, the HMD can detect at least one marker and acquire the video content with augmented reality information corresponding to the marker. In this case, the marker may be a predetermined identifier for providing augmented reality information, and may include a barcode, a QR code, an RFID, a color code, an image code, and the like. According to another embodiment of the present invention, the HMD may acquire the video content as augmented reality information provided when tagged with a preset device.
다음으로, 본 발명의 HMD는 센서 유닛을 이용하여 HMD의 오리엔테이션 정보를 획득한다(S1920). 본 발명의 실시예에서 상기 오리엔테이션 정보는 x축, y축 및 z축 중 적어도 하나의 축에 대한 HMD의 각도 정보를 포함할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 상기 오리엔테이션 정보는 x축, y축 및 z축 중 적어도 하나의 축에 대한 HMD의 방위각 정보를 포함할 수 있다. 또한 본 발명의 다른 실시예에 따르면, 상기 오리엔테이션 정보는 x축, y축 및 z축 중 적어도 하나의 축을 중심으로 한 HMD의 회전각 정보를 포함할 수 있다. 즉, 임의의 x축, y축 및 z축을 중심으로 한 HMD의 회전각 정보를 각각 롤(roll), 피치(pitch) 및 요(yaw) 정보로 정의할 수 있다. 다만, 본 발명은 이에 한정하지 않으며, x축, y축 및 z축에 대한 각각의 회전각 정보는 상기 롤, 피치 및 요 정보 중 어느 하나로 적절하게 설정될 수 있다.Next, the HMD of the present invention acquires orientation information of the HMD using the sensor unit (S1920). In an embodiment of the present invention, the orientation information may include angle information of the HMD with respect to at least one axis among x, y and z axes. That is, according to an embodiment of the present invention, the orientation information may include azimuth information of the HMD with respect to at least one of the x-axis, the y-axis, and the z-axis. In addition, according to another embodiment of the present invention, the orientation information may include rotation angle information of the HMD about at least one axis of the x-axis, y-axis and z-axis. That is, the rotation angle information of the HMD about the arbitrary x-axis, y-axis, and z-axis may be defined as roll, pitch, and yaw information, respectively. However, the present invention is not limited thereto, and each rotation angle information about the x-axis, y-axis, and z-axis may be appropriately set to any one of the roll, pitch, and yaw information.
다음으로, 본 발명의 HMD는 상기 획득된 오리엔테이션 정보에 기초하여 비디오 콘텐츠를 디스플레이 유닛에 디스플레이 한다(S1930). 본 발명의 실시예에 따르면, HMD는 상기 획득된 오리엔테이션 정보에 기초하여 비디오 콘텐츠의 디스플레이 방향을 조절할 수 있다. 예를 들어, HMD가 기준 방향에서 좌측으로 θ의 각도로 기울어졌음을 상기 오리엔테이션 정보가 나타낼 경우, HMD는 비디오 콘텐츠를 우측으로 θ의 각도로 기울여 디스플레이 할 수 있다. 즉, HMD는 비디오 콘텐츠를 디스플레이 할 때, HMD의 기울어진 각도를 보상하여 디스플레이 할 수 있다. 따라서 HMD를 착용한 유저의 자세가 변화하여도, HMD를 통해 디스플레이 되는 비디오 콘텐츠는 고정된 위치에서 디스플레이 되는 것처럼 유저에게 제공될 수 있다.Next, the HMD of the present invention displays the video content on the display unit based on the obtained orientation information (S1930). According to an embodiment of the present invention, the HMD can adjust the display direction of the video content based on the obtained orientation information. For example, when the orientation information indicates that the HMD is inclined at an angle of θ to the left in the reference direction, the HMD may display the video content by tilting it to the right at an angle of θ. That is, when displaying the video content, the HMD can compensate for and display the tilted angle of the HMD. Thus, even if the posture of the user wearing the HMD changes, the video content displayed through the HMD can be provided to the user as if displayed at a fixed position.
다음으로, 본 발명의 HMD는 비디오 콘텐츠에 포함된 적어도 하나의 버츄얼 오브젝트와 HMD간의 상대적 거리 정보를 획득한다(S1940). HMD는 디스플레이 중인 비디오 콘텐츠에서 적어도 하나의 버츄얼 오브젝트의 위치 정보를 획득할 수 있다. 상기 버츄얼 오브젝트의 위치 정보는 획득된 비디오 콘텐츠에 부가정보로 포함될 수 있으며, 또는 HMD가 이미지 프로세싱을 통해 획득할 수 있다. 본 발명의 실시예에서 비디오 콘텐츠는 다양한 시물레이션 게임을 포함할 수 있으며, 해당 시물레이션 게임에서 나타나는 다양한 비쥬얼 오브젝트들이 상기 버츄얼 오브젝트에 포함될 수 있다. HMD는 상기 버츄얼 오브젝트의 위치 정보와 HMD의 오리엔테이션 정보를 이용하여 실시간으로 버츄얼 오브젝트와 HMD간의 거리 정보를 획득한다.Next, the HMD of the present invention obtains relative distance information between at least one virtual object included in the video content and the HMD (S1940). The HMD can obtain location information of at least one virtual object in the video content being displayed. The location information of the virtual object may be included as additional information in the obtained video content, or the HMD may be obtained through image processing. In an embodiment of the present invention, video content may include various simulation games, and various visual objects appearing in the simulation game may be included in the virtual object. The HMD obtains distance information between the virtual object and the HMD in real time by using the position information of the virtual object and the orientation information of the HMD.
다음으로, 본 발명의 HMD는 상기 버츄얼 오브젝트와 HMD가 서로 충돌하는지 여부를 판별한다(S1950). 본 발명의 HMD는 상기 S1940 단계에서 획득된 버츄얼 오브젝트와 HMD간의 거리 정보에 기초하여, 버츄얼 오브젝트와 HMD간의 위치 충돌이 일어나는지 여부를 판별한다.Next, the HMD of the present invention determines whether the virtual object and the HMD collide with each other (S1950). The HMD of the present invention determines whether a location collision occurs between the virtual object and the HMD based on the distance information between the virtual object and the HMD obtained in step S1940.
만약, 버츄얼 오브젝트와 HMD가 서로 충돌할 경우, HMD는 피드백을 제공한다(S1960). 본 발명의 실시예에 따르면 HMD는 다양한 형태로 상기 피드백을 제공할 수 있다. 예를 들어, HMD는 상기 HMD, 또는 HMD와 커넥팅 된 디바이스를 통해 진동 피드백을 제공할 수 있다. 다른 실시예에 따르면, HMD는 디스플레이 유닛으로 다양한 종류의 비쥬얼 피드백을 제공할 수 있다. 또는, HMD는 음성 출력 유닛 예를 들면, 이어폰을 구비할 수 있으며, 상기 음성 출력 유닛으로 다양한 종류의 음성 피드백을 제공할 수 있다. 본 발명의 실시예에 따르면, HMD는 상기 진동 피드백, 비쥬얼 피드백 및 음성 피드백 중 적어도 하나를 포함하는 피드백을 제공할 수 있다. 이에 따라 HMD를 착용한 유저는 버츄얼 오브젝트와 HMD간의 충돌이 일어났음을 인식할 수 있게 된다.If the virtual object and the HMD collide with each other, the HMD provides feedback (S1960). According to an embodiment of the present invention, the HMD may provide the feedback in various forms. For example, the HMD can provide vibration feedback through the HMD or a device connected to the HMD. According to another embodiment, the HMD can provide various kinds of visual feedback to the display unit. Alternatively, the HMD may include a voice output unit, for example, an earphone, and may provide various types of voice feedback to the voice output unit. According to an embodiment of the present invention, the HMD may provide feedback including at least one of the vibration feedback, visual feedback, and voice feedback. Accordingly, the user wearing the HMD can recognize that a collision between the virtual object and the HMD has occurred.
한편, 본 발명의 다른 실시예에 따르면, HMD는 HMD의 전방에 위치한 리얼 오브젝트를 디텍트 할 수 있다. 상기 리얼 오브젝트는 유저의 손과 발 등의 신체, 리모콘 등 다양한 오브젝트를 포함할 수 있다. 본 발명의 HMD는 디텍팅 모듈을 이용하여 리얼 오브젝트를 디텍트 하고, 상기 리얼 오브젝트의 위치 정보를 획득할 수 있다. HMD는 리얼 오브젝트와 버츄얼 오브젝트 간의 상대적 거리 정보를 더 획득하고, 리얼 오브젝트와 버츄얼 오브젝트가 서로 충돌하는지 여부를 판별한다. 만약, 리얼 오브젝트와 버츄얼 오브젝트가 서로 충돌할 경우, HMD는 S1960단계에서 상술한 바와 같이 피드백을 제공할 수 있다.Meanwhile, according to another embodiment of the present invention, the HMD may detect a real object located in front of the HMD. The real object may include various objects such as a body of a user's hands and feet, a remote controller, and the like. The HMD of the present invention can detect a real object by using a detection module, and obtain position information of the real object. The HMD further obtains relative distance information between the real object and the virtual object, and determines whether the real object and the virtual object collide with each other. If the real object and the virtual object collide with each other, the HMD can provide feedback as described above in operation S1960.
도 19 내지 도 22는 본 발명의 실시예에 따른 HMD(100)가 비디오 콘텐츠를 제공하는 구체적인 방법을 나타낸 도면이다.19 to 22 illustrate a specific method of providing video content by the HMD 100 according to an embodiment of the present invention.
먼저, 도 19는 본 발명의 HMD(100)가 디스플레이 유닛으로 비디오 콘텐츠를 디스플레이 하는 모습을 나타내고 있다. HMD(100)는 비디오 콘텐츠 중 적어도 일부 영역을 디스플레이 할 수 있는데, 본 발명에서는 상기 영역을 디스플레이 영역(40)이라고 한다. 도 19에서 비디오 콘텐츠의 디스플레이 영역(40)에는 적어도 하나의 버츄얼 오브젝트(500a, 500b, 500c)가 포함되어 있다. 한편 도면부호 32는 HMD(100)의 오리엔테이션을 나타내고 있다. 본 발명의 실시예에 따르면, HMD(100)는 센서 유닛을 이용하여 HMD(100)의 오리엔테이션(32) 정보를 획득한다. 본 발명의 실시예에서 상기 오리엔테이션(32) 정보는 x축, y축 및 z축 중 적어도 하나의 축에 대한 HMD(100)의 각도 정보를 포함한다. 도 19 및 도 20에 도시된 x축, y축 및 z축은 임의의 방향을 기준으로 한 3축의 예를 나타낸 것으로서, 본 발명은 이에 한정되지 않는다. HMD(100)는 획득된 오리엔테이션(32) 정보에 기초하여 비디오 콘텐츠의 디스플레이 오리엔테이션(20)을 조절한다.First, FIG. 19 shows how the HMD 100 of the present invention displays video content on a display unit. The HMD 100 may display at least some areas of the video content. In the present invention, the area is referred to as the display area 40. In FIG. 19, the display area 40 of the video content includes at least one virtual object 500a, 500b, or 500c. Reference numeral 32 designates an orientation of the HMD 100. According to an embodiment of the present invention, the HMD 100 obtains the orientation 32 information of the HMD 100 using the sensor unit. In an embodiment of the present invention, the orientation 32 information includes angle information of the HMD 100 with respect to at least one of the x-axis, the y-axis, and the z-axis. The x-axis, the y-axis, and the z-axis shown in FIGS. 19 and 20 show examples of three axes based on arbitrary directions, and the present invention is not limited thereto. The HMD 100 adjusts the display orientation 20 of the video content based on the obtained orientation 32 information.
도 20은 도 19의 HMD(100)가 x축을 기준으로 시계 반대 방향으로 θ의 각도로 기울어진 모습을 나타내고 있다. 본 발명의 HMD(100)는 센서 유닛을 통해 HMD(100)의 새로운 오리엔테이션(32’) 정보를 획득한다. 본 발명의 실시예에 따르면, HMD(100)는 상기 새로운 오리엔테이션(32’) 정보에 기초하여 비디오 콘텐츠의 디스플레이 영역을 40에서 40’로 변경한다. 상기 디스플레이 영역 40’는 도 19의 디스플레이 영역 40에서 x축을 기준으로 시계 반대 방향으로 θ의 각도만큼 기울어진 방향의 영역이다. 즉, HMD(100)는 HMD(100)의 오리엔테이션 변화에 대응하여 새로운 디스플레이 영역 40’를 디스플레이 할 수 있다. 한편, 상기 디스플레이 영역 40’ 내에는 비디오 콘텐츠의 버츄얼 오브젝트 500a 및 500b가 포함된다. 따라서, HMD(100)는 디스플레이 영역 40’에 포함된 버츄얼 오브젝트 500a 및 500b를 디스플레이 할 수 있다. 그러나 HMD(100)는 디스플레이 영역 40’에 포함되지 않는 버츄얼 오브젝트 500c는 디스플레이 하지 않을 수 있다.FIG. 20 illustrates a state in which the HMD 100 of FIG. 19 is inclined at an angle θ in a counterclockwise direction with respect to the x-axis. The HMD 100 of the present invention obtains new orientation 32 'information of the HMD 100 through the sensor unit. According to an embodiment of the invention, the HMD 100 changes the display area of video content from 40 to 40 'based on the new orientation 32' information. The display area 40 ′ is an area in a direction inclined by an angle θ in a counterclockwise direction with respect to the x axis in the display area 40 of FIG. 19. That is, the HMD 100 may display a new display area 40 'in response to the orientation change of the HMD 100. The display area 40 'includes virtual objects 500a and 500b of video content. Therefore, the HMD 100 may display the virtual objects 500a and 500b included in the display area 40 '. However, the HMD 100 may not display the virtual object 500c not included in the display area 40 '.
본 발명의 실시예에 따르면 HMD(100)는 획득된 새로운 오리엔테이션(32’) 정보에 기초하여 비디오 콘텐츠의 디스플레이 오리엔테이션을 20에서 20’로 변경할 수 있다. 도 20의 실시예에서 HMD(100)는 x축을 기준으로 시계 반대 방향으로 θ의 각도로 기울어진 HMD(100)의 오리엔테이션(32’)에 대응하여, 비디오 콘텐츠의 디스플레이 오리엔테이션을 x축을 기준으로 시계 방향으로 θ의 각도로 기울일 수 있다. 이에 따라, 비디오 콘텐츠에 포함된 버츄얼 오브젝트 500a 및 500b 역시 x축을 기준으로 시계 방향으로 θ의 각도로 기울여져 HMD(100)에 디스플레이 될 수 있다. 즉, 본 발명의 HMD(100)는 비디오 콘텐츠를 디스플레이 할 때, HMD(100)의 기울어진 각도를 보상하여 디스플레이 할 수 있다. 따라서 HMD(100)를 착용한 유저의 자세가 변화하여도, HMD(100)를 통해 디스플레이 되는 비디오 콘텐츠 및 이에 포함된 버츄얼 오브젝트(500a, 500b)는 고정된 위치에서 디스플레이 되는 것처럼 유저에게 제공될 수 있다.According to an embodiment of the present invention, the HMD 100 may change the display orientation of the video content from 20 to 20 'based on the acquired new orientation 32' information. In the embodiment of FIG. 20, the HMD 100 corresponds to the orientation 32 ′ of the HMD 100 inclined at an angle θ in the counterclockwise direction with respect to the x axis, so that the display orientation of the video content is clocked with respect to the x axis. Can be tilted at an angle of θ in the direction. Accordingly, the virtual objects 500a and 500b included in the video content may also be tilted at an angle θ in the clockwise direction with respect to the x-axis and displayed on the HMD 100. That is, when displaying the video content, the HMD 100 of the present invention may compensate for and display an inclination angle of the HMD 100. Therefore, even if the posture of the user wearing the HMD 100 changes, the video content displayed through the HMD 100 and the virtual objects 500a and 500b included therein may be provided to the user as if they are displayed at a fixed position. have.
도 21은 본 발명의 실시예에 따라 버츄얼 오브젝트가 HMD(100)와 충돌할 때의 비디오 콘텐츠 제공 방법을 나타내고 있다. 본 발명의 HMD(100)는 디스플레이 영역(40) 내에 있는 버츄얼 오브젝트(500a, 500b, 500c)의 위치 정보를 획득할 수 있다. HMD는 상기 버츄얼 오브젝트(500a, 500b, 500c)의 위치 정보와 HMD의 오리엔테이션(32) 정보를 이용하여 실시간으로 버츄얼 오브젝트(500a, 500b, 500c)와 HMD간의 거리 정보를 획득할 수 있다. 도 21의 실시예에서는, 버츄얼 오브젝트 500c와 HMD(100)간에 위치 충돌이 일어나고 있다. HMD(100)는 이러한 위치 충돌에 대응하여 피드백을 제공할 수 있다. 상기 충돌에 대응하여, HMD(100)는 도 21에 도시된 바와 같이 비쥬얼 피드백(600)을 제공할 수 있다. 본 발명의 다른 실시예에 따르면, HMD(100)는 진동 피드백, 음성 피드백 등을 제공할 수 있다. 이에 따라 HMD(100)를 착용한 유저는 버츄얼 오브젝트 500c와 HMD(100)간에 충돌이 일어났음을 인식할 수 있게 된다.21 illustrates a video content providing method when a virtual object collides with the HMD 100 according to an embodiment of the present invention. The HMD 100 of the present invention may acquire location information of the virtual objects 500a, 500b, and 500c in the display area 40. The HMD may acquire distance information between the virtual objects 500a, 500b, and 500c and the HMD in real time using the location information of the virtual objects 500a, 500b and 500c and the orientation 32 information of the HMD. In the embodiment of FIG. 21, a positional collision occurs between the virtual object 500c and the HMD 100. HMD 100 may provide feedback in response to such a location conflict. In response to the collision, HMD 100 may provide visual feedback 600 as shown in FIG. 21. According to another embodiment of the present invention, the HMD 100 may provide vibration feedback, voice feedback, and the like. Accordingly, the user wearing the HMD 100 can recognize that a collision has occurred between the virtual object 500c and the HMD 100.
도 22는 본 발명의 다른 실시예에 따라 HMD(100) 전방에 위치한 리얼 오브젝트(14)와 버츄얼 오브젝트가 충돌할 때의 비디오 콘텐츠 제공 방법을 나타내고 있다. 본 발명의 실시예에 따르면, HMD(100)는 디텍팅 모듈을 이용하여 HMD(100) 전방에 위치한 리얼 오브젝트(14)를 디텍트 할 수 있다. 본 발명에서 상기 리얼 오브젝트(14)는 유저(10)의 손과 발 등의 신체, 리모콘, 기타 도구 등 다양한 오브젝트를 포함할 수 있다. HMD(100)를 착용한 유저(10)는 상기 리얼 오브젝트(14)를 이용하여 비디오 콘텐츠의 버츄얼 오브젝트(500a, 500b, 500c)와 인터랙트 할 수 있다. HMD(100)는 디텍팅 모듈을 이용하여 리얼 오브젝트(14)의 위치 정보를 획득하고, 리얼 오브젝트(14)와 버츄얼 오브젝트(500a, 500b, 500c) 간의 상대적 거리 정보를 산출한다. 그리고 HMD(100)는 리얼 오브젝트(14)와 버츄얼 오브젝트(500a, 500b, 500c)가 서로 충돌하는지 여부를 판단한다. 도 22의 실시예에서, 버츄얼 오브젝트 500b와 리얼 오브젝트(14)간에 위치 충돌이 일어나고 있다. 상기 충돌에 대응하여, HMD(100)는 도시된 바와 같이 비쥬얼 피드백(600), 진동 피드백, 음성 피드백 등을 제공할 수 있다. 이에 따라 HMD(100)를 착용한 유저는 버츄얼 오브젝트 500b와 리얼 오브젝트(14)간에 충돌이 일어났음을 인식할 수 있게 된다.FIG. 22 illustrates a method of providing video content when a virtual object collides with a real object 14 located in front of the HMD 100 according to another embodiment of the present invention. According to an embodiment of the present invention, the HMD 100 may detect the real object 14 located in front of the HMD 100 using the detecting module. In the present invention, the real object 14 may include various objects such as a body such as a hand and a foot of the user 10, a remote controller, and other tools. The user 10 wearing the HMD 100 may interact with the virtual objects 500a, 500b, and 500c of the video content using the real object 14. The HMD 100 obtains the position information of the real object 14 using the detecting module, and calculates relative distance information between the real object 14 and the virtual objects 500a, 500b, and 500c. The HMD 100 determines whether the real object 14 and the virtual objects 500a, 500b, and 500c collide with each other. In the embodiment of FIG. 22, a positional conflict occurs between the virtual object 500b and the real object 14. In response to the collision, the HMD 100 may provide visual feedback 600, vibration feedback, voice feedback, and the like, as shown. Accordingly, a user wearing the HMD 100 can recognize that a collision has occurred between the virtual object 500b and the real object 14.
지금까지 HMD(100)에 의해 수행되는 본 발명의 구체적인 동작들을 설명하였다. 다만, 본 발명의 실시예는 이에 한정하지 않으며, 도 3에서 설명한 바와 같이 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 제어에 의해 각 동작들이 수행되는 것을 포함한다.So far, specific operations of the present invention performed by the HMD 100 have been described. However, the exemplary embodiment of the present invention is not limited thereto, and as described with reference to FIG. 3, each operation is performed by the control of the external digital device 200 connected to the HMD 100.
본 발명에서 설명한 HMD는 본 발명의 목적에 따라 다양한 디바이스로 변경 및 대체 가능하다. 예를 들어, 본 발명의 HMD는 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스를 포함하며, 본 발명에서 사용된 용어에 한정되지 않는다. 이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.The HMD described in the present invention can be changed and replaced with various devices according to the purpose of the present invention. For example, the HMD of the present invention includes various devices capable of providing a display by being worn by a user, such as eye mounted display (EMD), eyeglass, eyepiece, eye wear, HWD (Head Worn Display), and used in the present invention. It is not limited to the said term. Although the present invention has been described through specific embodiments, those skilled in the art may make modifications and changes without departing from the spirit and scope of the present invention. Therefore, what can be easily inferred by the person of the technical field to which the present invention belongs from the detailed description and the Example of this invention is interpreted as belonging to the scope of the present invention.
전술한 바와 같이, 발명의 실시를 위한 최선의 형태에서 관련 사항을 기술하였다.As mentioned above, relevant matters have been described in the best mode for carrying out the invention.
전술한 바와 같이, 본 발명은 HMD를 포함하는 다양한 디지털 디바이스에 전체적으로 또는 부분적으로 적용될 수 있다.As noted above, the present invention may be applied, in whole or in part, to various digital devices including HMDs.

Claims (10)

  1. 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법으로써,As a content providing method using a head mounted display (HMD),
    소스 영상을 획득하는 단계;Obtaining a source image;
    상기 소스 영상을 좌안 영상 및 우안 영상으로 분리하는 단계, 상기 좌안 영상 및 우안 영상은 각각 상기 소스 영상의 적어도 일부를 구성함; 및Separating the source image into a left eye image and a right eye image, wherein the left eye image and the right eye image each constitute at least a part of the source image; And
    상기 분리된 좌안 영상을 상기 HMD의 제 1 디스플레이 유닛에, 상기 분리된 우안 영상을 상기 HMD의 제 2 디스플레이 유닛에 각각 디스플레이 하는 단계;Displaying the separated left eye image on the first display unit of the HMD and the separated right eye image on the second display unit of the HMD;
    를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.Content providing method using a head-mounted display (HMD) comprising a.
  2. 제 1항에 있어서,The method of claim 1,
    상기 HMD를 착용한 유저의 시선을 디텍트 하는 단계를 더 포함하며,Detecting the eyes of the user wearing the HMD;
    상기 디스플레이 하는 단계는, 상기 디텍트 된 유저의 시선에 기초하여 상기 좌안 영상 및 우안 영상 중 적어도 하나의 디스플레이 위치를 조정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.The displaying may include adjusting a display position of at least one of the left eye image and the right eye image based on the detected gaze of the user.
  3. 제 2항에 있어서,The method of claim 2,
    상기 디스플레이 하는 단계는,The displaying step,
    상기 디텍트 된 시선에 기초하여 상기 좌안 영상 및 우안 영상 중 적어도 하나의 디스플레이 위치 이동 팩터를 산출하는 단계; 및Calculating a display position shift factor of at least one of the left eye image and the right eye image based on the detected gaze; And
    상기 산출된 위치 이동 팩터를 이용하여 상기 좌안 영상 및 우안 영상 중 적어도 하나를 기본 디스플레이 위치에서 이동하여 디스플레이 하는 단계;Moving and displaying at least one of the left eye image and the right eye image from the basic display position using the calculated position shift factor;
    를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.Content providing method using a head-mounted display (HMD) comprising a.
  4. 제 1항에 있어서,The method of claim 1,
    상기 좌안 영상 및 우안 영상은 오버랩 되어 상기 소스 영상을 구성하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.The left eye image and the right eye image are overlapped to form the source image content providing method using a head-mounted display (HMD).
  5. 제 1항에 있어서,The method of claim 1,
    상기 분리하는 단계는,The separating step,
    상기 소스 영상을 캐릭터 단위로 상기 좌안 영상 및 우안 영상으로 분리하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.And distributing the source image into the left eye image and the right eye image in character units.
  6. 제 1항에 있어서,The method of claim 1,
    상기 분리하는 단계는,The separating step,
    기 설정된 패턴에 기초하여 상기 소스 영상을 상기 좌안 영상 및 우안 영상으로 분리하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.The content providing method using the head mounted display (HMD), characterized in that for separating the source image into the left eye image and the right eye image based on a predetermined pattern.
  7. 제 1항에 있어서,The method of claim 1,
    상기 디스플레이 하는 단계는,The displaying step,
    상기 좌안 영상 및 우안 영상의 디스플레이 인터벌이 서로 교차하도록 조정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.And adjusting the display interval of the left eye image and the right eye image to cross each other.
  8. 제 1항에 있어서,The method of claim 1,
    상기 소스 영상은 디텍트 된 마커에 대응하는 증강 현실 정보인 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.The source image is a content providing method using a head-mounted display (HMD), characterized in that the augmented reality information corresponding to the detected marker.
  9. 제 1항에 있어서,The method of claim 1,
    상기 소스 영상은 상기 HMD가 기 설정된 디바이스와 태깅 되었을 때 제공되는 증강 현실 정보인 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 콘텐츠 제공 방법.And the source image is augmented reality information provided when the HMD is tagged with a preset device.
  10. 헤드 마운트 디스플레이(HMD)로써,As a head mounted display (HMD),
    상기 HMD의 작동을 제어하는 프로세서; 및A processor controlling the operation of the HMD; And
    상기 프로세서의 명령에 기초하여 이미지를 출력하는 디스플레이 유닛을 포함하되, 상기 디스플레이 유닛은 제 1 디스플레이 유닛 및 제 2 디스플레이 유닛을 포함하고,A display unit for outputting an image based on a command of the processor, wherein the display unit includes a first display unit and a second display unit,
    상기 프로세서는,The processor,
    소스 영상을 획득하고,Obtain the source image,
    상기 소스 영상을 좌안 영상 및 우안 영상으로 분리하되, 상기 좌안 영상 및 우안 영상은 각각 상기 소스 영상의 적어도 일부를 구성하며,The source image is divided into a left eye image and a right eye image, wherein the left eye image and the right eye image respectively constitute at least a part of the source image.
    상기 분리된 좌안 영상을 상기 제 1 디스플레이 유닛에, 상기 분리된 우안 영상을 상기 제 2 디스플레이 유닛에 각각 디스플레이 하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD).And displaying the separated left eye image on the first display unit and the separated right eye image on the second display unit, respectively.
PCT/KR2013/004988 2013-04-30 2013-06-05 Head mounted display and method for providing contents by using same WO2014178477A1 (en)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2013-0048916 2013-04-30
KR20130048910 2013-04-30
KR20130048916 2013-04-30
KR10-2013-0048910 2013-04-30
KR20130048913 2013-04-30
KR10-2013-0048913 2013-04-30

Publications (1)

Publication Number Publication Date
WO2014178477A1 true WO2014178477A1 (en) 2014-11-06

Family

ID=51843590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/004988 WO2014178477A1 (en) 2013-04-30 2013-06-05 Head mounted display and method for providing contents by using same

Country Status (1)

Country Link
WO (1) WO2014178477A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016190489A1 (en) * 2015-05-27 2016-12-01 엘지전자 주식회사 Head mounted display and control method therefor
CN111556305A (en) * 2020-05-20 2020-08-18 京东方科技集团股份有限公司 Image processing method, VR device, terminal, display system and computer-readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275605A (en) * 1998-03-19 1999-10-08 Sony Corp Method for stereoscopically viewing head-mounted display and head-mounted display device
US5982343A (en) * 1903-11-29 1999-11-09 Olympus Optical Co., Ltd. Visual display apparatus
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
KR20120129134A (en) * 2011-05-19 2012-11-28 삼성전자주식회사 Device and method for controlling display of the image in the head mounted display
US20130002813A1 (en) * 2011-06-29 2013-01-03 Vaught Benjamin I Viewing windows for video streams

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982343A (en) * 1903-11-29 1999-11-09 Olympus Optical Co., Ltd. Visual display apparatus
JPH11275605A (en) * 1998-03-19 1999-10-08 Sony Corp Method for stereoscopically viewing head-mounted display and head-mounted display device
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
KR20120129134A (en) * 2011-05-19 2012-11-28 삼성전자주식회사 Device and method for controlling display of the image in the head mounted display
US20130002813A1 (en) * 2011-06-29 2013-01-03 Vaught Benjamin I Viewing windows for video streams

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016190489A1 (en) * 2015-05-27 2016-12-01 엘지전자 주식회사 Head mounted display and control method therefor
US10585283B2 (en) 2015-05-27 2020-03-10 Lg Electronics Inc. Head mounted display and control method therefor
CN111556305A (en) * 2020-05-20 2020-08-18 京东方科技集团股份有限公司 Image processing method, VR device, terminal, display system and computer-readable storage medium
US11838494B2 (en) 2020-05-20 2023-12-05 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method, VR device, terminal, display system, and non-transitory computer-readable storage medium

Similar Documents

Publication Publication Date Title
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US11087728B1 (en) Computer vision and mapping for audio applications
WO2015122565A1 (en) Display system for displaying augmented reality image and control method for the same
WO2014069776A1 (en) Head mounted display and method of outputting audio signal using the same
WO2015046667A1 (en) Smart watch and control method thereof
WO2015046686A1 (en) Wearable display device and method for controlling layer in the same
WO2020185029A1 (en) Electronic device, and method for displaying sharing information on basis of augmented reality
WO2015163536A1 (en) Display device and method for controlling the same
WO2015046676A1 (en) Head-mounted display and method of controlling the same
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2011105671A1 (en) System and method for providing a user manual using augmented reality
WO2020017890A1 (en) System and method for 3d association of detected objects
WO2020130667A1 (en) Method and electronic device for controlling augmented reality device
US20220084303A1 (en) Augmented reality eyewear with 3d costumes
WO2015088101A1 (en) Display device and method of controlling the same
WO2021230568A1 (en) Electronic device for providing augmented reality service and operating method thereof
KR20140129936A (en) A Head Mounted Display and A Method for Providing Contents Using the Same
WO2014178477A1 (en) Head mounted display and method for providing contents by using same
US20210200284A1 (en) Image display device, power supply system, and power supply method for image display device
WO2020145653A1 (en) Electronic device and method for recommending image capturing place
US11900058B2 (en) Ring motion capture and message composition system
WO2021261619A1 (en) Electronic device for detecting plane in image and operation method thereof
WO2014035118A1 (en) Head mounted display and method of controlling digital device using the same
WO2014178476A1 (en) Digital device and content providing method using same
KR20160009213A (en) A Head Mounted Display and A Method for Providing Contents Using the Same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13883503

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13883503

Country of ref document: EP

Kind code of ref document: A1