WO2012137520A1 - 画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体 - Google Patents

画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体 Download PDF

Info

Publication number
WO2012137520A1
WO2012137520A1 PCT/JP2012/050134 JP2012050134W WO2012137520A1 WO 2012137520 A1 WO2012137520 A1 WO 2012137520A1 JP 2012050134 W JP2012050134 W JP 2012050134W WO 2012137520 A1 WO2012137520 A1 WO 2012137520A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
eye image
feature point
unit
Prior art date
Application number
PCT/JP2012/050134
Other languages
English (en)
French (fr)
Inventor
郁子 椿
永雄 服部
山本　健一郎
久雄 熊井
幹生 瀬戸
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/009,339 priority Critical patent/US9189893B2/en
Publication of WO2012137520A1 publication Critical patent/WO2012137520A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to an image processing apparatus for adjusting a parallax value between an image for the left eye and an image for the right eye, an image processing method, a computer program having a computer execute the image processing method, and the computer program
  • the present invention relates to a computer readable recording medium characterized by the above.
  • Non-Patent Document 1 introduces a model relating to a mechanism for detecting a retinal image difference.
  • the luminance edge included in the left and right images is a basic feature corresponding to a binocular image, and correlates the points having the same polarity and the azimuth of the contrast and in the vicinity.
  • a plurality of spatial filters with different orientation selectivity and size are applied to each of the left and right images, and the local structure at each position of the image is characterized by the vector constituted by those outputs.
  • Patent Document 1 discloses a stereoscopic TV apparatus in which a block of a left image and a block of a right image are associated with each other to adjust a binocular disparity amount.
  • the stereoscopic TV apparatus calculates a correlation Corr (i, j) between the block of the left image and the block of the right image by the following equation (1).
  • G L (X k , Y k ) and G R (X k , Y k ) are luminance values at the coordinates (X k , Y k ) of the left image and the right image, respectively, and n is the left image
  • i and j are the horizontal and vertical translation amounts of the block, respectively.
  • the stereoscopic TV apparatus associates the block of the right image with the block of the left image by searching for the amount of parallel movement i, j that minimizes the correlation Corr (i, j). That is, the stereoscopic TV apparatus searches for a block of the right image whose luminance value is most similar to the block of the left image, and sets those blocks as corresponding blocks.
  • the present invention effectively suppresses the occurrence of binocular rivalry and generates an image capable of easily performing stereoscopic vision, an image processing method, and image processing thereof It is an object of the present invention to provide a computer program that causes a computer to execute a method, and a computer-readable recording medium characterized in that the computer program is recorded.
  • a first technical means of the present invention is an image processing apparatus for adjusting a parallax value between an image for the left eye and an image for the right eye, and the image for the left eye and the right eye
  • Feature point extraction unit for extracting feature points from each of the for-use images, the image for the left eye extracted by the feature point extraction unit, and the feature points of one of the right-eye images in the horizontal direction
  • a non-corresponding point number calculation unit that calculates, for each movement distance, the number of feature points of any one of the images that do not correspond to the feature points of the other image when moving the distance
  • a parallax value adjustment unit configured to adjust the parallax value between the image for the left eye and the image for the right eye based on the number calculated for each movement distance.
  • a second technical means of the present invention is the first technical means, wherein the feature point extraction unit performs filtering with a filter having a predetermined response characteristic on the image for the left eye and the image for the right eye, In the left-eye image and the right-eye image obtained as a result of the filtering, extracting pixels having pixel values larger than a predetermined threshold value as feature points of the left-eye image and feature points of the right-eye image. It is characterized by
  • a third technical means of the present invention is the second technical means, wherein the feature point extraction unit respectively applies a plurality of filters having different response characteristics to both the left-eye image and the right-eye image.
  • the filtering to be applied is performed, and the pixels whose pixel values are larger than a predetermined threshold are the feature points of the left-eye image and the right-eye image It is characterized in that it is extracted as a feature point of
  • a fourth technical means of the present invention is characterized in that in the second or third technical means, the filter is a band pass filter.
  • a fifth technical means of the present invention in any one of the first to fourth technical means, wherein the parallax value adjustment unit sets the number calculated by the non-corresponding point number calculation unit as a frequency, and the left eye The parallax value between the image for the left eye and the image for the right eye is adjusted based on a frequency distribution in which a distance between a feature point of the image and a feature point of the right eye image is a class. .
  • the pixel value is a pixel value of the feature point of the other image and a predetermined value
  • the feature points that are separated as described above are included in the feature points of any one of the images that do not correspond to the feature points of the other image, and the number of feature points of one of the images is calculated.
  • a seventh technical means of the present invention is the display processing for the image for the left eye and the image for the right eye according to any one of the first to sixth technical means, wherein the parallax value is adjusted by the parallax value adjusting unit. And a display control unit configured to control the display unit.
  • An eighth technical means of the present invention is an image processing apparatus for adjusting a parallax value between an image for the left eye and an image for the right eye, and feature points are respectively extracted from the image for the left eye and the image for the right eye
  • the non-correspondence point number calculation step of calculating the number of feature points of any one image not corresponding to the feature point of the other image for each movement distance, and the non-correspondence point number calculation step are calculated for each movement distance
  • a parallax value adjusting step of adjusting a parallax value between the image for the left eye and the image for the right eye based on the number.
  • a ninth technical means of the present invention is a computer program characterized by causing a computer to execute the above image processing method.
  • a tenth technical means of the present invention is a computer readable recording medium characterized in that the computer program is recorded.
  • a feature point is extracted from each of the left-eye image and the right-eye image, and the feature point of one of the extracted left-eye image and the right-eye image is horizontally specified.
  • the number of feature points of any one of the above images that does not correspond to the feature point of the other image is calculated for each movement distance, and the left eye for the left eye is calculated based on the number calculated for each movement distance. Since the parallax value between the image and the right-eye image is adjusted, it is possible to effectively suppress the occurrence of binocular rivalry and generate an image that can be easily viewed stereoscopically.
  • FIG. 1 is a view showing an example of the arrangement of an image processing apparatus 10 according to the first embodiment of the present invention.
  • the image processing apparatus 10 includes an input unit 11, an input image processing unit 12, an image adjustment unit 13, a display control unit 14, a display unit 15, a glasses synchronization unit 16, and a communication processing unit 17.
  • the input unit 11 is a processing unit that receives an input image for stereoscopic viewing.
  • This input image may be broadcasted by a broadcasting station, read electronically from a recording medium such as a DVD (Digital Versatile Disk) or a Blu-ray Disc, transmitted through a network, or the like. It is input to 10.
  • a broadcasting station read electronically from a recording medium such as a DVD (Digital Versatile Disk) or a Blu-ray Disc, transmitted through a network, or the like. It is input to 10.
  • the input image includes an image for the left eye and an image for the right eye which are used for stereoscopic vision.
  • the input image may include image data and data of the depth of the observation target included in the image.
  • the input image processing unit 12 is a processing unit that generates an image for the left eye used for stereoscopic vision and an image for the right eye from the input image. Specifically, when the input image includes an image for the left eye and an image for the right eye, the input image processing unit 12 extracts the image for the left eye and the image for the right eye from the input image. When the input image includes the image data and the data of the depth of the observation target included in the image, the input image processing unit 12 converts the data of depth into parallax, and the image data by the amount of parallax By shifting in the horizontal direction, an image for the left eye and an image for the right eye are generated.
  • the image adjustment unit 13 is a processing unit that adjusts parallax values in the horizontal direction of the image for the left eye and the image for the right eye. Specifically, the image adjustment unit 13 extracts feature points from each of the left-eye image and the right-eye image. Then, the image adjustment unit 13 does not correspond to the feature points of the extracted right-eye image, and calculates the number of feature points of the left-eye image that are separated from the feature points of the right-eye image by a predetermined distance. Furthermore, the image adjustment unit 13 calculates the adjustment amount of the parallax value between the left eye image and the right eye image based on the calculated number of feature points of the left eye image. The image adjustment unit 13 will be described in detail later with reference to FIG.
  • the display control unit 14 is a processing unit that controls display processing of the image for the left eye and the image for the right eye based on the adjustment amount of the parallax value calculated by the image adjustment unit 13. Specifically, the display control unit 14 acquires the image for the left eye and the information of the adjustment amount h of the parallax value between the images for the right eye from the image adjustment unit 13 and adjusts the image for the left eye and the image for the right eye It is displayed on the display unit 15 shifted by h.
  • FIG. 2 is a diagram for explaining display control processing of an image for the left eye and an image for the right eye.
  • FIG. 2A shows the original left-eye image 30a and the right-eye image 30b generated from the input image.
  • the display control unit 14 moves the left-eye image 30a by h / 2 pixels in the left direction, and the right-eye image 30b in the right direction. Move by h / 2 pixels.
  • the display unit 15 displays a left-eye image 31a and a right-eye image 31b as shown in FIG. 2 (B). In this case, an area having a width of h / 2 pixels in which the image is not displayed is generated on the right side of the left-eye image 31a and on the left side of the right-eye image 31b.
  • the display control unit 14 moves the left-eye image 30a by h / 2 pixels in the right direction, and the right-eye image 30b in the left direction. Move by h / 2 pixels.
  • the display unit 15 displays the image 32a for the left eye and the image 32b for the right eye as shown in FIG. 2 (C). In this case, an area having a width of h / 2 pixels in which the image is not displayed is generated on the left side of the left-eye image 32a and on the right side of the right-eye image 32b.
  • the display unit 15 is a display device such as a display that displays an image for the left eye and an image for the right eye under the control of the display control unit 14.
  • the glasses synchronization unit 16 is a processing unit that synchronizes the display timing by the display unit 15 with the timing at which the shutter glasses 20 block the view of the left eye or the right eye. Specifically, in the glasses synchronization unit 16, the shutter glasses 20 block the right-eye view while the display unit 15 is displaying the left-eye image, and the shutter is displayed while the display unit 15 is displaying the right-eye image. A control signal for controlling the glasses 20 to block the view of the left eye is output to the communication processing unit 17.
  • the communication processing unit 17 is a processing unit that transmits the control signal output by the glasses synchronization unit 16 to the shutter glasses 20 by infrared communication or the like.
  • the shutter glasses 20 receiving this control signal block the left eye or right eye view at the timing instructed by the control signal.
  • FIG. 3 is a diagram showing an example of the configuration of the image adjustment unit 13 according to the first embodiment shown in FIG.
  • the image adjustment unit 13 includes a left-eye image preprocessing unit 13a, a left-eye image feature point extraction unit 13b, a right-eye image preprocessing unit 13c, a right-eye image feature point extraction unit 13d, and non-correspondence.
  • the point number calculation unit 13g and the parallax value adjustment unit 13h are provided.
  • the left-eye image preprocessing unit 13a is a processing unit that converts the left-eye image (RGB image) output by the input image processing unit 12 of FIG. 1 into a luminance image.
  • the left-eye image preprocessing unit 13a may further perform an image reduction process for reducing the amount of calculation, a noise removal process, and the like.
  • the left-eye image feature point extraction unit 13 b is a processing unit that performs a process of extracting feature points in the luminance image generated from the left-eye image. Specifically, the left-eye image feature point extraction unit 13b performs filtering with a filter having a predetermined response characteristic on the luminance image. Then, in the luminance image obtained as a result of the filtering, the left-eye image feature point extraction unit 13 b extracts pixels having pixel values larger than a predetermined threshold value as feature points.
  • the left-eye image feature point extraction unit 13 b performs filtering of a luminance image using a band pass filter.
  • the band pass filter may be a one-dimensional filter or a two-dimensional filter.
  • the left-eye image feature point extraction unit 13 b detects a pixel whose absolute value of the pixel value is equal to or more than a predetermined threshold as a feature point, and detects coordinates of the detected feature point ( x Li , y Li ) (1 ⁇ i: M: M is the number of detected feature points) is temporarily stored in the internal memory as the left-eye image feature point list 13 e, and the left-eye image feature point list 13 e is stored It outputs to the non-corresponding point number calculation unit 13g.
  • the right-eye image preprocessing unit 13 c is a processing unit that converts the right-eye image (RGB image) output by the input image processing unit 12 in FIG. 1 into a luminance image.
  • the right-eye image preprocessing unit 13 c may further perform image reduction processing for reducing the amount of calculation, noise removal processing, and the like.
  • the right eye image feature point extraction unit 13d performs processing for extracting a feature point in the luminance image generated from the right eye image. Specifically, the right-eye image feature point extraction unit 13d performs filtering on the luminance image generated from the right-eye image, using the same filter as the filter used by the left-eye image feature point extraction unit 13b. Then, the right-eye image feature point extraction unit 13d extracts pixels having pixel values larger than a predetermined threshold value as feature points in the luminance image obtained as a result of the filtering.
  • the predetermined threshold is set to the same value as the threshold used when the left-eye image feature point extraction unit 13 b extracts feature points.
  • the right-eye image feature point extraction unit 13 d performs filtering of a luminance image using the band pass filter.
  • the right eye image feature point extraction unit 13 d detects a pixel whose absolute value of the pixel value is equal to or more than a predetermined threshold as a feature point, and detects the coordinates of the detected pixel (x Rj , y Rj ) (1 ⁇ j ⁇ N: N is the number of detected feature points) is temporarily stored in the internal memory as the right-eye image feature point list 13f, and the stored right-eye image feature point list 13f is not It outputs to the corresponding point number calculation unit 13g.
  • the band pass filter can be considered as a model that surpasses human visual characteristics. This is because human vision has band-pass spatial frequency sensitivity characteristics in the luminance component of the image.
  • the number of non-corresponding point number calculation units 13 g for the number of left-eye features does not correspond to the feature points of the right-eye image. It is a processing unit which calculates for every movement distance of a feature point of.
  • the non-corresponding point number calculation unit 13g acquires the left-eye image feature point list 13e and the right-eye image feature point list 13f from the left-eye image feature point extraction unit 13b and the right-eye image feature point extraction unit 13d.
  • the non-correspondence degree distribution U (s) is calculated by the following equations (2) to (4).
  • the movement amount s satisfies the condition of s1 ⁇ s ⁇ s2.
  • s1 and s2 are predetermined minimum value and maximum value of the movement amount s, respectively.
  • a positive movement amount s indicates moving the left eye image to the right, and a negative movement amount s indicates moving the left eye image to the left.
  • the movement amount t satisfies the condition of t1 ⁇ t ⁇ t2.
  • t1 and t2 are constants of 0 or less and 0 or more, respectively.
  • the condition of t1 ⁇ t ⁇ t2 represents the allowable range of vertical retinal image difference.
  • a positive movement amount t indicates moving the left eye image downward, and a negative movement amount t indicates moving the left eye image upward.
  • the non-correspondence point number calculation unit 13g may calculate the non-correspondence distribution U (s) for all movement amounts s satisfying the relationship of s1 ⁇ s ⁇ s2, and the relationship of s1 ⁇ s ⁇ s2 With regard to the movement amount s that satisfies the above, the non-correspondence distribution U (s) may be calculated at predetermined intervals (for example, every other pixel).
  • This non-correspondence distribution U (s) is a feature in the image of the right eye when the image of the left eye moves horizontally by s in the image projected on the retina of the left eye and the right eye respectively by convergence or divergence motion. It means the number of feature points in the image of the left eye that do not correspond to the point.
  • the non-corresponding point number calculation unit 13g determines the number of feature points of the left eye image that do not correspond to the feature point of the right eye image.
  • the feature point of the right-eye image is calculated by moving the feature point of the right-eye image horizontally by a predetermined distance, the feature of the right-eye image does not correspond to the feature point of the left-eye image.
  • the number of points may be calculated for each movement distance of the feature point of the right-eye image.
  • equations (2) and (4) are replaced with the following equations (5) and (6), respectively.
  • the parallax value adjustment unit 13 h is a processing unit that adjusts the parallax value between the image for the left eye and the image for the right eye based on the non-correspondence degree distribution U (s) calculated by the non-correspondence point number calculation unit 13 g.
  • the disparity value adjusting unit 13 h determines whether there is an area in the non-correspondence degree distribution U (s) that is equal to or less than a predetermined threshold value K. When there is a region in the non-correspondence degree distribution U (s) that is equal to or less than the predetermined threshold value K, the disparity value adjustment unit 13 h determines the value of the movement amount s that minimizes the non-correspondence degree distribution U (s) in that area. To detect. Then, the parallax value adjustment unit 13 h outputs the value of the detected movement amount s to the display control unit 14 as the adjustment value of the parallax value.
  • the parallax value adjustment unit 13 h When there is no area in the non-correspondence degree distribution U (s) that is equal to or less than the predetermined threshold value K, the parallax value adjustment unit 13 h outputs an error signal indicating that the feature points can not be associated to the display control unit 14.
  • FIG. 4 is a diagram showing an example of the calculation result of the non-correspondence degree distribution U (s).
  • the non-correspondence distribution U (s) shown in FIG. 4 there are regions (s3 ⁇ s ⁇ s4 and s5 ⁇ s ⁇ s6) in which the non-correspondence distribution U (s) is equal to or less than the threshold K. In the area, the non-correspondence degree distribution U (s) is minimized when the movement amount s is h.
  • the parallax value adjustment unit 13h detects the value h of the movement amount s that minimizes the nonconformity distribution U (s), and the detected value h is output to the display control unit 14 as the adjustment amount of parallax value. Ru. Thereafter, display control as described with reference to FIG. 2 is performed by the display control unit 14 based on the adjustment amount h. This makes it possible to suppress the occurrence of binocular parallax struggle.
  • FIG. 5 is a flowchart showing an example of the processing procedure of image processing according to the present invention.
  • the input unit 11 of the image processing apparatus 10 receives an input image (step S101).
  • the input image processing unit 12 generates an image for the left eye and an image for the right eye from the received input image (step S102).
  • the left-eye image pre-processing unit 13a converts the left-eye image (RGB image) into a luminance image
  • the right-image pre-processing unit 13b converts the right-eye image (RGB image) into a luminance image (step S103). ).
  • the left-eye image preprocessing unit 13a performs filtering with a band pass filter on the luminance image of the left-eye image
  • the right-eye image preprocessing unit 13b performs a band-pass filter on the luminance image of the right-eye image
  • the filtering according to is performed (step S104).
  • the left-eye image feature point extraction unit 13b sets the coordinates of pixels whose absolute values of pixel values are equal to or greater than a predetermined threshold to the internal memory.
  • the right-eye image feature point extraction unit 13d uses the coordinates of pixels whose absolute values of pixel values are equal to or greater than a predetermined threshold to the internal memory. Are stored (step S105).
  • the non-corresponding point number calculation unit 13g moves each horizontal movement amount of the left-eye image A non-correspondence distribution U (s) is calculated for s (step S106).
  • the disparity value adjusting unit 13 h determines whether there is an area in the non-matching degree distribution U (s) that is equal to or less than the predetermined threshold K (step S 107). When there is a portion in non-correspondence degree distribution U (s) that is less than or equal to a predetermined threshold value K (in the case of YES in step S107), disparity value adjustment unit 13h determines that the non-correspondence degree distribution U (s) Of the regions, the value h of s that minimizes the non-correspondence distribution U (s) is determined as the adjustment amount of the parallax value between the image for the left eye and the image for the right eye (step S108).
  • the display control unit 14 moves the image for the left eye and the image for the right eye in the horizontal direction by the determined adjustment amount h of the parallax value, and controls the display unit 15 to adjust the parallax and the image for the left eye
  • the right-eye image is displayed on the display unit 15 (step S109). It is desirable that the horizontal movement amount of each of the left-eye image and the right-eye image be h / 2.
  • the glasses synchronization unit 16 transmits a control signal to the shutter glasses 20 via the communication processing unit 17 so that the display unit 15 displays the image for the left eye or the image for the right eye, and the shutter glasses 20 have the left eye or the left eye.
  • the timing with which the right-eye view is blocked is synchronized (step S110). Thereafter, this image processing ends.
  • step S107 when there is no portion which is not more than the predetermined threshold K in the non-correspondence distribution U (s) (in the case of NO in step S107), the parallax value adjustment unit 13h outputs an error signal to the display control unit 14 (Step S111).
  • the display control unit 14 having received this error signal controls the display unit 15 without adjusting the parallax between the left-eye image and the right-eye image, and the left-eye image and right-eye image acquired from the input image processing unit 12 The image is displayed on the display unit 15 (step S112).
  • the glasses synchronization unit 16 transmits a control signal to the shutter glasses 20 via the communication processing unit 17 so that the display unit 15 displays the image for the left eye or the image for the right eye, and the shutter glasses 20 have the left eye or the left eye.
  • the timing with which the right-eye view is blocked is synchronized (step S110). Thereafter, this image processing ends.
  • the image processing apparatus 10 displays a moving image
  • the above-described image processing is repeatedly performed on each input image constituting the moving image.
  • the left eye image feature point extraction unit 13 b and the right eye image feature point extraction unit 13 d extract feature points from each of the left eye image and the right eye image
  • the corresponding point number calculation unit 13g moves a feature point of either the extracted left-eye image or the right-eye image by a predetermined distance in the horizontal direction, it corresponds to the feature point of the other image
  • the number of feature points of any one of the above images is calculated for each movement distance, and the parallax value between the left eye image and the right eye image is calculated based on the number calculated for each movement distance by the parallax value adjustment unit 13h.
  • the left-eye image feature point extraction unit 13b and the left-eye image feature point extraction unit 13d perform filtering with a filter having predetermined response characteristics on the luminance image generated from the left-eye image and the right-eye image, Since pixels with pixel values larger than a predetermined threshold are extracted as feature points in the left-eye image and the right-eye image obtained as a result of filtering, a filter having filter characteristics that accurately simulate human visual characteristics Filtering is performed to extract feature points, and the feature points of the left-eye image and the feature points of the right-eye image are associated with each other, thereby making it possible to display an image in which binocular rivalry hardly occurs.
  • the left-eye image feature point extraction unit 13b and the left-eye image feature point extraction unit 13d perform filtering using a band pass filter, a band pass filter that simulates human visual characteristics is used. By filtering the luminance image, it is possible to effectively extract feature points that are easily perceived by humans. Then, if the parallax value between the image for the left eye and the image for the right eye is adjusted using the extracted feature points, the image for the left eye and the image for the right eye whose parallax values are adjusted appropriately for human vision You can get an image.
  • the parallax value adjustment unit 13 h sets the number calculated by the non-corresponding point number calculation unit 13 g as a frequency, and for the left eye based on a frequency distribution (discompatibility degree distribution U (s)) where the movement amount s is a class. Since the parallax value between the image and the right-eye image is adjusted, it is possible to easily detect the value of the movement amount s at which the non-correspondence degree distribution U (s) is minimized.
  • the image processing apparatus 10 further includes the display control unit 14 that controls display processing of the left-eye image and the right-eye image based on the adjustment value h of the parallax value determined by the parallax value adjustment unit 13 h. Therefore, it becomes possible to control image display in which binocular rivalry hardly occurs.
  • Second Embodiment when extracting feature points from an image for the left eye and an image for the right eye, a case will be described in which filtering with a plurality of filters having different response characteristics is applied to the image for the left eye and the image for the right eye.
  • an image processing apparatus according to a second embodiment of the present invention will be described.
  • the image processing apparatus according to the second embodiment differs only in the functions of the image processing apparatus 10 and the image adjustment unit 13 shown in FIG. Therefore, the image adjustment unit 13 according to the second embodiment will be described here.
  • FIG. 6 is a diagram showing an example of the configuration of the image adjustment unit 13 according to the second embodiment of the present invention.
  • the image adjusting unit 13 includes an image preprocessing unit 13a for the left eye, image feature point extracting units 13b 1 to 13b w for the left eye, an image preprocessing unit 13c for the right eye, and image feature point extracting units 13d 1 to 13d w for the right eye.
  • a corresponding point number calculation unit 13g and a parallax value adjustment unit 13h are provided.
  • the left-eye image preprocessing unit 13a is a processing unit that converts the left-eye image (RGB image) output by the input image processing unit 12 of FIG. 1 into a luminance image.
  • the left-eye image preprocessing unit 13a may further perform an image reduction process for reducing the amount of calculation, a noise removal process, and the like.
  • the left-eye image feature point extraction units 13b 1 to 13b w are processing units that perform processing for extracting feature points in the luminance image generated from the left-eye image. Specifically, the left-eye image feature point extraction unit 13b 1 ⁇ 13b w performs filtering by w pieces of filter response characteristics are different from each other with respect to the left-eye image, the filtering of the resultant image for the left eye The pixel having a pixel value larger than a predetermined threshold value is extracted as a feature point.
  • each of the left-eye image feature point extraction units 13b 1 to 13b w filters a luminance image using w band pass filters having different response characteristics.
  • a band pass filter a Gabor filter is mentioned, for example.
  • the Gabor filter is expressed by equation (7).
  • k, ⁇ , and ⁇ are predetermined parameters.
  • the frequency of the edge to be extracted can be changed by changing the parameter k
  • the direction of the edge to be extracted can be changed by changing the parameter ⁇ .
  • the left-eye image feature point extraction units 13b 1 to 13b w execute filtering of the luminance image generated from the left-eye image, using Gabor filters with different combinations of these parameters.
  • each left-eye image feature point extraction unit 13 b 1 to 13 b w detects, as a feature point, a pixel whose absolute value of the pixel value is equal to or greater than a predetermined threshold in the luminance image after filtering.
  • p is an index indicating one of Gabor filters different in combination of parameters
  • M p is an index p corresponding to temporarily store the number) of the feature points detected by the Gabor filter in the internal memory as the left-eye image feature point list 13e 1 ⁇ 13e w, the stored left-eye image feature point list 13e 1 ⁇ 13e w non It outputs to the corresponding point number calculation unit 13g.
  • the left-eye image feature point list 13 e p (1 ⁇ p ⁇ w) corresponds to the coordinates of the pixel detected by the Gabor filter corresponding to the index p.
  • the right-eye image preprocessing unit 13 c is a processing unit that converts the right-eye image (RGB image) output by the input image processing unit 12 in FIG. 1 into a luminance image.
  • the right-eye image preprocessing unit 13 c may further perform image reduction processing for reducing the amount of calculation, noise removal processing, and the like.
  • the right eye image feature point extraction units 13d 1 to 13d w perform processing for extracting feature points in the luminance image generated from the right eye image. Specifically, the right eye image feature point extraction units 13d 1 to 13d w perform luminance image filtering using the same w band pass filters as the left eye image feature point extraction units 13b 1 to 13b w. .
  • the right-eye image feature point extraction unit 13d p (1 ⁇ p ⁇ w) generates the left-eye image feature point extraction unit similar parameters and 13b p (k in equation (7), ⁇ , ⁇ ) performs filtering by using a Gabor filter is set.
  • Each right-eye image feature point extraction unit 13d 1 ⁇ 13d w is the luminance image after filtering, and detecting a pixel absolute value is a predetermined threshold or more pixel values as a feature point, the detected coordinates of the pixel (X Rj, p , y R j , p ) (1 j j N N p , 1 p p w w: N p is the number of feature points detected by the Gabor filter corresponding to the index p) in the internal memory
  • the image feature point list 13f 1 to 13f w is temporarily stored as the image feature point list 13f 1 to 13f w and the stored image feature point list 13f 1 to 13f w for the right eye is output to the non-corresponding point number calculation unit 13g.
  • the right-eye image feature point list 13 f p (1 ⁇ p ⁇ w) corresponds to the coordinates of the pixel detected by the Gabor filter corresponding to the index p.
  • the number of non-corresponding point number calculation units 13 g for the number of left-eye features does not correspond to the feature points of the right-eye image. It is a processing unit which calculates for every movement distance of a feature point of.
  • non-corresponding point count calculating unit 13g is left-eye image feature point list 13e 1 from each left-eye image feature point extraction unit 13b 1 ⁇ 13b w and the right-eye image feature point extraction unit 13d 1 ⁇ 13d w E13e w and right-eye image feature point list 13f 1 1313f w are acquired, and non-correspondence for each filter is obtained for each movement amount s in the horizontal direction of the left-eye image according to the following equations (8) The degree distribution V p (s) (1 ⁇ p ⁇ w) is calculated.
  • the movement amount s satisfies the condition of s1 ⁇ s ⁇ s2.
  • s1 and s2 are predetermined minimum value and maximum value of the movement amount s, respectively.
  • a positive movement amount s indicates moving the left eye image to the right, and a negative movement amount s indicates moving the left eye image to the left.
  • the movement amount t satisfies the condition of t1 ⁇ t ⁇ t2.
  • t1 and t2 are constants of 0 or less and 0 or more, respectively.
  • the condition of t1 ⁇ t ⁇ t2 represents the allowable range of vertical retinal image difference.
  • a positive movement amount t indicates moving the left-eye image downward, and a negative movement amount s indicates moving the left-eye image upward.
  • the non-correspondence point number calculation unit 13 g calculates the non-correspondence degree distribution U (s) for each movement amount s in the horizontal direction of the left-eye image by the following equation (11).
  • the non-corresponding point number calculation unit 13g determines the number of feature points of the left eye image that do not correspond to the feature point of the right eye image.
  • the feature point of the right-eye image is calculated by moving the feature point of the right-eye image horizontally by a predetermined distance, the feature of the right-eye image does not correspond to the feature point of the left-eye image.
  • the number of points may be calculated for each movement distance of the feature point of the right-eye image.
  • the parallax value adjustment unit 13 h is a processing unit that adjusts the parallax value between the image for the left eye and the image for the right eye based on the non-correspondence degree distribution U (s) calculated by the non-correspondence point number calculation unit 13 g.
  • the disparity value adjusting unit 13 h determines whether there is an area in the non-correspondence degree distribution U (s) that is equal to or less than a predetermined threshold value K.
  • the disparity value adjustment unit 13 h detects the value of the movement amount s that minimizes the non-correspondence degree distribution U (s) in the region. .
  • the parallax value adjustment unit 13 h outputs the value of the detected movement amount s to the display control unit 14 as the adjustment value of the parallax value.
  • the parallax value adjustment unit 13 h When there is no area in the non-correspondence degree distribution U (s) that is equal to or less than the predetermined threshold value K, the parallax value adjustment unit 13 h outputs an error signal indicating that the feature points can not be associated to the display control unit 14.
  • the non-correspondence point number calculation unit 13 g calculates the non-correspondence distribution U (s) using Equation (11), but the non-correspondence distribution U (s) is calculated.
  • the formula to calculate is not limited to this.
  • the non-correspondence point number calculation unit 13g may calculate the non-correspondence degree distribution U (s) using the following equation.
  • a p (1 ⁇ p ⁇ w) is a weight for the non-correspondence distribution V p (s) for each filter.
  • the left-eye image feature point extracting units 13b 1 to 13b w and the right-eye image feature point extracting units 13d 1 to 13d w respectively include a plurality of filters having different response characteristics. Filtering applied to both the left-eye image and the right-eye image is executed, and in the left-eye image and the right-eye image obtained as a result of each filtering, pixels whose pixel values are larger than a predetermined threshold Since it is extracted as the feature point of the image for the left eye and the feature point of the image for the right eye, it is possible to imitate human visual characteristics with high accuracy, and it is possible to display an image that is unlikely to cause binocular rivalry. Become.
  • the embodiments of the image processing apparatus and the image processing method have been described above, but the present invention is not limited to these embodiments, and a computer program for realizing the functions of the image processing apparatus
  • the present invention may be embodied as a computer program or a computer readable recording medium having the computer program recorded thereon.
  • a disk system for example, a magnetic disk, an optical disk, etc.
  • a card system for example, a memory card, an optical card etc.
  • a semiconductor memory system for example, ROM, nonvolatile memory etc.
  • a tape system for example, various forms such as magnetic tape, cassette tape, etc. can be employed.
  • a computer program for realizing the functions of the image processing apparatus in the above embodiments or a computer program for causing a computer to execute an image processing method is recorded and distributed on these recording media, thereby reducing the cost, portability, and general purpose It is possible to improve the quality.
  • the recording medium is mounted on the computer, and the computer program stored in the recording medium is read by the computer and stored in the memory, and a processor (CPU: Central Processing Unit, MPU: Micro Processing Unit) included in the computer
  • CPU Central Processing Unit
  • MPU Micro Processing Unit
  • LSI Large Scale Integration
  • Each component of the image processing apparatus may be chiped individually, or part or all of each component may be integrated and chipped.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. In the case where an integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology, it is also possible to use an integrated circuit according to such technology.
  • the non-correspondence point number calculation unit 13g calculates the non-correspondence distribution U (s) using the equations (4) and (10), but The equation for calculating the non-correspondence degree distribution U (s) is not limited to this.
  • the non-correspondence point number calculation unit 13 g may calculate the non-correspondence degree distribution U (s) using Equations (15) and (16) below instead of Equation (4).
  • L (x, y) is a pixel value of coordinates (x, y) in the luminance image of the image for the left eye that has been filtered by a filter having a predetermined response characteristic
  • R (x, y) is It is a pixel value of coordinates (x, y) in the luminance image of the image for the right eye subjected to filtering by a filter having a predetermined response characteristic.
  • TH is a preset threshold.
  • the non-correspondence point number calculation unit 13 g may calculate the non-correspondence distribution U (s) using the following Expressions (17) and (18) instead of Expression (10).
  • L (x, y), R (x, y) and TH are the same as L (x, y) and R (x, y) in the equation (16).
  • Equations (15) to (18) do not correspond to the feature points of the right-eye image and the feature points of the left-eye image whose pixel values are separated from the pixel value of the feature point of the right-eye image by the threshold TH or more
  • the equation is used to calculate the number of feature points of the left-eye image that do not correspond to the feature points of the right-eye image, including the feature points of. That is, the condition that the correspondence between the feature points occurs only when the pixel values are close is added to the equation (4) and the equation (10).
  • the non-corresponding point number calculation unit 13g may generate a right-eye image that does not correspond to the left-eye image characteristic point, and the right-eye image characteristic point whose pixel value is separated from the pixel value of the left-eye image characteristic point by more than the threshold TH.
  • the number of feature points of the right-eye image which do not correspond to the feature points of the left-eye image may be calculated by being included in the feature points of.
  • any one of the above-described feature points whose pixel value is separated from the pixel value of the feature point of the other image by a predetermined value or more does not correspond to the feature point of the other image. Since it is included in the feature points of one image, human visual characteristics can be more accurately simulated by considering the pixel value.
  • the disparity value adjusting unit 13 h performs the movement in which the non-matching degree distribution U (s) is minimized in the area where the non-matching degree distribution U (s) is less than or equal to the threshold K.
  • the value of the amount s is set as the adjustment amount of the parallax value, the setting method of the adjustment amount of the parallax value is not limited to this.
  • the parallax value adjustment unit 13 h adjusts the amount of movement s (s 4 in the example of FIG. 4) at which the absolute value is minimum in the area where the non-correspondence distribution U (s) is less than or equal to the threshold K It may be set as As a result, it is possible to adjust the parallax without much changing the parallax value between the original left-eye image and the right-eye image.
  • the parallax value adjustment unit 13 h adjusts the parallax value of the movement amount s (s 6 and s 3 in the example of FIG. 4) which is maximum or minimum in the area where the non-correspondence degree distribution U (s) is equal to or less than the threshold K It may be set as an amount. This makes it possible to further retract or pop out the depth of the observation object when viewed stereoscopically.
  • the parallax value adjustment unit 13 h sets the movement amount s (s 3, s 4, s 5, and s 6 in the example of FIG. 4) with the non-correspondence degree distribution U (s) as the threshold value K as the parallax amount adjustment amount. You may do it.
  • the amount of movement s is an amount corresponding to the allowable limit for the value of the non-correspondence distribution U (s).
  • the disparity value adjustment unit 13 h determines that the non-correspondence distribution U (s) is minimum in a region where the non-correspondence distribution U (s) is less than or equal to the predetermined threshold K.
  • the threshold value K may be set to a value that changes according to the movement amount s. This is because the feature point corresponding to the feature point near the image edge of the left-eye image is not included in the right-eye image when the movement amount s becomes large, and there is a high possibility that the non-correspondence distribution U (s) becomes large. Therefore, such a situation is considered.
  • the parallax value adjustment unit 13 h uses the threshold value K (s) calculated by the following equation (19) instead of the threshold value K in the first or second embodiment.
  • ⁇ and ⁇ are constants satisfying the relationship ⁇ > ⁇
  • s K is a preset movement amount.
  • the parallax value adjustment unit 13 h is configured to calculate the statistics of the non-correspondence degree distribution U (s), the number M of feature points registered in the left-eye image feature point list 13 e, and the right-eye image feature point list 13 f, and Image feature point lists 13e 1 to 13e w , the number M p (1 ⁇ p ⁇ w) of feature points registered in the right-eye image feature point list 13f 1 to 13f w , and N p (1 ⁇ p ⁇ w)
  • the threshold value K may be changed accordingly.
  • the parallax value adjustment unit 13 h may use the threshold value K (M, N) calculated by the following equation (20) instead of the threshold value K in the first embodiment.
  • K 0 and K 1 are predetermined constants.
  • the parallax value adjustment unit 13 h is configured to calculate the threshold value K (M 1 , M 2 ,..., M w , N 1 , and so on) calculated by the following equation (21) instead of the threshold value K in the second embodiment.
  • N 2 ,..., N w ) may be used.
  • K 2 and K 3 are predetermined constants.
  • Formula (21) replaces M in Formula (20) with the average value of the number M p (1 ⁇ p ⁇ w) of feature points registered in the left-eye image feature point list 13e 1 to 13e w , 20) is replaced with the average value of the number N p (1 ⁇ p ⁇ w) of feature points registered in the right-eye image feature point list 13f 1 to 13f w .
  • the threshold value increases as the number of feature points increases. This is to cope with the problem that it is difficult to completely simulate human visual characteristics by filter processing, and it becomes difficult to associate feature points if there are too many feature points.
  • the parallax value adjustment unit 13 h sets the adjustment amount of the parallax value to the value h of the movement amount s that minimizes the non-correspondence degree distribution U (s).
  • the amount of adjustment of the parallax value may be set to h + a, h ⁇ a or the like using constant a in consideration of the range of parallax angles in which the human eye can fuse the image.
  • the parallax value adjustment unit 13 h smoothes, in the time direction, the adjustment amount of the parallax value calculated for a plurality of continuous input images, and the value obtained as a result May be used as the adjustment value of the parallax value. This is because stereoscopic viewing becomes difficult when the temporal change in the adjustment amount of the parallax value is large.
  • the left-eye image feature point extraction units 13 b and 13 b 1 to 13 b w the right-eye image feature point extraction units 13 d and 13 d 1 to 13 d w , and the parallax value adjustment unit 13 h
  • these processing units may be provided in an apparatus different from the image processing apparatus 10 having the display unit 15.
  • these processing units may be provided in a video output device (recording media reproduction device) such as a DVD player or a Blu-ray disc player.
  • image processing apparatus 11 input unit 12 input image processing unit 13 image adjustment unit 13a left-eye image preprocessing unit 13b, 13b 1 to 13b w left-eye image feature point extraction unit 13c ... Right-eye image preprocessing unit, 13d, 13d 1 to 13d w ... Right-eye image feature point extraction unit, 13e, 13e 1 to 13e w ... Left-eye image feature point list, 13f, 13f 1 to 13f w ... Right-eye image Feature point list, 13g: non-corresponding point number calculation unit, 13h: parallax value adjustment unit, 14: display control unit, 15: display unit, 16: glasses synchronization unit, 17: communication processing unit, 30a, 31a, 32a ... left eye For the right eye, 30b, 31b, 32b ... for the right eye.

Abstract

　両眼視野闘争の発生を効果的に抑制し、立体視を容易に行うことができる画像を生成すること。左目用画像特徴点抽出部（１３ｂ）、および、右目用画像特徴点抽出部（１３ｄ）が、左目用画像および右目用画像のそれぞれから特徴点を抽出し、非対応点個数算出部（１３ｇ）が、左目用画像特徴点抽出部（１３ｂ）、および、右目用画像特徴点抽出部（１３ｄ）により抽出された左目用画像、および、右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない上記いずれか一方の画像の特徴点の個数を移動距離ごとに算出し、視差値調整部（１３ｈ）が、移動距離ごとに算出された個数に基づいて、左目用画像、および、右目用画像間の視差値を調整する。

Description

画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体
　本発明は、左目用画像および右目用画像間の視差値を調整する画像処理装置、画像処理方法、その画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム、および、そのコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体に関する。
　近年、左目用画像と右目用画像とをディスプレイに表示し、立体視を可能とする立体画像表示装置が普及してきている。この立体視において、左目用画像と右目用画像との間の対応点の位置のずれは、視差と呼ばれる。視差が開散方向、若しくは、輻輳方向に著しく大きい場合、立体視を行うことが難しくなることが知られている。
　左目用画像および右目用画像を人が観察する際、奥行きは両眼網膜像差により知覚される。両眼網膜像差とは、外界の対象により左右の網膜に投影される像の違いである。両眼網膜像差を検出するためには、両目の網膜像のどの点とどの点とが１つの対象によって生み出されるかを決定する必要がある。そして、非特許文献１には、網膜像差を検出する機構に関するモデルが紹介されている。
　１つのモデルは、左右の像に含まれる輝度エッジが両眼像対応の基本特徴であると考え、コントラストの極性と方位がほぼ同じで近傍にある点同士を対応付けるものである。また、別のモデルとして、左右の像のそれぞれに対して方位選択性や大きさの異なる複数の空間フィルタを適用し、それらの出力によって構成されるベクトルによって像の各位置における局所的構造を特徴付け、左右の眼の各位置におけるベクトルの類似性が最も高い点同士を対応付けるものも紹介されている。
　また、特許文献１には、左画像のブロックと右画像のブロックとを対応付け、両眼視差量を調整する立体ＴＶ装置が開示されている。この立体ＴＶ装置は、以下の式（１）により、左画像のブロックと右画像のブロックとの間の相関Ｃｏｒｒ（ｉ，ｊ）を算出する。
Figure JPOXMLDOC01-appb-M000001
　ここで、ＧＬ（Ｘｋ，Ｙｋ）、ＧＲ（Ｘｋ，Ｙｋ）は、それぞれ左画像、右画像の座標（Ｘｋ，Ｙｋ）における輝度値であり、ｎは、左画像および右画像のブロックの縦方向および横方向の画素数（ブロックに含まれる画素の総数はｎ×ｎ）であり、ｉ、ｊは、それぞれブロックの横方向、縦方向の平行移動量である。
　そして、立体ＴＶ装置は、相関Ｃｏｒｒ（ｉ，ｊ）が最小となる平行移動量ｉ、ｊを探索することにより、左画像のブロックに右画像のブロックを対応付ける。すなわち、立体ＴＶ装置は、左画像のブロックに最も輝度値が類似する右画像のブロックを探索し、それらのブロックを互いに対応するブロックとして設定する。
特開平９－１２１３７０号公報
内川惠二　総編集／塩入諭　編、「視覚II－視覚系の中期・高次機能－」、朝倉書店、２００７年９月、ｐ．１１０－１１１
　しかしながら、上述した従来技術では、左右の画像間で対応が取れない領域について考慮していないため、両眼視野闘争の発生を抑制することが難しいという問題がある。両眼視野闘争とは、対応が取れないような全く異なる領域が左右の画像に含まれる場合に、その領域において、左画像あるいは右画像のいずれか一方のみが見え、時間の経過に伴い、あるいは、見る位置によって見える像が入れ替わる不安定な状態をいう。例えば、両眼視野闘争は、両目の網膜に投影された像間の形状、明るさ、色などの差異によって発生する。このような両眼視野闘争が発生すると、立体視を行うことは非常に困難なものとなる。
　本発明は、上記課題に鑑み、両眼視野闘争の発生を効果的に抑制し、立体視を容易に行うことができる画像を生成することが可能な画像処理装置、画像処理方法、その画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム、および、そのコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体を提供することを目的とする。
　上記課題を解決する為に、本発明の第１の技術手段は、左目用画像、および、右目用画像間の視差値を調整する画像処理装置であって、前記左目用画像、および、前記右目用画像のそれぞれから特徴点を抽出する特徴点抽出部と、前記特徴点抽出部により抽出された前記左目用画像、および、前記右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点の個数を移動距離ごとに算出する非対応点個数算出部と、前記非対応点個数算出部により前記移動距離ごとに算出された前記個数に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整する視差値調整部と、を備えることを特徴とする。
　本発明の第２の技術手段は、第１の技術手段において、前記特徴点抽出部は、所定の応答特性を有するフィルタによるフィルタリングを前記左目用画像、および、前記右目用画像に対して行い、該フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を前記左目用画像の特徴点、および、前記右目用画像の特徴点として抽出することを特徴とする。
　本発明の第３の技術手段は、第２の技術手段において、前記特徴点抽出部は、互いに応答特性が異なる複数のフィルタをそれぞれ前記左目用画像、および、前記右目用画像の両方に対して適用するフィルタリングを実行し、各フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を前記左目用画像の特徴点、および、前記右目用画像の特徴点として抽出することを特徴とする。
　本発明の第４の技術手段は、第２または第３の技術手段において、前記フィルタは、バンドパスフィルタであることを特徴とする。
　本発明の第５の技術手段は、第１～第４のいずれか１つの技術手段において、前記視差値調整部は、前記非対応点個数算出部により算出された個数を度数とし、前記左目用画像の特徴点と前記右目用画像の特徴点との間の距離を階級とする度数分布に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整することを特徴とする。
　本発明の第６の技術手段は、第１～第５のいずれか１つの技術手段において、前記非対応点個数算出部は、画素値が前記他方の画像の特徴点の画素値と所定の値以上離れている特徴点を、前記他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点に含め、前記いずれか一方の画像の特徴点の個数を算出することを特徴とする。
　本発明の第７の技術手段は、第１～第６のいずれか１つの技術手段において、前記視差値調整部により視差値が調整された前記左目用画像、および、前記右目用画像の表示処理を制御する表示制御部をさらに備えることを特徴とする。
　本発明の第８の技術手段は、左目用画像、および、右目用画像間の視差値を調整する画像処理装置であって、前記左目用画像、および、前記右目用画像のそれぞれから特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにおいて抽出された前記左目用画像、および、前記右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点の個数を移動距離ごとに算出する非対応点個数算出ステップと、前記非対応点個数算出ステップにおいて前記移動距離ごとに算出された前記個数に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整する視差値調整ステップと、を含むことを特徴とする。
　本発明の第９の技術手段は、上記画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラムである。
　本発明の第１０の技術手段は、上記コンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体である。
　本発明によれば、左目用画像、および、右目用画像のそれぞれから特徴点を抽出し、抽出された左目用画像、および、右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない上記いずれか一方の画像の特徴点の個数を移動距離ごとに算出し、移動距離ごとに算出された個数に基づいて、左目用画像、および、右目用画像間の視差値を調整することとしたので、両眼視野闘争の発生を効果的に抑制し、立体視が容易に可能となる画像を生成することができる。
本発明の第１の実施形態に係る画像処理装置の構成の一例を示す図である。 左目用画像および右目用画像の表示制御処理について説明する図である。 本発明の第１の実施形態に係る画像調整部の構成の一例を示す図である。 非対応度分布の算出結果の一例について示す図である。 本発明の第１の実施形態に係る画像処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施形態に係る画像調整部の構成の一例を示す図である。
　以下、本発明の実施形態について図面を参照して詳細に説明する。
（第１の実施形態）
　まず、本発明の第１の実施形態に係る画像処理装置の構成について説明する。図１は、本発明の第１の実施形態に係る画像処理装置１０の構成の一例を示す図である。図１に示すように、画像処理装置１０は、入力部１１、入力画像処理部１２、画像調整部１３、表示制御部１４、表示部１５、メガネ同期部１６、通信処理部１７を備える。
　入力部１１は、立体視用の入力画像を受け付ける処理部である。この入力画像は、放送局により放送されたり、ＤＶＤ（Digital Versatile Disk）やブルーレイディスクなどの記録媒体から電子的に読み出されたり、ネットワークを介して伝送されたりなど、さまざまな経路で画像処理装置１０に入力される。
　また、入力画像は、立体視に用いられる左目用画像、右目用画像を含むものである。なお、入力画像は、画像データと、画像中に含まれる観察対象の奥行きのデータとを含むものであってもよい。
　入力画像処理部１２は、入力画像から立体視に用いられる左目用画像、および、右目用画像を生成する処理部である。具体的には、入力画像処理部１２は、入力画像が左目用画像、右目用画像を含むものである場合は、入力画像から左目用画像、右目用画像を抽出する。入力画像が、画像データと、画像中に含まれる観察対象の奥行きのデータとを含むものである場合には、入力画像処理部１２は、奥行きのデータを視差に換算し、画像データを視差の分だけ水平方向にずらすことにより左目用画像、右目用画像を生成する。
　画像調整部１３は、左目用画像、および、右目用画像の水平方向の視差値を調整する処理部である。具体的には、画像調整部１３は、左目用画像、および、右目用画像のそれぞれから特徴点を抽出する。そして、画像調整部１３は、抽出された右目用画像の特徴点と対応せず、右目用画像の特徴点と所定の距離離れている左目用画像の特徴点の個数を算出する。さらに、画像調整部１３は、算出された左目用画像の特徴点の個数に基づいて、左目用画像、および、右目用画像間の視差値の調整量を算出する。この画像調整部１３については、後に図３を用いて詳しく説明する。
　表示制御部１４は、画像調整部１３により算出された視差値の調整量に基づいて、左目用画像、および、右目用画像の表示処理を制御する処理部である。具体的には、表示制御部１４は、画像調整部１３から左目用画像、および、右目用画像間の視差値の調整量ｈの情報を取得し、左目用画像および右目用画像をその調整量ｈの分だけずらして表示部１５に表示させる。
　図２は、左目用画像および右目用画像の表示制御処理について説明する図である。図２（Ａ）は、入力画像から生成されたもとの左目用画像３０ａおよび右目用画像３０ｂである。
　画像調整部１３から取得した視差値の調整量ｈが負の値の場合、表示制御部１４は、左目用画像３０ａを左方向にｈ／２画素分移動し、右目用画像３０ｂを右方向にｈ／２画素分移動する。その結果、表示部１５には、図２（Ｂ）に示すような左目用画像３１ａおよび右目用画像３１ｂが表示される。この場合、左目用画像３１ａの右側および右目用画像３１ｂの左側にはそれぞれ、画像が表示されないｈ／２画素の幅の領域が生じることになる。
　画像調整部１３から取得した視差値の調整量ｈが正の値の場合、表示制御部１４は、左目用画像３０ａを右方向にｈ／２画素分移動し、右目用画像３０ｂを左方向にｈ／２画素分移動する。その結果、表示部１５には、図２（Ｃ）に示すような左目用画像３２ａおよび右目用画像３２ｂが表示される。この場合、左目用画像３２ａの左側および右目用画像３２ｂの右側にはそれぞれ、画像が表示されないｈ／２画素の幅の領域が生じることになる。
　なお、視差値の調整量ｈが０の場合は、左目用画像３０ａおよび右目用画像３０ｂの移動は行われない。
　表示部１５は、表示制御部１４による制御により左目用画像と右目用画像とを表示するディスプレイなどの表示装置である。メガネ同期部１６は、表示部１５による表示のタイミングと、シャッタメガネ２０が左目あるいは右目の視界を遮るタイミングとを同期させる処理部である。具体的には、メガネ同期部１６は、表示部１５が左目用画像を表示している間にシャッタメガネ２０が右目の視界を遮り、表示部１５が右目用画像を表示している間にシャッタメガネ２０が左目の視界を遮るように制御する制御信号を通信処理部１７に出力する。
　通信処理部１７は、メガネ同期部１６により出力された制御信号を赤外線通信などによりシャッタメガネ２０に送信する処理部である。この制御信号を受信したシャッタメガネ２０は、制御信号により指示されたタイミングで左目あるいは右目の視界を遮る。
　つぎに、図１に示した第１の実施形態に係る画像調整部１３の構成について詳しく説明する。図３は、図１に示した第１の実施形態に係る画像調整部１３の構成の一例を示す図である。図３に示すように、この画像調整部１３は、左目用画像前処理部１３ａ、左目用画像特徴点抽出部１３ｂ、右目用画像前処理部１３ｃ、右目用画像特徴点抽出部１３ｄ、非対応点個数算出部１３ｇ、視差値調整部１３ｈを備える。
　左目用画像前処理部１３ａは、図１の入力画像処理部１２により出力された左目用画像（ＲＧＢ画像）を輝度画像に変換する処理部である。なお、左目用画像前処理部１３ａは、計算量を削減するための画像の縮小処理や、ノイズの除去処理などをさらに行うこととしてもよい。
　左目用画像特徴点抽出部１３ｂは、左目用画像から生成した輝度画像において特徴点を抽出する処理を行う処理部である。具体的には、左目用画像特徴点抽出部１３ｂは、所定の応答特性を有するフィルタによるフィルタリングを輝度画像に対して行う。そして、左目用画像特徴点抽出部１３ｂは、フィルタリングの結果得られた輝度画像において、画素値が所定の閾値よりも大きい画素を特徴点として抽出する。
　例えば、左目用画像特徴点抽出部１３ｂは、バンドパスフィルタを用いて輝度画像のフィルタリングを行う。ここで、バンドパスフィルタは、一次元のフィルタであってもよいし、二次元のフィルタであってもよい。
　そして、左目用画像特徴点抽出部１３ｂは、バンドパスフィルタによるフィルタリング後の輝度画像において、画素値の絶対値が所定の閾値以上である画素を特徴点として検出し、検出した特徴点の座標（ｘＬｉ，ｙＬｉ）（１≦ｉ≦Ｍ：Ｍは検出した特徴点の個数）を内部メモリに左目用画像特徴点リスト１３ｅとして一時的に記憶し、記憶した左目用画像特徴点リスト１３ｅを非対応点個数算出部１３ｇに出力する。
　右目用画像前処理部１３ｃは、図１の入力画像処理部１２により出力された右目用画像（ＲＧＢ画像）を輝度画像に変換する処理部である。なお、右目用画像前処理部１３ｃは、計算量を削減するための画像の縮小処理や、ノイズの除去処理などをさらに行うこととしてもよい。
　右目用画像特徴点抽出部１３ｄは、右目用画像から生成した輝度画像において特徴点を抽出する処理を行う。具体的には、右目用画像特徴点抽出部１３ｄは、左目用画像特徴点抽出部１３ｂが用いるフィルタと同じフィルタを用いて、右目用画像から生成した輝度画像に対するフィルタリングを行う。そして、右目用画像特徴点抽出部１３ｄは、フィルタリングの結果得られた輝度画像において、画素値が所定の閾値よりも大きい画素を特徴点として抽出する。この所定の閾値は、左目用画像特徴点抽出部１３ｂが特徴点を抽出する際に用いた閾値と同じ値に設定される。
　例えば、右目用画像特徴点抽出部１３ｄは、左目用画像特徴点抽出部１３ｂがバンドパスフィルタを用いる場合、そのバンドパスフィルタを用いて輝度画像のフィルタリングを行う。
　そして、右目用画像特徴点抽出部１３ｄは、バンドパスフィルタによるフィルタリング後の輝度画像において、画素値の絶対値が所定の閾値以上である画素を特徴点として検出し、検出した画素の座標（ｘＲｊ，ｙＲｊ）（１≦ｊ≦Ｎ：Ｎは検出した特徴点の個数）を内部メモリに右目用画像特徴点リスト１３ｆとして一時的に記憶し、記憶した右目用画像特徴点リスト１３ｆを非対応点個数算出部１３ｇに出力する。
　ここで、バンドパスフィルタは、人の視覚特性を摸したモデルと考えることができる。これは、人の視覚が画像の輝度成分に帯域通過型の空間周波数感度特性を有しているためである。
　このように、人の視覚特性を模したバンドパスフィルタを用いて輝度画像のフィルタリングを行うことにより、人に知覚されやすい特徴点を効果的に抽出することができる。そして、抽出された特徴点を用いて、左目用画像と右目用画像との間の視差値を調整することとすれば、人の視覚にとって適切に視差値が調整された左目用画像と右目用画像とを得ることが可能となる。
　非対応点個数算出部１３ｇは、左目用画像の特徴点を水平方向に所定の距離移動させた場合に、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を、左目用画像の特徴点の移動距離ごとに算出する処理部である。
　具体的には、非対応点個数算出部１３ｇは、左目用画像特徴点抽出部１３ｂおよび右目用画像特徴点抽出部１３ｄから左目用画像特徴点リスト１３ｅおよび右目用画像特徴点リスト１３ｆを取得し、左目用画像の水平方向の各移動量ｓ（画素値）について、以下の式（２）～式（４）により、非対応度分布Ｕ（ｓ）を算出する。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　ここで、移動量ｓは、ｓ１≦ｓ≦ｓ２という条件を満たす。ｓ１およびｓ２は、それぞれ移動量ｓの予め定められた最小値および最大値である。正の移動量ｓは、左目用画像を右に移動させることを示し、負の移動量ｓは、左目用画像を左に移動させることを示す。
　また、移動量ｔは、ｔ１≦ｔ≦ｔ２という条件を満たす。ｔ１およびｔ２は、それぞれ０以下および０以上の定数である。ｔ１≦ｔ≦ｔ２という条件は垂直網膜像差の許容範囲を表す。正の移動量ｔは、左目用画像を下に移動させることを示し、負の移動量ｔは、左目用画像を上に移動させることを示す。
　なお、非対応点個数算出部１３ｇは、ｓ１≦ｓ≦ｓ２という関係を満たすすべての移動量ｓについて非対応度分布Ｕ（ｓ）を算出することとしてもよいし、ｓ１≦ｓ≦ｓ２という関係を満たす移動量ｓについて、所定の間隔（例えば、１画素おき）で非対応度分布Ｕ（ｓ）を算出することとしてもよい。
　この非対応度分布Ｕ（ｓ）は、輻輳あるいは開散運動により左目および右目の網膜にそれぞれ投影された画像において、左目の画像が水平方向にｓだけ移動した場合に、右目の画像中の特徴点と対応しない左目の画像中の特徴点の個数を意味する。
　なお、非対応点個数算出部１３ｇは、左目用画像の特徴点を水平方向に所定の距離移動させた場合に、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を、左目用画像の特徴点の移動距離ごとに算出することとしたが、右目用画像の特徴点を水平方向に所定の距離移動させた場合に、左目用画像の特徴点と対応しない右目用画像の特徴点の個数を、右目用画像の特徴点の移動距離ごとに算出することとしてもよい。
　この場合、式（２）、式（４）はそれぞれ、以下の式（５）、式（６）に置き換えられる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　視差値調整部１３ｈは、非対応点個数算出部１３ｇにより算出された非対応度分布Ｕ（ｓ）に基づいて、左目用画像および右目用画像間の視差値を調整する処理部である。
　具体的には、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域があるか否かを判定する。非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域がある場合、視差値調整部１３ｈは、その領域において、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を検出する。そして、視差値調整部１３ｈは、検出した移動量ｓの値を視差値の調整量として表示制御部１４に出力する。非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域がない場合、視差値調整部１３ｈは、特徴点の対応付けができないことを示すエラー信号を表示制御部１４に出力する。
　図４は、非対応度分布Ｕ（ｓ）の算出結果の一例について示す図である。図４に示す非対応度分布Ｕ（ｓ）には、非対応度分布Ｕ（ｓ）に閾値Ｋ以下となる領域（ｓ３≦ｓ≦ｓ４、および、ｓ５≦ｓ≦ｓ６）が存在する。その領域において、非対応度分布Ｕ（ｓ）が最小となるのは、移動量ｓがｈのときである。
　そのため、視差値調整部１３ｈにより、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値ｈが検出され、検出された値ｈが視差値の調整量として表示制御部１４に出力される。その後、この調整量ｈに基づいて、図２を用いて説明したような表示制御が表示制御部１４により行われる。これにより、両眼視差闘争の発生を抑制することが可能となる。
　つぎに、本発明に係る画像処理の処理手順について説明する。図５は、本発明に係る画像処理の処理手順の一例を示すフローチャートである。図５に示すように、まず、画像処理装置１０の入力部１１は、入力画像を受け付ける（ステップＳ１０１）。そして、入力画像処理部１２は、受け付けた入力画像から左目用画像および右目用画像を生成する（ステップＳ１０２）。
　その後、左目用画像前処理部１３ａは、左目用画像（ＲＧＢ画像）を輝度画像に変換し、右用画像前処理部１３ｂは、右目用画像（ＲＧＢ画像）を輝度画像に変換する（ステップＳ１０３）。
　そして、左目用画像前処理部１３ａは、左目用画像の輝度画像に対してバンドパスフィルタによるフィルタリングを実行し、右目用画像前処理部１３ｂは、右目用画像の輝度画像に対してバンドパスフィルタによるフィルタリングを実行する（ステップＳ１０４）。
　続いて、左目用画像特徴点抽出部１３ｂは、フィルタリング実行後の左目用画像の輝度画像において、画素値の絶対値が所定の閾値以上である画素の座標を内部メモリに左目用画像特徴点リスト１３ｅとして記憶する。また、右目用画像特徴点抽出部１３ｄは、フィルタリング実行後の右目用画像の輝度画像において、画素値の絶対値が所定の閾値以上である画素の座標を内部メモリに右目用画像特徴点リスト１３ｆとして記憶する（ステップＳ１０５）。
　その後、非対応点個数算出部１３ｇは、左目用画像特徴点リスト１３ｅ、右目用画像特徴点リスト１３ｆとして記憶された特徴点の座標の値を用いて、左目用画像の水平方向の各移動量ｓについて、非対応度分布Ｕ（ｓ）を算出する（ステップＳ１０６）。
　そして、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域があるか否かを判定する（ステップＳ１０７）。非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる部分がある場合（ステップＳ１０７においてＹＥＳの場合）、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）にある閾値Ｋ以下の領域のうち、非対応度分布Ｕ（ｓ）が最小となるｓの値ｈを左目用画像および右目用画像間の視差値の調整量として決定する（ステップＳ１０８）。
　そして、表示制御部１４は、決定された視差値の調整量ｈの分だけ左目用画像および右目用画像を水平方向に移動し、表示部１５を制御して、視差を調整した左目用画像および右目用画像を表示部１５に表示させる（ステップＳ１０９）。なお、左目用画像および右目用画像それぞれの水平方向の移動量は、ｈ／２とすることが望ましい。
　そして、メガネ同期部１６は、通信処理部１７を介してシャッタメガネ２０に制御信号を送信することにより、表示部１５が左目用画像あるいは右目用画像を表示するタイミングと、シャッタメガネ２０が左目あるいは右目の視界を遮るタイミングとを同期させる（ステップＳ１１０）。その後、この画像処理は終了する。
　ステップＳ１０７において、非対応度分布Ｕ（ｓ）に予め定めた閾値Ｋ以下となる部分がない場合（ステップＳ１０７においてＮＯの場合）、視差値調整部１３ｈは、エラー信号を表示制御部１４に出力する（ステップＳ１１１）。
　このエラー信号を受信した表示制御部１４は、左目用画像と右目用画像の視差の調整を行うことなく、表示部１５を制御して、入力画像処理部１２から取得した左目用画像および右目用画像を表示部１５に表示させる（ステップＳ１１２）。
　そして、メガネ同期部１６は、通信処理部１７を介してシャッタメガネ２０に制御信号を送信することにより、表示部１５が左目用画像あるいは右目用画像を表示するタイミングと、シャッタメガネ２０が左目あるいは右目の視界を遮るタイミングとを同期させる（ステップＳ１１０）。その後、この画像処理は終了する。
　なお、画像処理装置１０が動画を表示する場合は、動画を構成する各入力画像に対して上記画像処理が繰り返し実行される。
　以上説明したように、本実施形態１では、左目用画像特徴点抽出部１３ｂ、および、右目用画像特徴点抽出部１３ｄが、左目用画像および右目用画像のそれぞれから特徴点を抽出し、非対応点個数算出部１３ｇが、抽出された左目用画像、および、右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない上記いずれか一方の画像の特徴点の個数を移動距離ごとに算出し、視差値調整部１３ｈが、移動距離ごとに算出された個数に基づいて、左目用画像および右目用画像間の視差値を調整することとしたので、両眼視野闘争が生じにくい画像の表示が可能となる。
　また、左目用画像特徴点抽出部１３ｂ、および、左目用画像特徴点抽出部１３ｄが、所定の応答特性を有するフィルタによるフィルタリングを左目用画像および右目用画像から生成した輝度画像に対して行い、フィルタリングの結果得られた左目用画像および右目用画像において画素値が所定の閾値よりも大きい画素を特徴点として抽出することとしたので、人の視覚特性を精度よく模すフィルタ特性を有するフィルタによりフィルタリングを行って特徴点を抽出し、左目用画像の特徴点と右目用画像の特徴点との間で対応付けを行うことにより、両眼視野闘争が生じにくい画像の表示が可能となる。
　また、左目用画像特徴点抽出部１３ｂ、および、左目用画像特徴点抽出部１３ｄは、バンドパスフィルタを用いてフィルタリングを実行することとしたので、人の視覚特性を模すバンドパスフィルタを用いて輝度画像のフィルタリングを行うことにより、人に知覚されやすい特徴点を効果的に抽出することができる。そして、抽出された特徴点を用いて、左目用画像と右目用画像との間の視差値を調整することとすれば、人の視覚にとって適切に視差値が調整された左目用画像と右目用画像とを得ることができる。
　また、視差値調整部１３ｈは、非対応点個数算出部１３ｇにより算出された個数を度数とし、移動量ｓを階級とする度数分布（非対応度分布Ｕ（ｓ））に基づいて、左目用画像と右目用画像との間の視差値を調整することとしたので、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を容易に検出することができる。
　また、画像処理装置１０は、視差値調整部１３ｈにより決定された視差値の調整量ｈに基づいて、左目用画像および右目用画像の表示処理を制御する表示制御部１４をさらに備えることとしたので、両眼視野闘争が生じにくい画像表示の制御が可能となる。
（第２の実施形態）
　第２の実施形態では、左目用画像および右目用画像から特徴点を抽出する際、互いに応答特性が異なる複数のフィルタによるフィルタリングを左目用画像および右目用画像に対して適用する場合について説明する。
　まず、本発明の第２の実施形態に係る画像処理装置について説明する。第２の実施形態に係る画像処理装置は、図１に示した画像処理装置１０と画像調整部１３の機能のみが異なる。よって、ここでは、第２の実施形態に係る画像調整部１３について説明する。
　図６は、本発明の第２の実施形態に係る画像調整部１３の構成の一例を示す図である。この画像調整部１３は、左目用画像前処理部１３ａ、左目用画像特徴点抽出部１３ｂ１～１３ｂｗ、右目用画像前処理部１３ｃ、右目用画像特徴点抽出部１３ｄ１～１３ｄｗ、非対応点個数算出部１３ｇ、視差値調整部１３ｈを備える。
　左目用画像前処理部１３ａは、図１の入力画像処理部１２により出力された左目用画像（ＲＧＢ画像）を輝度画像に変換する処理部である。なお、左目用画像前処理部１３ａは、計算量を削減するための画像の縮小処理や、ノイズの除去処理などをさらに行うこととしてもよい。
　左目用画像特徴点抽出部１３ｂ１～１３ｂｗは、左目用画像から生成した輝度画像において特徴点を抽出する処理を行う処理部である。具体的には、各左目用画像特徴点抽出部１３ｂ１～１３ｂｗは、互いに応答特性が異なるｗ個のフィルタによるフィルタリングを左目用画像に対して行い、各フィルタリングの結果得られた左目用画像において画素値が所定の閾値よりも大きい画素を特徴点として抽出する。
　例えば、各左目用画像特徴点抽出部１３ｂ１～１３ｂｗは、互いに応答特性が異なるｗ個のバンドパスフィルタを用いて輝度画像のフィルタリングを行う。このようなバンドパスフィルタとして、例えば、ガボールフィルタが挙げられる。ガボールフィルタは、式（７）で表される。
Figure JPOXMLDOC01-appb-M000007
 ここで、ｋ、θ、σは所定のパラメータである。
　このガボールフィルタでは、パラメータｋを変化させることにより、抽出するエッジの周波数を変化させることができ、また、パラメータθを変化させることにより、抽出するエッジの方向を変化させることができる。
　各左目用画像特徴点抽出部１３ｂ１～１３ｂｗは、これらのパラメータの組み合わせが互いに異なるガボールフィルタを用いて、左目用画像から生成した輝度画像のフィルタリングを実行する。
　そして、各左目用画像特徴点抽出部１３ｂ１～１３ｂｗは、フィルタリング後の輝度画像において、画素値の絶対値が予め定めた閾値以上である画素を特徴点として検出し、検出した画素の座標（ｘＬｉ，ｐ，ｙＬｉ，ｐ）（１≦ｉ≦Ｍｐ，１≦ｐ≦ｗ：ｐは、パラメータの組み合わせが互いに異なるガボールフィルタの１つを示すインデックス、Ｍｐは、インデックスｐに対応するガボールフィルタにより検出された特徴点の個数）を内部メモリに左目用画像特徴点リスト１３ｅ１～１３ｅｗとして一時的に記憶し、記憶した左目用画像特徴点リスト１３ｅ１～１３ｅｗを非対応点個数算出部１３ｇに出力する。ここで、左目用画像特徴点リスト１３ｅｐ（１≦ｐ≦ｗ）は、インデックスｐに対応するガボールフィルタにより検出された画素の座標に対応する。
　右目用画像前処理部１３ｃは、図１の入力画像処理部１２により出力された右目用画像（ＲＧＢ画像）を輝度画像に変換する処理部である。なお、右目用画像前処理部１３ｃは、計算量を削減するための画像の縮小処理や、ノイズの除去処理などをさらに行うこととしてもよい。
　右目用画像特徴点抽出部１３ｄ１～１３ｄｗは、右目用画像から生成した輝度画像において特徴点を抽出する処理を行う。具体的には、各右目用画像特徴点抽出部１３ｄ１～１３ｄｗは、それぞれ左目用画像特徴点抽出部１３ｂ１～１３ｂｗと同じｗ個のバンドパスフィルタを用いて輝度画像のフィルタリングを行う。
　例えば、左目用画像特徴点抽出部１３ｂ１～１３ｂｗがガボールフィルタを用いてフィルタリングを行う場合、右目用画像特徴点抽出部１３ｄｐ（１≦ｐ≦ｗ）は、左目用画像特徴点抽出部１３ｂｐと同様のパラメータ（式（７）におけるｋ、θ、σ）が設定されたガボールフィルタを用いてフィルタリングを行う。
　そして、各右目用画像特徴点抽出部１３ｄ１～１３ｄｗは、フィルタリング後の輝度画像において、画素値の絶対値が予め定めた閾値以上である画素を特徴点として検出し、検出した画素の座標（ｘＲｊ，ｐ，ｙＲｊ，ｐ）（１≦ｊ≦Ｎｐ，１≦ｐ≦ｗ：Ｎｐは、インデックスｐに対応するガボールフィルタにより検出された特徴点の個数）を内部メモリに右目用画像特徴点リスト１３ｆ１～１３ｆｗとして一時的に記憶し、記憶した右目用画像特徴点リスト１３ｆ１～１３ｆｗを非対応点個数算出部１３ｇに出力する。ここで、右目用画像特徴点リスト１３ｆｐ（１≦ｐ≦ｗ）は、インデックスｐに対応するガボールフィルタにより検出された画素の座標に対応する。
　このように、ガボールフィルタを用いてフィルタリングを行うことにより、さまざまな周波数と方向のエッジを検出し、特徴点を効果的に抽出することが可能となる。
　非対応点個数算出部１３ｇは、左目用画像の特徴点を水平方向に所定の距離移動させた場合に、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を、左目用画像の特徴点の移動距離ごとに算出する処理部である。
　具体的には、非対応点個数算出部１３ｇは、各左目用画像特徴点抽出部１３ｂ１～１３ｂｗおよび各右目用画像特徴点抽出部１３ｄ１～１３ｄｗから左目用画像特徴点リスト１３ｅ１～１３ｅｗおよび右目用画像特徴点リスト１３ｆ１～１３ｆｗを取得し、左目用画像の水平方向の各移動量ｓについて、以下の式（８）～式（１０）により、フィルタごとの非対応度分布Ｖｐ（ｓ）（１≦ｐ≦ｗ）を算出する。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　ここで、移動量ｓは、ｓ１≦ｓ≦ｓ２という条件を満たす。ｓ１およびｓ２は、それぞれ移動量ｓの予め定められた最小値および最大値である。正の移動量ｓは、左目用画像を右に移動させることを示し、負の移動量ｓは、左目用画像を左に移動させることを示す。
　また、移動量ｔは、ｔ１≦ｔ≦ｔ２という条件を満たす。ｔ１およびｔ２は、それぞれ０以下および０以上の定数である。ｔ１≦ｔ≦ｔ２という条件は垂直網膜像差の許容範囲を表す。正の移動量ｔは、左目用画像を下に移動させることを示し、負の移動量ｓは、左目用画像を上に移動させることを示す。
　その後、非対応点個数算出部１３ｇは、左目用画像の水平方向の各移動量ｓについて、以下の式（１１）により、非対応度分布Ｕ（ｓ）を算出する。
Figure JPOXMLDOC01-appb-M000011
　なお、非対応点個数算出部１３ｇは、左目用画像の特徴点を水平方向に所定の距離移動させた場合に、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を、左目用画像の特徴点の移動距離ごとに算出することとしたが、右目用画像の特徴点を水平方向に所定の距離移動させた場合に、左目用画像の特徴点と対応しない右目用画像の特徴点の個数を、右目用画像の特徴点の移動距離ごとに算出することとしてもよい。
　この場合、式（８）、式（１０）はそれぞれ、以下の式（１２）、式（１３）に置き換えられる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　視差値調整部１３ｈは、非対応点個数算出部１３ｇにより算出された非対応度分布Ｕ（ｓ）に基づいて、左目用画像および右目用画像間の視差値を調整する処理部である。
　具体的には、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域があるか否かを判定する。非対応度分布Ｕ（ｓ）に閾値Ｋ以下となる領域がある場合、視差値調整部１３ｈは、その領域において、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を検出する。そして、視差値調整部１３ｈは、検出した移動量ｓの値を視差値の調整量として表示制御部１４に出力する。非対応度分布Ｕ（ｓ）に所定の閾値Ｋ以下となる領域がない場合、視差値調整部１３ｈは、特徴点の対応付けができないことを示すエラー信号を表示制御部１４に出力する。
　なお、本実施形態２においては、非対応点個数算出部１３ｇは、式（１１）を用いて非対応度分布Ｕ（ｓ）を算出することとしたが、非対応度分布Ｕ（ｓ）を算出する式はこれに限定されない。例えば、非対応点個数算出部１３ｇは、非対応度分布Ｕ（ｓ）を以下の式を用いて算出することとしてもよい。
Figure JPOXMLDOC01-appb-M000014
 ここで、ａｐ（１≦ｐ≦ｗ）は、フィルタごとの非対応度分布Ｖｐ（ｓ）に対する重みである。
　以上説明したように、本実施形態２では、左目用画像特徴点抽出部１３ｂ１～１３ｂｗ、および、右目用画像特徴点抽出部１３ｄ１～１３ｄｗが、互いに応答特性が異なる複数のフィルタをそれぞれ左目用画像、および、右目用画像の両方に対して適用するフィルタリングを実行し、各フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を左目用画像の特徴点、および、右目用画像の特徴点として抽出することとしたので、人の視覚特性を精度よく模すことができ、両眼視野闘争が生じにくい画像の表示が可能となる。
　さて、これまで画像処理装置および画像処理方法の実施形態を中心に説明を行ったが、本発明はこれらの実施形態に限定されるものではなく、画像処理装置の機能を実現するためのコンピュータプログラムとしての形態、あるいは、当該コンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体の形態として本発明が実施されることとしてもよい。
　ここで、記録媒体としては、ディスク系（例えば、磁気ディスク、光ディスク等）、カード系（例えば、メモリカード、光カード等）、半導体メモリ系（例えば、ＲＯＭ、不揮発性メモリ等）、テープ系（例えば、磁気テープ、カセットテープ等）等、さまざまな形態のものを採用することができる。
　これら記録媒体に上記実施形態における画像処理装置の機能を実現させるコンピュータプログラム、または、画像処理方法をコンピュータに実行させるコンピュータプログラムを記録して流通させることにより、コストの低廉化、及び可搬性や汎用性を向上させることができる。
　そして、コンピュータに上記記録媒体を装着し、コンピュータにより記録媒体に記録されたコンピュータプログラムを読み出してメモリに格納し、コンピュータが備えるプロセッサ（CPU：Central Processing Unit、MPU：Micro Processing Unit）が当該コンピュータプログラムをメモリから読み出して実行することにより、本実施形態に係る画像処理装置の機能を実現し、画像処理方法を実行することができる。
　また、上記の実施形態における画像処理装置の各構成要素の一部、または全部を典型的には集積回路であるＬＳＩ（Large Scale Integration）として実施してもよい。画像処理装置の各構成要素は個別にチップ化してもよいし、各構成要素の一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
　また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。
　例えば、上記第１および第２の実施形態では、非対応点個数算出部１３ｇは、非対応度分布Ｕ（ｓ）を式（４）、式（１０）を用いて算出することとしたが、非対応度分布Ｕ（ｓ）を算出する式はこれに限定されない。例えば、非対応点個数算出部１３ｇは、式（４）の代わりに、以下の式（１５）、式（１６）を用いて非対応度分布Ｕ（ｓ）を算出することとしてもよい。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　ここで、Ｌ（ｘ，ｙ）は、所定の応答特性を有するフィルタによりフィルタリングを行った左目用画像の輝度画像における座標（ｘ，ｙ）の画素値であり、Ｒ（ｘ，ｙ）は、所定の応答特性を有するフィルタによりフィルタリングを行った右目用画像の輝度画像における座標（ｘ，ｙ）の画素値である。また、ＴＨは、予め設定された閾値である。
　また、例えば、非対応点個数算出部１３ｇは、式（１０）の代わりに、以下の式（１７）、式（１８）を用いて非対応度分布Ｕ（ｓ）を算出することとしてもよい。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
 　ここで、Ｌ（ｘ，ｙ）、Ｒ（ｘ，ｙ）、ＴＨは、式（１６）におけるＬ（ｘ，ｙ）、Ｒ（ｘ，ｙ）と同様のものである。
　式（１５）～式（１８）は、画素値が右目用画像の特徴点の画素値と閾値ＴＨ以上離れている左目用画像の特徴点を、右目用画像の特徴点と対応しない左目用画像の特徴点に含めて、右目用画像の特徴点と対応しない左目用画像の特徴点の個数を算出する式である。すなわち、式（４）、式（１０）に、特徴点同士の対応は画素値が近い場合にのみ生じるという条件が追加されたものである。あるいは、非対応点個数算出部１３ｇは、画素値が左目用画像の特徴点の画素値と閾値ＴＨ以上離れている右目用画像の特徴点を、左目用画像の特徴点と対応しない右目用画像の特徴点に含めて、左目用画像の特徴点と対応しない右目用画像の特徴点の個数を算出することとしてもよい。
　このように、非対応点個数算出部１３ｇが、画素値が他方の画像の特徴点の画素値と所定の値以上離れている特徴点を、上記他方の画像の特徴点と対応しない上記いずれか一方の画像の特徴点に含めることとしたので、画素値を考慮することにより人の視覚特性をさらに精度よく模すことができる。
　また、上記第１および第２の実施形態では、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が閾値Ｋ以下となる領域において、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を視差値の調整量として設定することとしたが、視差値の調整量の設定方法はこれに限定されるものではない。
　例えば、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が閾値Ｋ以下となる領域において、絶対値が最小となる移動量ｓ（図４の例では、ｓ４）を視差値の調整量として設定することとしてもよい。これにより、もとの左目用画像および右目用画像間の視差値をあまり変化させることなく、視差の調整を行うことが可能となる。
　また、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が閾値Ｋ以下となる領域において、最大または最小である移動量ｓ（図４の例では、ｓ６およびｓ３）を視差値の調整量として設定することとしてもよい。これにより、立体視したときの観察対象の奥行きをより引っ込ませたり、飛び出させたりすることが可能となる。
　また、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が閾値Ｋとなる移動量ｓ（図４の例では、ｓ３、ｓ４、ｓ５、および、ｓ６）を視差値の調整量として設定することとしてもよい。この移動量ｓは、非対応度分布Ｕ（ｓ）の値に対して許容される限界に対応する量である。
　さらに、上記第１および第２の実施形態では、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）が所定の閾値Ｋ以下となる領域において、非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値を検出することとしたが、閾値Ｋを移動量ｓに応じて変化する値に設定することとしてもよい。これは、移動量ｓが大きくなると、左目用画像の画像端近傍にある特徴点に対応する特徴点が右目用画像に含まれなくなり、非対応度分布Ｕ（ｓ）が大きくなる可能性が高くなるので、そのような状況を考慮したものである。
　例えば、視差値調整部１３ｈは、上記第１または第２の実施形態における閾値Ｋの代わりに、以下の式（１９）により算出した閾値Ｋ（ｓ）を用いる。
Figure JPOXMLDOC01-appb-M000019
 ここで、α、βは、α＞βの関係を満たす定数であり、ｓＫは、予め設定された移動量である。
　また、視差値調整部１３ｈは、非対応度分布Ｕ（ｓ）の統計量や、左目用画像特徴点リスト１３ｅ、右目用画像特徴点リスト１３ｆに登録された特徴点の個数Ｍ、Ｎ、左目用画像特徴点リスト１３ｅ１～１３ｅｗ、右目用画像特徴点リスト１３ｆ１～１３ｆｗに登録された特徴点の個数Ｍｐ（１≦ｐ≦ｗ）、Ｎｐ（１≦ｐ≦ｗ）に応じて閾値Ｋを変化させることとしてもよい。
　例えば、視差値調整部１３ｈは、上記第１の実施形態における閾値Ｋの代わりに、以下の式（２０）により算出した閾値Ｋ（Ｍ，Ｎ）を用いることとしてもよい。
Figure JPOXMLDOC01-appb-M000020
 　ここで、Ｋ０、Ｋ１は、所定の定数である。
　また、視差値調整部１３ｈは、上記第２の実施形態における閾値Ｋの代わりに、以下の式（２１）により算出した閾値Ｋ（Ｍ１，Ｍ２，・・・，Ｍｗ，Ｎ１，Ｎ２，・・・，Ｎｗ）を用いてもよい。
Figure JPOXMLDOC01-appb-M000021
　ここで、Ｋ２、Ｋ３は、所定の定数である。式（２１）は、式（２０）のＭを、左目用画像特徴点リスト１３ｅ１～１３ｅｗに登録された特徴点の個数Ｍｐ（１≦ｐ≦ｗ）の平均値で置き換え、式（２０）のＮを、右目用画像特徴点リスト１３ｆ１～１３ｆｗに登録された特徴点の個数Ｎｐ（１≦ｐ≦ｗ）の平均値で置き換えたものである。
　式（２０）、式（２１）では、特徴点の数が多くなるほど、閾値が大きくなる。これは、フィルタ処理によって人の視覚特性を完全に模すことは難しく、特徴点が多くなりすぎると特徴点の対応付けが難しくなるという問題に対処するためである。
　また、上記第１および第２の実施形態では、視差値調整部１３ｈは、視差値の調整量を非対応度分布Ｕ（ｓ）が最小となる移動量ｓの値ｈに設定することとしたが、人の目が像を融合できる視差角の範囲を考慮して、定数ａを用いて視差値の調整量をｈ＋ａ、ｈ－ａなどに設定することとしてもよい。
　さらに、画像処理装置１０が動画を表示する場合は、視差値調整部１３ｈは、連続する複数の入力画像に対して算出した視差値の調整量を時間方向において平滑化し、その結果得られた値を視差値の調整量として用いることとしてもよい。これは、視差値の調整量の時間的な変化が大きいと、立体視が困難となるためである。
　また、上記第１および第２の実施形態では、左目用画像特徴点抽出部１３ｂ、１３ｂ１～１３ｂｗ、右目用画像特徴点抽出部１３ｄ、１３ｄ１～１３ｄｗ、視差値調整部１３ｈを、表示部１５を有する画像処理装置１０に備えることとしたが、これらの処理部を、表示部１５を有する画像処理装置１０とは別の装置に備えることとしてもよい。例えば、これらの処理部を、ＤＶＤプレーヤやブルーレイディスクプレーヤなどの映像出力装置（記録メディア再生装置）に備えることとしてもよい。
１０…画像処理装置、１１…入力部、１２…入力画像処理部、１３…画像調整部、１３ａ…左目用画像前処理部、１３ｂ，１３ｂ１～１３ｂｗ…左目用画像特徴点抽出部、１３ｃ…右目用画像前処理部、１３ｄ，１３ｄ１～１３ｄｗ…右目用画像特徴点抽出部、１３ｅ，１３ｅ１～１３ｅｗ…左目用画像特徴点リスト、１３ｆ，１３ｆ１～１３ｆｗ…右目用画像特徴点リスト、１３ｇ…非対応点個数算出部、１３ｈ…視差値調整部、１４…表示制御部、１５…表示部、１６…メガネ同期部、１７…通信処理部、３０ａ，３１ａ，３２ａ…左目用画像、３０ｂ，３１ｂ，３２ｂ…右目用画像。

Claims (10)

  1. 　左目用画像、および、右目用画像間の視差値を調整する画像処理装置であって、
    　前記左目用画像、および、前記右目用画像のそれぞれから特徴点を抽出する特徴点抽出部と、
    　前記特徴点抽出部により抽出された前記左目用画像、および、前記右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点の個数を移動距離ごとに算出する非対応点個数算出部と、
    　前記非対応点個数算出部により前記移動距離ごとに算出された前記個数に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整する視差値調整部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記特徴点抽出部は、所定の応答特性を有するフィルタによるフィルタリングを前記左目用画像、および、前記右目用画像に対して行い、該フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を前記左目用画像の特徴点、および、前記右目用画像の特徴点として抽出することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記特徴点抽出部は、互いに応答特性が異なる複数のフィルタをそれぞれ前記左目用画像、および、前記右目用画像の両方に対して適用するフィルタリングを実行し、各フィルタリングの結果得られた左目用画像、および、右目用画像において、画素値が所定の閾値よりも大きい画素を前記左目用画像の特徴点、および、前記右目用画像の特徴点として抽出することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記フィルタは、バンドパスフィルタであることを特徴とする請求項２または３に記載の画像処理装置。
  5. 　前記視差値調整部は、前記非対応点個数算出部により算出された個数を度数とし、前記左目用画像の特徴点と前記右目用画像の特徴点との間の距離を階級とする度数分布に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整することを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記非対応点個数算出部は、画素値が前記他方の画像の特徴点の画素値と所定の値以上離れている特徴点を、前記他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点に含め、前記いずれか一方の画像の特徴点の個数を算出することを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
  7. 　前記視差値調整部により視差値が調整された前記左目用画像、および、前記右目用画像の表示処理を制御する表示制御部をさらに備えることを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　左目用画像、および、右目用画像間の視差値を調整する画像処理装置であって、
    　前記左目用画像、および、前記右目用画像のそれぞれから特徴点を抽出する特徴点抽出ステップと、
    　前記特徴点抽出ステップにおいて抽出された前記左目用画像、および、前記右目用画像のいずれか一方の画像の特徴点を水平方向に所定の距離移動させた場合に、他方の画像の特徴点と対応しない前記いずれか一方の画像の特徴点の個数を移動距離ごとに算出する非対応点個数算出ステップと、
    　前記非対応点個数算出ステップにおいて前記移動距離ごとに算出された前記個数に基づいて、前記左目用画像、および、前記右目用画像間の視差値を調整する視差値調整ステップと、
    　を含むことを特徴とする画像処理方法。
  9. 　請求項８に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
  10. 　請求項９に記載のコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
PCT/JP2012/050134 2011-04-06 2012-01-06 画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体 WO2012137520A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/009,339 US9189893B2 (en) 2011-04-06 2012-01-06 Image processing device, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011084142A JP5002066B1 (ja) 2011-04-06 2011-04-06 画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体
JP2011-084142 2011-04-06

Publications (1)

Publication Number Publication Date
WO2012137520A1 true WO2012137520A1 (ja) 2012-10-11

Family

ID=46793985

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050134 WO2012137520A1 (ja) 2011-04-06 2012-01-06 画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体

Country Status (3)

Country Link
US (1) US9189893B2 (ja)
JP (1) JP5002066B1 (ja)
WO (1) WO2012137520A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6240530B2 (ja) 2014-02-21 2017-11-29 株式会社ワコム 信号処理回路、信号処理方法、位置検出装置及び電子機器
CN105225482B (zh) * 2015-09-02 2017-08-11 上海大学 基于双目立体视觉的车辆检测系统和方法
CN106097327B (zh) * 2016-06-06 2018-11-02 宁波大学 结合流形特征及双目特性的立体图像质量客观评价方法
DE102016125075B3 (de) 2016-12-21 2018-05-03 Carl Zeiss Meditec Ag Verfahren zur Reduktion von Wahrnehmungskonflikten in stereomikroskopischen Bilddaten
US20200275087A1 (en) * 2019-02-25 2020-08-27 Kazuhiro Asakura Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316541A (ja) * 1992-05-07 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視装置
JPH09121370A (ja) * 1995-08-24 1997-05-06 Matsushita Electric Ind Co Ltd 立体ｔｖ装置
JP2006042298A (ja) * 2004-06-25 2006-02-09 雅貴 ▲吉▼良 立体視画像作成方法および装置
JP2009048516A (ja) * 2007-08-22 2009-03-05 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009077092A (ja) * 2007-09-20 2009-04-09 Hitachi Ltd マルチカメラシステム
EP2282550A1 (en) * 2009-07-27 2011-02-09 Koninklijke Philips Electronics N.V. Combining 3D video and auxiliary data
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
WO2011024710A1 (ja) * 2009-08-31 2011-03-03 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US20110109731A1 (en) * 2009-11-06 2011-05-12 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355624A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 撮影装置
US7599616B2 (en) * 2005-09-30 2009-10-06 Sharp Kabushiki Kaisha Image shooting apparatus, display apparatus and image shooting and display apparatus
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
US7819525B2 (en) * 2009-02-15 2010-10-26 International Business Machines Corporation Automatic direct gaze detection based on pupil symmetry
US8599107B2 (en) * 2009-06-10 2013-12-03 Panasonic Corporation Image system, display device and eyeglasses device used in the same
US8564667B2 (en) * 2009-08-21 2013-10-22 Empire Technology Development Llc Surveillance system
JP5204350B2 (ja) * 2010-08-31 2013-06-05 パナソニック株式会社 撮影装置、再生装置、および画像処理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316541A (ja) * 1992-05-07 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視装置
JPH09121370A (ja) * 1995-08-24 1997-05-06 Matsushita Electric Ind Co Ltd 立体ｔｖ装置
JP2006042298A (ja) * 2004-06-25 2006-02-09 雅貴 ▲吉▼良 立体視画像作成方法および装置
JP2009048516A (ja) * 2007-08-22 2009-03-05 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009077092A (ja) * 2007-09-20 2009-04-09 Hitachi Ltd マルチカメラシステム
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
EP2282550A1 (en) * 2009-07-27 2011-02-09 Koninklijke Philips Electronics N.V. Combining 3D video and auxiliary data
WO2011024710A1 (ja) * 2009-08-31 2011-03-03 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US20110109731A1 (en) * 2009-11-06 2011-05-12 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video

Also Published As

Publication number Publication date
JP5002066B1 (ja) 2012-08-15
JP2012222472A (ja) 2012-11-12
US9189893B2 (en) 2015-11-17
US20140029838A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
US8890934B2 (en) Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
EP2375766A2 (en) Method and apparatus for measuring an audiovisual parameter
US20120044330A1 (en) Stereoscopic video display apparatus and stereoscopic video display method
EP2293586A1 (en) Method and system to transform stereo content
EP2685447B1 (en) Video display device
US10719967B2 (en) Techniques for placing masking window objects in a computer-generated scene for stereoscopic computer-animation
JP2011055421A5 (ja)
WO2012137520A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム、および、記録媒体
US20120307023A1 (en) Disparity distribution estimation for 3d tv
US8120648B2 (en) Method for displaying stereoscopic image
US20120229600A1 (en) Image display method and apparatus thereof
US20130050413A1 (en) Video signal processing apparatus, video signal processing method, and computer program
Zhang et al. Visual comfort assessment of stereoscopic images with multiple salient objects
JP2002245451A (ja) 立体画像評価装置
US10567656B2 (en) Medical observation device, information processing method, program, and video microscope device
US20180045934A1 (en) Medical observation device, lens driving control device, lens driving control method, program, and video microscope device
US20130050448A1 (en) Method, circuitry and system for better integrating multiview-based 3d display technology with the human visual system
CN110060291B (zh) 一种考虑人因的立体视在距离解算方法
JP5323165B2 (ja) 立体画像処理装置および立体画像処理方法
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program
Xing et al. Stereoscopic quality datasets under various test conditions
KR101481797B1 (ko) 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치
Atanassov et al. 3D image processing architecture for camera phones
JP5962125B2 (ja) 表示装置、同期方法及びプログラム
JP5981460B2 (ja) 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12767317

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14009339

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12767317

Country of ref document: EP

Kind code of ref document: A1