WO2013047054A1 - 診断システム - Google Patents

診断システム Download PDF

Info

Publication number
WO2013047054A1
WO2013047054A1 PCT/JP2012/071658 JP2012071658W WO2013047054A1 WO 2013047054 A1 WO2013047054 A1 WO 2013047054A1 JP 2012071658 W JP2012071658 W JP 2012071658W WO 2013047054 A1 WO2013047054 A1 WO 2013047054A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
spectral image
image data
image
index
Prior art date
Application number
PCT/JP2012/071658
Other languages
English (en)
French (fr)
Inventor
千葉　亨
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to US14/240,116 priority Critical patent/US9183427B2/en
Priority to DE112012004064.3T priority patent/DE112012004064B4/de
Priority to JP2013536094A priority patent/JP5923099B2/ja
Priority to CN201280046407.7A priority patent/CN103826524B/zh
Publication of WO2013047054A1 publication Critical patent/WO2013047054A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6867—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive specially adapted to be attached or implanted in a specific body part
    • A61B5/6871—Stomach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6867—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive specially adapted to be attached or implanted in a specific body part
    • A61B5/6873—Intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a diagnostic system capable of displaying, with an image, a region that is likely to be a lesion in a living tissue.
  • the spectral characteristics of the biological tissue including the lesioned part are different from the spectral characteristics of the biological tissue including only the healthy part. As described above, since the spectral characteristics change between the healthy part and the lesioned part, it is possible to determine whether or not any lesioned part in the living tissue is included by comparing the spectral characteristics of both.
  • an object of the present invention is to provide a diagnostic system capable of displaying an image that can easily identify a lesioned part and a healthy part.
  • the diagnostic system of the present invention includes a spectral image capturing unit that captures a spectral image in a predetermined wavelength region in a body cavity to obtain spectral image data, and a lesioned part and a healthy part from the spectral image data.
  • An image processing unit for obtaining an index value for identifying the index value, generating and outputting an index image based on the index value, and a monitor for displaying the index image.
  • the image processing unit includes each pixel of the spectral image.
  • Equation 1 For, by using the first spectral image data P 1 of the wavelength, the third spectral image data P 3 of the wavelength of the second spectral image data P 2 wavelengths, and the wavelength 578nm vicinity of a wavelength near 558nm wavelength near 542nm ⁇ obtained from the following equation (Equation 1) is used as the index value.
  • the composition ratio of oxygenated hemoglobin and reduced hemoglobin may be different between the lesioned part and the healthy part, and it has been reported that it is effective for detecting a disease and estimating the degree of progression. It is also known that oxygenated hemoglobin and reduced hemoglobin have different light absorption characteristics.
  • the present invention has been made paying attention to this point, and according to the above configuration, the index image based on the index value ⁇ representing the component ratio of oxygenated hemoglobin and reduced hemoglobin is displayed. Makes it possible to easily distinguish between a normal part and an abnormal part.
  • the image processing means can be configured to obtain a ratio of oxygenated hemoglobin and reduced hemoglobin from the index value and generate an index image based on the ratio.
  • the image processing unit generates the index image by assigning a predetermined color based on the ratio of oxygenated hemoglobin and reduced hemoglobin to each pixel of the spectral image. According to such a configuration, it is possible to more easily and accurately identify a healthy part and an abnormal part.
  • the image processing means combines the spectral image data in the blue, green, and red wavelength bands and outputs a color image, and the monitor displays the color image and the index image side by side. It is desirable. According to such a configuration, it becomes possible to easily identify the lesioned part by comparing the color image currently being observed and the index image, so it is possible to easily confirm the necessary range such as excision by surgery, It is also possible to specify.
  • the spectral image data in a predetermined wavelength range out of the spectral image data may be integrated, and a normalization unit that corrects the spectral image data so that the integrated value matches the reference value may be used.
  • the predetermined wavelength range is desirably a predetermined wavelength range selected from a range of 600 nm to 800 nm, for example. According to such a configuration, it is possible to correct the variation in the amount of light caused by the difference in the reflection angle between each pixel constituting the spectral image, and thus an index image that can more accurately identify the normal part and the abnormal part is provided. It becomes possible to provide.
  • the spectral image data may include a normalization unit that corrects the spectral image data so that the spectral image data having a wavelength corresponding to an absorption point such as hemoglobin matches the reference value.
  • the predetermined wavelength region is 400 to 800 nm
  • the spectral image is preferably a plurality of images taken for each predetermined wavelength defined in the range of 1 to 10 nm.
  • the first wavelength is a predetermined wavelength within the range of 530 nm to 545 nm
  • the second wavelength is a predetermined wavelength within the range of 550 nm to 568 nm
  • the third wavelength is 570 nm to 584 nm. It can be a predetermined wavelength within the range.
  • the diagnostic system includes a spectral image capturing unit that captures a spectral image of a predetermined wavelength region in a body cavity to obtain spectral image data, and a lesioned part and a healthy part from the spectral image data.
  • An image processing unit for obtaining an index value for identifying the index value, generating and outputting an index image based on the index value, and a monitor for displaying the index image.
  • the image processing unit includes each pixel of the spectral image.
  • the diagnostic system of the present invention since an image that can easily identify a lesioned part and a healthy part is displayed, the diagnosis time is shortened and a necessary range such as excision by surgery is reduced. It can be easily confirmed and specified.
  • FIG. 1 is a block diagram of a diagnostic system according to an embodiment of the present invention.
  • FIG. 2 is a graph showing spectral image data of the gastric mucosa acquired by the diagnostic system according to the embodiment of the present invention.
  • FIG. 2A is a graph showing the spectrum of the pixel corresponding to the lesioned part of the gastric mucosa
  • FIG. 2B is a graph showing the spectrum of the pixel corresponding to the healthy part of the gastric mucosa.
  • FIG. 3 is a graph showing the absorption characteristics of hemoglobin.
  • FIG. 4 is an enlarged view of the absorption characteristics of the hemoglobin of FIG. 3 in the wavelength range of 520 nm to 600 nm.
  • FIG. 5 is a graph showing the transmission characteristics of hemoglobin.
  • FIG. 6 is a graph showing the relationship between the oxygenated hemoglobin concentration index ⁇ and the oxygenated hemoglobin concentration used in the embodiment of the present invention.
  • FIG. 7 is a flowchart showing image generation processing executed by the image processing unit of the diagnostic system according to the embodiment of the present invention.
  • FIG. 8 is a diagram schematically showing a color image and an index image displayed on the image display device by the image generation processing of FIG.
  • FIG. 1 is a block diagram of a diagnostic system according to an embodiment of the present invention.
  • the diagnosis system 1 of this embodiment generates an index image that is referred to by a doctor when diagnosing digestive organ diseases such as the stomach and intestines.
  • the diagnostic system 1 includes an electronic endoscope 100, an electronic endoscope processor 200, and an image display device 300.
  • the electronic endoscope processor 200 includes a light source unit 400 and an image processing unit 500.
  • the electronic endoscope 100 has an insertion tube 110 to be inserted into a body cavity, and an objective optical system 121 is provided at a distal end portion (insertion tube distal end portion) 111 of the insertion tube 110.
  • An image of the biological tissue T located near the insertion tube distal end 111 by the objective optical system 121 is configured to form an image on the light receiving surface of the image sensor 141 built in the insertion tube distal end 111.
  • the image sensor 141 for example, a CCD (Charge-Coupled Device) image sensor provided with three primary color filters on the front surface is used.
  • CCD Charge-Coupled Device
  • the image sensor 141 periodically outputs a video signal corresponding to an image formed on the light receiving surface (for example, every 1/30 seconds).
  • the video signal output from the image sensor 141 is sent to the image processing unit 500 of the electronic endoscope processor 200 via the cable 142.
  • the image processing unit 500 includes an A / D conversion circuit 510, a temporary storage memory 520, a controller 530, a video memory 540, and a signal processing circuit 550.
  • the A / D conversion circuit 510 performs A / D conversion on a video signal input from the imaging element 141 of the electronic endoscope 100 via the cable 142 and outputs digital image data.
  • Digital image data output from the A / D conversion circuit 510 is sent to and stored in the temporary storage memory 520.
  • the controller 530 processes one or a plurality of image data stored in the temporary storage memory 520 to generate one piece of display image data, and sends this to the video memory 540.
  • the controller 530 displays image data for display generated from a single image data, image data for display in which images of a plurality of image data are displayed side by side, or an image obtained by performing image operations on a plurality of image data.
  • display image data or the like on which a graph obtained as a result of image calculation is displayed is generated and stored in the video memory 540.
  • the signal processing circuit 550 converts display image data stored in the video memory 540 into a video signal of a predetermined format (for example, NTSC format) and outputs the video signal.
  • the video signal output from the signal processing circuit 550 is input to the image display device 300.
  • an endoscope image or the like captured by the electronic endoscope 100 is displayed on the image display device 300.
  • the electronic endoscope 100 is provided with a light guide 131.
  • the distal end portion 131 a of the light guide 131 is disposed in the vicinity of the insertion tube distal end portion 111, while the proximal end portion 131 b of the light guide 131 is connected to the electronic endoscope processor 200.
  • the electronic endoscope processor 200 includes a light source unit 400 (described later) having a light source 430 that generates white light with a large light amount, such as a xenon lamp, and the light generated by the light source unit 400 is a light source. The light is incident on the base end portion 131 b of the guide 131.
  • the light incident on the base end portion 131b of the light guide 131 is guided to the tip end portion 131a through the light guide 131 and is emitted from the tip end portion 131a.
  • a lens 132 is provided in the vicinity of the distal end portion 131a of the light guide 131 at the distal end portion 111 of the insertion tube of the electronic endoscope 100.
  • Light emitted from the distal end portion 131a of the light guide 131 passes through the lens 132.
  • the light passes through and illuminates the living tissue T in the vicinity of the distal end portion 111 of the insertion tube.
  • the electronic endoscope processor 200 functions as a video processor that processes the video signal output from the imaging device 141 of the electronic endoscope 100 and the vicinity of the insertion tube distal end portion 111 of the electronic endoscope 100. It also has a function as a light source device that supplies illumination light for illuminating the living tissue T to the light guide 131 of the electronic endoscope 100.
  • the light source unit 400 of the electronic endoscope processor 200 includes a light source 430, a collimator lens 440, a spectral filter 410, a filter control unit 420, and a condenser lens 450.
  • White light emitted from the light source 430 becomes parallel light by the collimator lens 440, passes through the spectral filter 410, and then enters the base end portion 131 b of the light guide 131 by the condenser lens 450.
  • the spectral filter 410 is a disk-type filter that spectrally separates white light incident from the light source 430 into light having a predetermined wavelength (that is, selects a wavelength), and 400, 405, 410,...
  • Wavelength of light of a narrow band of 800 nm (bandwidth of about 5 nm) is output.
  • the rotation angle of the spectral filter 410 is controlled by a filter control unit 420 connected to the controller 530, and the controller 530 controls the rotation angle of the spectral filter 410 via the filter control unit 420, so that a predetermined wavelength is obtained.
  • Light enters the proximal end portion 131 b of the light guide 131 and illuminates the living tissue T near the insertion tube distal end portion 111. Then, the light reflected by the living tissue T forms an image on the light receiving surface of the image sensor 141 as described above, and a video signal is sent to the image processing unit 500 via the cable 142.
  • the image processing unit 500 is a device that obtains a plurality of spectral images with a wavelength of 5 nm from a video signal of the living tissue T input via the cable 142. Specifically, when the spectral filter 410 selects and outputs light of a narrow band (bandwidth of about 5 nm) having a center wavelength of 400, 405, 410,. The spectral image is captured, and the luminance value (luminance information) is stored in the temporary storage memory 520 as spectral image data.
  • the image processing unit 500 has a function of processing the spectral image data stored for each wavelength of the spectral filter 410 and generating a color image or an index image as will be described later. Then, the image processing unit 500 causes the image display device 300 to display the processed color image and index image.
  • the spectral filter 410 can be a Fabry-Perot filter or a transmission diffraction grating.
  • the image processing unit 500 of the present embodiment has a function of generating an index image that can easily identify a lesioned part and a healthy part using a plurality of spectral images having different wavelengths. This index image generation function will be described below.
  • FIG. 2 is a spectral display (that is, displayed as a luminance distribution for each wavelength) of spectral image data of the gastric mucosa acquired by the diagnostic system 1 of the present embodiment.
  • Each waveform indicates the spectrum of a specific pixel in the spectral image obtained by the image sensor 141.
  • FIG. 2A shows the spectrum of pixels corresponding to the lesioned part of the gastric mucosa
  • FIG. 2B shows the spectrum of pixels corresponding to the healthy part of the gastric mucosa.
  • a predetermined normalization process is applied to the spectrum of each pixel of the healthy part and the lesion part shown in FIGS. 2 (a) and 2 (b). Specifically, the angle formed between the illumination light emitted from the distal end portion 131a of the light guide 131 and the subject (living tissue T), the difference in the distance from the insertion tube distal end portion 111 (FIG. 1) to the living tissue T, and the like. As a result, each pixel of the image sensor 141 receives different amounts of light (that is, a constant amount of light cannot be received over the entire light receiving surface of the image sensor 141), and thus the influence of this light amount difference is corrected. As shown.
  • the luminance values in a predetermined wavelength region for example, wavelengths of 600 nm to 800 nm
  • the size of the entire spectrum that is, the integrated value becomes a predetermined reference value
  • the spectrum of each pixel is aligned with a reference size, so that the spectrum of the pixel corresponding to the lesioned part and the spectrum of the pixel corresponding to the healthy part are obtained. It is configured so that it can be compared accurately.
  • the spectrum of the gastric mucosa image shows a substantially M-shaped characteristic having a trough (bottom) from a wavelength of 500 to 590 nm regardless of whether it is a healthy part or a lesioned part.
  • the spectrum of the pixel corresponding to the lesioned part has a larger dispersion (variation) than the spectrum of the pixel corresponding to the healthy part, and has two bottoms with wavelengths of about 540 nm and about 570 nm. This is different from the spectrum of the pixel corresponding to the healthy part.
  • the difference between the oxygenated hemoglobin and the reduced hemoglobin is different between the lesioned part and the healthy part, and the light absorption characteristics of the oxygenated hemoglobin and the reduced hemoglobin are different. This is probably because of this.
  • the present invention has been made paying attention to this point, and as will be described later, the present inventor has determined the composition ratio of oxygenated hemoglobin and reduced hemoglobin from the difference in light absorption characteristics of oxygenated hemoglobin and reduced hemoglobin. We found a method for quantitative determination, and further developed it to find a configuration for quantitatively determining a healthy part and an abnormal part.
  • FIG. 3 is a graph showing the absorption characteristics of hemoglobin.
  • the solid line shows the light absorption characteristics of oxygenated hemoglobin
  • the broken line shows the light absorption characteristics of reduced hemoglobin.
  • the vertical axis represents the absorbance (unit: mg / dl) in spectroscopy
  • the horizontal axis represents the wavelength (unit: nm).
  • oxygenated hemoglobin and reduced hemoglobin are common in that they absorb light having a wavelength of 500 to 590 nm (that is, the absorption characteristics increase in the wavelength range of 500 to 590 nm).
  • oxygenated hemoglobin has two characteristics at a wavelength of about 542 nm and about 578 nm, with the wavelength of about 560 nm being the bottom.
  • the absorbance of oxygenated hemoglobin is higher than that of reduced hemoglobin at wavelengths of about 542 nm and about 578 nm, and is lower than that of reduced hemoglobin at a wavelength of about 558 nm.
  • Equation 3 the measurement model of the absorption characteristics of hemoglobin shown in FIG. 3 is expressed by the following equation (Equation 3) based on the Lambert-Beer law (Beer-Lambert Law).
  • A is the absorbance of the medium (living tissue T)
  • I O is the radiation intensity of the light before entering the medium (incident light intensity)
  • I is the light intensity (radiation) when moving through the medium by the distance d.
  • ⁇ is the molar extinction coefficient
  • C is the molar concentration
  • ⁇ is the wavelength of light.
  • the absorbance in the case of having n kinds of light-absorbing substances is expressed as the sum of the absorption characteristics of each light-absorbing substance. That is, in the case of this embodiment, since it is considered that the living tissue T has two types of light-absorbing substances, oxygenated hemoglobin and reduced hemoglobin, the absorbance of the living tissue T depends on the absorption characteristics of oxygenated hemoglobin and the absorption of reduced hemoglobin. It can be understood as the sum of characteristics.
  • the spectral image data of the present embodiment is obtained by receiving the reflected light when the light emitted from the distal end portion 131a of the light guide 131 is reflected by the living tissue T by the imaging element 141. That is, it is none other than observing light that has not been absorbed by oxygenated hemoglobin and reduced hemoglobin constituting the living tissue T as reflected light. In such a measurement model, it has been reported that information of reflected light from the living tissue T can be processed as a pseudo-transmission spectrum. That is, the spectral image data of this embodiment can be regarded as the transmitted light of the light-absorbing substance in the measurement model (that is, the radiated light intensity I in the above formulas 3 and 4). Therefore, it is possible to obtain the absorbance of the living tissue T from the spectral image data of the present embodiment using Equations 3 and 4.
  • FIG. 4 is a graph obtained by enlarging the absorption characteristics of the hemoglobin of FIG. 3 in the wavelength range of 500 to 600 nm.
  • the vertical axis indicates the relative ratio of absorbance.
  • reduced hemoglobin has the highest absorbance at a wavelength of about 558 nm, and the absorption characteristics of oxygenated hemoglobin have two peaks at a wavelength of about 542 nm and about 578 nm, and a bottom at a wavelength of about 558 nm.
  • the absorbance of oxygenated hemoglobin is higher than that of reduced hemoglobin at wavelengths of about 542 nm and about 578 nm, and is lower than that of reduced hemoglobin at a wavelength of about 558 nm.
  • the absorbance of the living tissue T can be expressed as the sum of the absorption characteristics of oxygenated hemoglobin and the reduced hemoglobin, so that it depends on the composition ratio of oxygenated hemoglobin and reduced hemoglobin in the living tissue T. These two absorption characteristics are expressed as superimposed (added). That is, as shown by the dotted line in FIG. 4, the absorbance of the living tissue T is expressed as a curve passing between the absorption characteristic of oxygenated hemoglobin indicated by the solid line and the absorption characteristic of reduced hemoglobin indicated by the broken line. Thus, the constituent ratio of oxygenated hemoglobin and reduced hemoglobin can be determined.
  • the dotted line in FIG. 4 is plotted while changing the ratio of oxygenated hemoglobin and reduced hemoglobin in the range of 10%: 90% to 90%: 10% in increments of 10%.
  • the absorbance between the oxygenated hemoglobin and the reduced hemoglobin can be quantitatively obtained by obtaining the absorbance according to Equation 3 and Equation 4 from the spectral image data of each pixel obtained by the image processing unit 500.
  • luminance values spectral image data
  • feature point P1 luminance values at wavelengths of 542 nm
  • feature point P2 558 nm
  • feature point P3 578 nm
  • concentration index ⁇ of oxygenated hemoglobin is determined by converting the absorbance into the absorbance according to Equations 3 and 4 and substituting it into the following equation (Equation 5).
  • a 1 to A 3 are absorbances at characteristic points P1 to P3, respectively.
  • the oxygenated hemoglobin concentration index ⁇ becomes smaller (negative).
  • the ratio of oxygenated hemoglobin and reduced hemoglobin contained in the living tissue T can be accurately obtained. Can do. However, in this method, it is necessary to convert spectral image data into absorbance, and logarithmic calculation and density conversion must be performed for each pixel constituting the spectral image, which is a heavy load for real-time processing. Therefore, the present inventor has noted that the spectrum of the spectral image obtained by the present embodiment can be regarded as the transmitted light of the light-absorbing substance (ie, oxygenated hemoglobin and reduced hemoglobin) in the living tissue T, and has been described above. By examining the absorption model of hemoglobin as a transmission model, we found a method for obtaining the ratio of oxygenated hemoglobin and reduced hemoglobin by a simpler method.
  • FIG. 5 is a graph showing the transmission characteristics of hemoglobin, in which the vertical axis represents the reflectance and the horizontal axis represents the wavelength (unit: nm). In FIG. 5, only the range in which the reflectance is 0.9 or more is shown. Like FIG. 4, the solid line indicates the characteristics of oxygenated hemoglobin, and the broken line indicates the characteristics of reduced hemoglobin. The dotted line in FIG. 5 is plotted while changing the ratio of oxygenated hemoglobin and reduced hemoglobin in the range of 10%: 90% to 90%: 10% in increments of 10%.
  • the transmission characteristics of hemoglobin are characteristics that are obtained by inverting the absorption characteristics of hemoglobin in FIG. That is, reduced hemoglobin has the lowest reflectivity at a wavelength of about 558 nm, and oxygenated hemoglobin has two bottoms at wavelengths of about 542 nm and about 578 nm, and has a peak at a wavelength of about 558 nm.
  • the reflectance of oxygenated hemoglobin is lower than that of reduced hemoglobin at wavelengths of about 542 nm and about 578 nm, and is higher than that of reduced hemoglobin at a wavelength of about 558 nm.
  • the spectrum of the spectral image obtained by this embodiment can be regarded as the transmitted light of the light-absorbing substance (that is, oxygenated hemoglobin and reduced hemoglobin) in the living tissue T, the spectrum of the spectral image itself has the transmittance (in other words, the reflection). Rate) information. Therefore, in the present embodiment, the luminance values of the feature points P1 to P3 are obtained for the spectral image data of each pixel obtained by the image processing unit 500, and this is substituted into the following equation (Equation 6). The concentration index ⁇ of oxygenated hemoglobin is obtained.
  • P 1 to P 3 are luminance values at the characteristic points P1 to P3, respectively.
  • the oxygenated hemoglobin concentration index ⁇ is different from the oxygenated hemoglobin concentration index ⁇ of the absorption model, and does not require logarithmic calculation (because it can be obtained only by addition / subtraction), so it has a low calculation load and is suitable for real-time processing. ing.
  • FIG. 6 is a graph showing the relationship between the concentration of oxygenated hemoglobin and the concentration index ⁇ .
  • the ratio of oxygenated hemoglobin to reduced hemoglobin ranges from 10%: 90% to 90%: 10% in increments of 10%. It is the result of having calculated
  • the oxygenated hemoglobin concentration (ratio) and the concentration index ⁇ can be approximated approximately linearly within the range of the reflectance of about 0.90 to 0.94.
  • the ratio of oxygenated hemoglobin is uniquely determined. That is, it is understood that, in academic terms, the Lambert-Beer law is followed, but in an extremely narrow range, an approximate value can be obtained by calculating the transmittance.
  • the concentration index ⁇ obtained from the transmittance is substituted into the linear equation in FIG. The composition ratio of oxygenated hemoglobin and reduced hemoglobin is calculated.
  • the concentration index ⁇ of oxygenated hemoglobin is obtained for the spectral image data of each pixel, and the ratio between oxygenated hemoglobin and reduced hemoglobin is obtained from the concentration index ⁇ . All operations are performed only with simple four arithmetic operations. Therefore, according to the configuration of the present embodiment, the calculation load is greatly reduced as compared with the absorption model described above.
  • the image processing unit 500 of the present embodiment generates an index image based on the ratio of oxygenated hemoglobin that is uniquely determined from the concentration index ⁇ (index value).
  • FIG. 7 is a flowchart showing image generation processing executed by the image processing unit 500 of this embodiment.
  • FIG. 8 schematically shows a color image and an index image displayed on the image display device 300 by the image generation processing of FIG. 7, and FIG. 8A shows a biological tissue from a relatively far distance.
  • FIG. 8B schematically shows an image when the T blood vessel is observed, and FIG. 8B schematically shows an image when the tumor portion (capillary blood vessel) of the living tissue T is observed from a relatively close distance. It is shown in.
  • the image generation process is a routine for generating a color image and an index image and displaying them on the image display device 300. This routine is executed when the diagnostic system 1 is turned on.
  • step S1 the image processing unit 500 sends a control signal for causing the filter control unit 400 to acquire a spectral image.
  • the filter control unit 400 controls the rotation angle of the spectral filter 410 and sequentially selects wavelengths of 400, 405, 410,..., 800 nm narrow band (bandwidth of about 5 nm).
  • the image processing unit 500 takes a spectral image obtained at each wavelength and records it in the temporary storage memory 520 as spectral image data.
  • step S2 the process proceeds to step S2.
  • step S2 a spectrum is obtained for each pixel of the spectral image acquired in step S1, and a normalization process is performed on the spectrum of each pixel. Specifically, the luminance value of each pixel in a predetermined wavelength region (for example, a wavelength of 600 nm to 800 nm) is integrated, and a gain value is obtained so that the integrated value becomes a predetermined reference value. Then, the entire spectrum (that is, the luminance value at each wavelength) is multiplied by the gain value to correct the variation in the spectrum of each pixel (that is, the spectral image data of each pixel is normalized). Next, the process proceeds to step S3.
  • a predetermined wavelength region for example, a wavelength of 600 nm to 800 nm
  • step S3 among the spectral image data normalized in step S2, spectral image data obtained from three spectral images with central wavelengths of 435 nm, 545 nm, and 700 nm are extracted, and spectral data with a central wavelength of 435 nm is extracted.
  • One piece of color image data is generated in which image data is stored in a blue plane, spectral image data having a center wavelength of 545 nm is stored in a green plane, and spectral image data having a center wavelength of 700 nm is stored in a red plane.
  • This color image data is obtained from the spectral image of 435 nm which is the blue wavelength, the spectral image of 545 nm which is the green wavelength and the spectral image of 700 nm which is the red wavelength as described above. A color image equivalent to the endoscopic image is obtained. Then, the image processing unit 500 sends the generated color image data to the video memory 540 and displays it on the left side of the screen of the image display device 300 (FIGS. 8A and 8B). Next, the process proceeds to step S4.
  • step S4 whether or not a trigger input for instructing generation of an index image is generated by operating an operation unit (not shown) of the electronic endoscope processor 200 while steps S1 to S3 are being executed. Confirmation is performed. If a trigger input has not occurred (S4: NO), the process proceeds to step S1, and a spectral image is acquired again. That is, as long as there is no trigger input, the color image obtained from the spectral image is sequentially updated and continuously displayed on the image display device 300. On the other hand, if a trigger input has occurred while steps S1 to S3 are being executed (S4: YES), the process proceeds to step S5.
  • step S5 the oxygenated hemoglobin concentration index ⁇ is calculated for the spectral image data normalized in step S2. Specifically, spectral image data corresponding to the feature points P1 to P3 for all the pixels of the spectral image, that is, spectral image data having a wavelength of 540 nm ( ⁇ 542 nm) corresponding to the feature point P1, and wavelengths corresponding to the feature point P2.
  • the concentration index ⁇ of oxygenated hemoglobin is obtained.
  • the process proceeds to step S6.
  • step S6 an index image is generated based on the oxygenated hemoglobin concentration index ⁇ obtained in step S5.
  • the oxygenated hemoglobin concentration is obtained from the oxygenated hemoglobin concentration index ⁇ (that is, the index value) of each pixel of the spectral image and the linear equation of the graph shown in FIG. 6, and a predetermined color corresponding to this concentration is obtained. Is assigned to each pixel to generate an index image.
  • a so-called color gradation image that changes to purple, blue, green, yellow, and red according to the oxygenated hemoglobin concentration is generated as the index image.
  • the image processing unit 500 sends the generated index image data to the video memory 540 and displays it on the right side of the screen of the image display device 300 (FIGS.
  • step S7 the process proceeds to step S7.
  • step S ⁇ b> 7 the image processing unit 500 causes the image display device 300 to display a message for inquiring whether to generate an index image again, and accepts an input from the operation unit (not shown) of the electronic endoscope processor 200.
  • the process returns to step S1.
  • the regeneration of the index image is not instructed for a certain time (for example, several seconds) (S7: NO)
  • the process proceeds to step S8.
  • step S ⁇ b> 8 the image processing unit 500 causes the image display device 300 to display a message asking whether or not to end the display of the index image, and inputs from the operation unit (not shown) of the electronic endoscope processor 200. Accept.
  • the operation unit not shown
  • this routine ends.
  • the display of the index image is not instructed for a certain time (for example, several seconds) (S8: NO)
  • the process proceeds to step S7.
  • an index image effective for estimating the position of a lesioned part is displayed on the image display device 300.
  • the doctor can make a diagnosis while identifying the position and range of the lesion and comparing with the surrounding tissue. Become.
  • spectral image data corresponding to the feature points P1 to P3 (that is, wavelength 540 nm ( ⁇ 542 nm), 560 nm ( ⁇ 558 nm), 580 nm ( ⁇ 578 nm) in the present embodiment. )) Is substituted into Equation 6 to obtain a concentration index ⁇ of oxygenated hemoglobin, and the oxygenated hemoglobin concentration (that is, the ratio of oxygenated hemoglobin to reduced hemoglobin) determined from this is the possibility of a lesion.
  • a high region (pixel) is identified. That is, a region (pixel) having a high possibility of a lesion is identified by simply performing four basic arithmetic operations using the three spectral image data of each pixel. Therefore, since the index image can be generated and displayed at high speed, the index image can be provided without causing any time lag while displaying a real-time color image.
  • the present invention is not limited to the above-described embodiment, and various modifications are possible within the scope of the technical idea.
  • the present embodiment has been described as a configuration in which the concentration index ⁇ of oxygenated hemoglobin is obtained by applying Equation 6 to the normalized spectral image data, the present invention is not limited to this configuration. Absent.
  • Ii is a luminance value at each wavelength of the spectral image data, and a indicates an integrated value of the spectral waveform of each pixel.
  • the integrated value a of the spectral waveform of each pixel can be considered as a parameter (normalization coefficient) indicating the amount of light incident on each pixel
  • the amount of light between the pixels is obtained by obtaining the concentration index ⁇ of oxygenated hemoglobin.
  • the effect of the difference is corrected and normalized. That is, for the spectral image data of each pixel before normalization, spectral image data P 1 , P 2 , P 3 corresponding to the feature points P1 to P3 and the integrated value a of all the spectral image data are obtained.
  • the normalization process is performed on the mathematical expression, and therefore, it is possible to include the process corresponding to step S2 of the present embodiment.
  • spectral image data of all wavelengths acquired are integrated and used as a normalization coefficient.
  • spectral image data in a predetermined wavelength region for example, a wavelength of 600 nm to 800 nm. May be integrated to obtain a normalization coefficient.
  • the normalization processing of the present embodiment integrates luminance values in a predetermined wavelength region (for example, wavelengths of 600 nm to 800 nm) for the spectrum of each pixel of the spectral image so that the integrated value becomes a predetermined reference value.
  • a predetermined wavelength range can be selected from a range of 600 nm to 800 nm, luminance values in the wavelength range are integrated, and the entire spectrum is corrected so that the integrated value becomes a predetermined reference value. It is good also as composition to do.
  • spectral image data having a wavelength corresponding to the isosbestic point of hemoglobin is predetermined. It is good also as a structure which correct
  • spectral image data of a wavelength (528 nm) corresponding to the isoabsorption point of hemoglobin is defined as Q1
  • spectral image data of a wavelength (585 nm) corresponding to the isoabsorption point of hemoglobin is defined as Q2
  • hemoglobin is defined.
  • the concentration index ⁇ of oxygenated hemoglobin is obtained by the following equation (Equation 8), whereby the influence of the light amount difference between the pixels is Corrected and standardized. Since the oxygenated hemoglobin concentration (ratio) and the concentration index ⁇ , and the reduced hemoglobin concentration (ratio) and the concentration index ⁇ can also be approximated approximately linearly, the oxygenated hemoglobin ratio can be uniquely obtained by obtaining the concentration index ⁇ . . When this isosbestic point is used, oxygenated hemoglobin and reduced hemoglobin have the same absorption rate, so that the total hemoglobin amount can be measured with stable accuracy.
  • the total hemoglobin amount is an amount proportional to the concentration index ⁇ obtained by the following equation (Equation 9) or (Equation 10).
  • the configuration of acquiring the spectral image data in 5 nm increments is not necessarily required.
  • the wavelength interval for acquiring the spectral image data can be selected, for example, within a range of 1 to 10 nm. By acquiring a spectral image with a finer wavelength interval, the feature points P1 to P3 can be obtained more accurately. It is possible to acquire spectral image data corresponding to.
  • the image processing unit 500 generates the index image by assigning a predetermined color corresponding to the oxygenated hemoglobin concentration to each pixel of the spectral image. It is not limited to. For example, a gray scale display corresponding to the oxygenated hemoglobin concentration may be used.
  • the oxygenated hemoglobin concentration is obtained from the oxygenated hemoglobin concentration index ⁇ of each pixel of the spectral image and the linear equation of the graph shown in FIG. 6, and a predetermined value corresponding to this concentration is obtained.
  • the color image is assigned to each pixel to generate the index image (step S6), the present invention is not limited to this configuration.
  • the concentration (ratio) of oxygenated hemoglobin and the concentration index ⁇ are in a substantially linear relationship. Therefore, without obtaining the oxygenated hemoglobin concentration from the linear equation of the graph shown in FIG.
  • the index image may be generated by assigning a predetermined color corresponding to the oxygenated hemoglobin concentration index ⁇ of the pixel to each pixel.
  • the present invention is not limited to this configuration.
  • the reflectance of oxygenated hemoglobin is lower than that of reduced hemoglobin at wavelengths of about 542 nm and about 578 nm, and is higher than that of reduced hemoglobin at a wavelength of about 558 nm.
  • the oxygenated hemoglobin concentration indexes ⁇ and ⁇ function as index values representing the ratio of oxygenated hemoglobin to reduced hemoglobin within the range in which the vertical relationship between the transmission characteristics (reflectance) of oxygenated hemoglobin and reduced hemoglobin is maintained.
  • the characteristic point P1 has a wavelength of 530 nm to 545 nm
  • the characteristic point P2 has a wavelength of 550 nm to 568 nm
  • the characteristic point P3 has a luminance value of a predetermined wavelength within a wavelength range of 570 nm to 584 nm. Can be used as spectral image data.

Abstract

　診断システムが、体腔内において所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、分光画像データから、病変部と健常部とを識別するための指標値を求め、該指標値に基づいた指標画像を生成して出力する画像処理手段と、指標画像を表示するモニタとを有し、画像処理手段は、分光画像の各画素について、波長５４２ｎｍ近傍の第１の波長の分光画像データＰ１、波長５５８ｎｍ近傍の第２の波長の分光画像データＰ２、及び波長５７８ｎｍ近傍の第３の波長の分光画像データＰ３を用いて所定の式より求まるβを指標値とすることを特徴とする。

Description

診断システム
　本発明は、生体組織中の病変部である可能性が高い領域を画像によって表示することが可能な診断システムに関する。
　近年、日本特許出願公開公報ＪＰ２００７－１３５９８９Ａに記載されているもののような、分光計としての機能を備えた電子内視鏡が提案されている。このような電子内視鏡によれば、胃や直腸等の消化器の粘膜等の生体組織の分光特性（光の吸収率の周波数ごとの分布）を得ることができる。物質の分光特性は、測定対象となる生体組織の表層近傍に含まれる物質の種類や濃度の情報を反映していることが知られており、分析化学の体系に属する学問分野として確立されている。その中で、複合成分よりなる物質の分光特性は、その複合物質を構成する要素物質の分光特性を重畳した情報であることも知られている。
　病変部の生体組織においては、健常部の生体組織には殆ど含まれていない化学構造の物質が多く含まれる場合がある。そのため、病変部を含む生体組織の分光特性は、健常部のみの生体組織の分光特性とは異なったものとなる。このように、健常部と病変部とでは分光特性が変化するため、両者の分光特性を比較して、生体組織における何らかの病変部が含まれるかどうかを判断することができる。
　上記のように、生体内の分光情報を入手して、その分光特性の差異から、生体組織における病変部の存在を判定することが研究されてきた。しかしながら、従来の研究では、生体組織中のどの領域に病変部に起因する分光変化が存在するかを画像に展開して判断し、病変部の位置や範囲を特定しながら、また周辺組織と比較しながら診断する実用的な方法については何ら提案されていない。
　本発明は上記の問題を解決するためになされたものである。すなわち、本発明は、病変部と健常部とを容易に識別可能な画像を表示することのできる診断システムを提供することを目的とする。
　上記の目的を達成するため、本発明の診断システムは、体腔内において所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、分光画像データから、病変部と健常部とを識別するための指標値を求め、該指標値に基づいた指標画像を生成して出力する画像処理手段と、指標画像を表示するモニタとを有し、画像処理手段は、分光画像の各画素について、波長５４２ｎｍ近傍の第１の波長の分光画像データＰ１、波長５５８ｎｍ近傍の第２の波長の分光画像データＰ２、及び波長５７８ｎｍ近傍の第３の波長の分光画像データＰ３を用いて下式（数１）より求まるβを前記指標値とすることを特徴とする。
Figure JPOXMLDOC01-appb-M000003
　生体の血流成分において、病変部と健常部とでは、酸素化ヘモグロビンと還元ヘモグロビンとの構成比率が異なる場合があり、疾患の検出や進行度の推定に有効であることが報告されている。また、酸素化ヘモグロビンと還元ヘモグロビンとの光吸収特性が異なることが知られている。本発明はこの点に着目してなされたものであり、上記の構成によれば、酸素化ヘモグロビンと還元ヘモグロビンとの構成比率を表す指標値βに基づいた指標画像が表示されるため、術者は、健常部と異常部とを容易に識別することが可能となる。
　また、画像処理手段は、指標値から酸素化ヘモグロビンと還元ヘモグロビンの比率を求め、該比率に基づいて指標画像を生成する構成とすることができる。また、この場合、画像処理手段は、分光画像の各画素について、酸素化ヘモグロビンと還元ヘモグロビンの比率に基づいた所定の色を割り当てることによって指標画像を生成する構成とすることが望ましい。このような構成によれば、健常部と異常部とをさらに容易かつ正確に識別することが可能となる。
　また、画像処理手段は、分光画像データのうち、青色、緑色、赤色の波長帯域のものを合成してカラー画像を出力し、モニタには、カラー画像と指標画像とが並べられて表示されることが望ましい。このような構成によれば、現在観察中のカラー画像と指標画像とを比較することで容易に病変部を特定することが可能となるため、手術による切除等の必要な範囲を容易に確認、特定することも可能となる。
　また、分光画像データのうち、所定の波長範囲の分光画像データを積算し、該積算値が基準値と一致するように分光画像データを補正する規格化手段を有する構成としてもよい。また、この場合において、所定の波長範囲は、例えば、６００ｎｍ～８００ｎｍの範囲内から選択される所定の波長範囲であることが望ましい。このような構成によれば、分光画像を構成する各画素間の反射角度差に起因する光量のバラツキを補正することができるため、健常部と異常部とをより正確に識別可能な指標画像を提供することが可能となる。
　また、分光画像データのうち、ヘモグロビン等吸収点に対応する波長の分光画像データが基準値と一致するように分光画像データを補正する規格化手段を有する構成としてもよい。
　また、所定波長領域は、４００～８００ｎｍであり、分光画像は、１～１０ｎｍの範囲で定められる所定の波長毎に撮影された複数の画像であることが望ましい。
　また、第１の波長は、５３０ｎｍ～５４５ｎｍの範囲内の所定の波長であり、第２の波長は、５５０ｎｍ～５６８ｎｍの範囲内の所定の波長であり、第３の波長は、５７０ｎｍ～５８４ｎｍの範囲内の所定の波長とすることができる。
　また、別の観点からは、本発明の診断システムは、体腔内において所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、分光画像データから、病変部と健常部とを識別するための指標値を求め、該指標値に基づいた指標画像を生成して出力する画像処理手段と、指標画像を表示するモニタとを有し、画像処理手段は、分光画像の各画素について、波長５４２ｎｍ近傍の分光画像データＰ１、波長５５８ｎｍ近傍の分光画像データＰ２、波長５７８ｎｍ近傍の分光画像データＰ３、及び該画素に入射される光量を示す規格化係数ａを用いて下式（数２）より求まるγを指標値とすることを特徴とする。
Figure JPOXMLDOC01-appb-M000004
　以上のように、本発明の診断システムによれば、病変部と健常部とを容易に識別可能な画像が表示されるため、診断時間が短縮されると共に、手術による切除等の必要な範囲を容易に確認、特定することが可能となる。
図１は、本発明の実施の形態に係る診断システムのブロック図である。 図２は、本発明の実施の形態に係る診断システムで取得した胃粘膜の分光画像データを示すグラフである。図２（ａ）は、胃粘膜の病変部に対応する画素のスペクトルを示したグラフであり、図２（ｂ）は、胃粘膜の健常部に対応する画素のスペクトルを示したグラフである。 図３は、ヘモグロビンの吸収特性を示すグラフである。 図４は、図３のヘモグロビンの吸収特性を５２０ｎｍ～６００ｎｍの波長域について拡大して示したものである。 図５は、ヘモグロビンの透過特性を示すグラフである。 図６は、本発明の実施の形態で用いられる酸素化ヘモグロビンの濃度指数βと酸素化ヘモグロビン濃度との関係を示したグラフである。 図７は、本発明の実施の形態に係る診断システムの画像処理部によって実行される画像生成処理を示すフローチャートである。 図８は、図７の画像生成処理によって画像表示装置に表示されるカラー画像及び指標画像を模式的に示した図である。
　以下、本発明の実施の形態について、図面を用いて詳細に説明する。
　図１は、本発明の実施の形態に係る診断システムのブロック図である。本実施形態の診断システム１は、胃や腸等の消化器の疾患を診断する際に医師によって参照される指標画像を生成するものである。診断システム１は、電子内視鏡１００と、電子内視鏡用プロセッサ２００と、画像表示装置３００と、を有する。また、電子内視鏡用プロセッサ２００には、光源部４００と、画像処理部５００が内蔵されている。
　電子内視鏡１００は、体腔内に挿入される挿入管１１０を有し、挿入管１１０の先端部（挿入管先端部）１１１には、対物光学系１２１が設けられている。挿入管先端部１１１近傍に位置する生体組織Ｔの対物光学系１２１による像は、挿入管先端部１１１に内蔵されている撮像素子１４１の受光面に結像するように構成されている。撮像素子１４１としては、例えば、前面に三原色カラーフィルターを備えたＣＣＤ（Charge Coupled Device）イメージセンサが用いられる。
　撮像素子１４１は、受光面に結像した像に対応する映像信号を、周期的に（例えば１／３０秒おきに）出力している。撮像素子１４１から出力された映像信号は、ケーブル１４２を介して電子内視鏡用プロセッサ２００の画像処理部５００に送られる。
　画像処理部５００は、Ａ／Ｄ変換回路５１０、一時記憶メモリ５２０、コントローラ５３０、ビデオメモリ５４０及び信号処理回路５５０を有する。Ａ／Ｄ変換回路５１０は、電子内視鏡１００の撮像素子１４１からケーブル１４２を介して入力される映像信号をＡ／Ｄ変換してデジタル画像データを出力する。Ａ／Ｄ変換回路５１０から出力されるデジタル画像データは、一時記憶メモリ５２０に送られ記憶される。コントローラ５３０は、一時記憶メモリ５２０に記憶された任意の単数又は複数の画像データを処理して一枚の表示用画像データを生成し、これをビデオメモリ５４０に送る。例えば、コントローラ５３０は、単一の画像データから生成された表示用画像データ、複数の画像データの画像が並べて表示される表示用画像データ、或いは複数の画像データを画像演算して得られた画像や、画像演算の結果得られるグラフが表示される表示用画像データ等を生成して、これをビデオメモリ５４０に記憶させる。信号処理回路５５０は、ビデオメモリ５４０に記憶されている表示用画像データを所定の形式（例えばＮＴＳＣ形式）のビデオ信号に変換し、出力する。信号処理回路５５０から出力されたビデオ信号は、画像表示装置３００に入力される。この結果、電子内視鏡１００によって撮像された内視鏡画像等が、画像表示装置３００に表示される。
　また、電子内視鏡１００にはライトガイド１３１が設けられている。ライトガイド１３１の先端部１３１ａは挿入管先端部１１１の近傍に配置されており、一方、ライトガイド１３１の基端部１３１ｂは電子内視鏡用プロセッサ２００に接続されている。電子内視鏡用プロセッサ２００は、キセノンランプ等の光量の大きい白色光を生成する光源４３０等を有する光源部４００（後述）を内蔵しており、この光源部４００によって生成された光が、ライトガイド１３１の基端部１３１ｂに入射するようになっている。ライトガイド１３１の基端部１３１ｂに入射した光は、ライトガイド１３１を通ってその先端部１３１ａに導かれ、先端部１３１ａから放射される。電子内視鏡１００の挿入管先端部１１１の、ライトガイド１３１の先端部１３１ａの近傍には、レンズ１３２が設けられており、ライトガイド１３１の先端部１３１ａから放射される光は、レンズ１３２を透過して、挿入管先端部１１１の近傍の生体組織Ｔを照明する。
　このように、電子内視鏡用プロセッサ２００は、電子内視鏡１００の撮像素子１４１から出力される映像信号を処理するビデオプロセッサとしての機能と、電子内視鏡１００の挿入管先端部１１１近傍の生体組織Ｔを照明するための照明光を電子内視鏡１００のライトガイド１３１に供給する光源装置としての機能を兼ね備えるものである。
　本実施形態においては、電子内視鏡用プロセッサ２００の光源部４００は、光源４３０と、コリメータレンズ４４０と、分光フィルタ４１０と、フィルタ制御部４２０と、集光レンズ４５０とを有している。光源４３０から出射される白色光は、コリメータレンズ４４０によって平行光となり、分光フィルタ４１０を通過した後、集光レンズ４５０によってライトガイド１３１の基端部１３１ｂに入射する。分光フィルタ４１０は、光源４３０から入射される白色光を所定の波長の光に分光する（すなわち、波長選択する）円盤型のフィルタであり、回転角度に応じて４００、４０５、４１０、・・・、８００ｎｍの狭帯域（帯域幅約５ｎｍ）の光を波長選択して出力する。分光フィルタ４１０の回転角度は、コントローラ５３０に接続されたフィルタ制御部４２０によって制御されており、コントローラ５３０がフィルタ制御部４２０を介して分光フィルタ４１０の回転角度を制御することにより、所定の波長の光がライトガイド１３１の基端部１３１ｂに入射し、挿入管先端部１１１近傍の生体組織Ｔを照明する。そして、生体組織Ｔによって反射された光が、上述のように撮像素子１４１の受光面に結像し、映像信号がケーブル１４２を介して画像処理部５００に送られる。
　画像処理部５００は、ケーブル１４２を介して入力される生体組織Ｔの映像信号から、波長５ｎｍ刻みの複数の分光画像を得る装置である。具体的には、分光フィルタ４１０が、中心波長４００、４０５、４１０、・・・、８００ｎｍの狭帯域（帯域幅約５ｎｍ）の光をそれぞれ波長選択して出力しているときに、各波長の分光画像をキャプチャし、その輝度値（輝度情報）を分光画像データとして一時記憶メモリ５２０に記憶する。
　また、画像処理部５００は、分光フィルタ４１０の波長毎に記憶された分光画像データを処理して、後述するようにカラー画像又は指標画像を生成する機能を有する。そして、画像処理部５００は、処理されたカラー画像及び指標画像を画像表示装置３００に表示させる。
　なお、分光フィルタ４１０には、ファブリペロー型のフィルタや、透過型回折格子を使用したものが利用可能である。
　前述のように、本実施形態の画像処理部５００は、波長の異なる複数枚の分光画像を用いて、病変部と健常部とを容易に識別可能な指標画像を生成する機能を有する。この指標画像の生成機能について、以下に説明する。
　まず、病変部と健常部とを識別する原理と、本実施形態の画像処理部５００によって生成される指標画像の元となる指標値について説明する。図２は、本実施形態の診断システム１で取得した胃粘膜の分光画像データをスペクトル表示（すなわち、波長毎の輝度の分布として表示）したものである。個々の波形は、撮像素子１４１によって得られる分光画像中の特定の画素のスペクトルを示している。図２（ａ）は、胃粘膜の病変部に対応する画素のスペクトルを示したものであり、図２（ｂ）は、胃粘膜の健常部に対応する画素のスペクトルを示したものである。なお、図２（ａ）及び図２（ｂ）に示される健常部及び病変部の各画素のスペクトルには、所定の規格化処理を施している。具体的には、ライトガイド１３１の先端部１３１ａから放射される照明光と被写体（生体組織Ｔ）とのなす角度や、挿入管先端部１１１（図１）から生体組織Ｔまでの距離の違い等により、撮像素子１４１の各画素は異なる光量の光を受光することになるため（すなわち、撮像素子１４１の受光面全体にわたり一定の光量を受光することができないため）、この光量差の影響を補正して示している。本実施形態においては、健常部に対応する画素のスペクトルと病変部に対応する画素のスペクトルとは、特に高波長側においてほぼ同様の特性を示す（すなわち、あまり差が認められない）ことが実験により判明しているため、各画素のスペクトルについて、所定の波長域（例えば波長６００ｎｍ～８００ｎｍ）の輝度値を積算し、この積算値が所定の基準値となるようにスペクトル全体の大きさ（すなわち、各波長における輝度値）を補正している。すなわち、本実施形態においては、規格化処理を行うことにより、各画素のスペクトルを基準の大きさに揃えることで、病変部に対応する画素のスペクトルと、健常部に対応する画素のスペクトルとを正確に比較できるように構成している。
　図２に示すように、胃粘膜画像のスペクトルは、健常部であるか病変部であるかに拘わらず、波長５００～５９０ｎｍにかけて谷部（ボトム）を有した略Ｍ字状の特性を示すものとなる点で共通するが、病変部に対応する画素のスペクトルは、健常部に対応する画素のスペクトルに比較して分散（バラツキ）が大きく、また波長約５４０ｎｍと約５７０ｎｍの２つのボトムを有する点において健常部に対応する画素のスペクトルと異なる。この違いは、病理学的に知られているように、病変部と健常部とでは、酸素化ヘモグロビンと還元ヘモグロビンとの構成比率が異なり、また酸素化ヘモグロビンと還元ヘモグロビンとの光吸収特性が異なるためと考えられる。本発明は、この点に着目してなされたものであり、後述するように、本発明者は、酸素化ヘモグロビンと還元ヘモグロビンの光吸収特性の違いから酸素化ヘモグロビンと還元ヘモグロビンとの構成比率を定量的に求める手法を見出し、さらにこれを発展させて健常部と異常部とを定量的に判断する構成を見出した。
　図３は、ヘモグロビンの吸収特性を示すグラフであり、実線が酸素化ヘモグロビンの光の吸収特性を示し、破線が還元ヘモグロビンの光の吸収特性を示している。なお、図３において、縦軸は分光学における吸光度（単位：ｍｇ／ｄｌ）、横軸は波長（単位：ｎｍ）である。図３に示すように、酸素化ヘモグロビンと還元ヘモグロビンは、波長５００～５９０ｎｍの光を吸収する（すなわち、吸収特性が波長５００～５９０ｎｍの範囲で上昇する）点で共通するが、還元ヘモグロビンの特性が波長約５５８ｎｍに１つのピークを有するのに対し、酸素化ヘモグロビンの特性は波長約５４２ｎｍと約５７８ｎｍに２つのピークを有し、波長約５６０ｎｍがボトムとなる点で異なる。そして、酸素化ヘモグロビンの吸光度は、波長約５４２ｎｍと約５７８ｎｍにおいて、還元ヘモグロビンの吸光度よりも高くなり、波長約５５８ｎｍにおいて、還元ヘモグロビンの吸光度よりも低くなる。
　一般に、図３に示されるヘモグロビンの吸収特性の計測モデルは、ランベルト・ベールの法則（Beer-Lambert Law）に基づき、下式（数３）のように示される。
Figure JPOXMLDOC01-appb-M000005
　ここで、Ａは媒質（生体組織Ｔ）の吸光度、ＩOは媒質に入射する前の光の放射強度（入射光強度）、Ｉは媒質中を距離ｄだけ移動した時の光の強度（放射光強度）、εはモル吸光係数、Ｃはモル濃度、λは光の波長である。そして、媒質がｎ種類の吸光物質を有する場合には、下式（数４）のように示される。
Figure JPOXMLDOC01-appb-M000006
　すなわち、ｎ種類の吸光物質を有する場合の吸光度は、各吸光物質の吸収特性の総和として表わされることとなる。つまり、本実施形態の場合、生体組織Ｔには酸素化ヘモグロビンと還元ヘモグロビンの２種類の吸光物質があると考えられるため、生体組織Ｔの吸光度は、酸素化ヘモグロビンの吸収特性と還元ヘモグロビンの吸収特性の和として捉えることができる。
　ここで、本実施形態の分光画像データは、ライトガイド１３１の先端部１３１ａから放射された光が生体組織Ｔで反射されたときの反射光を撮像素子１４１で受光して得られるものである。すなわち、生体組織Ｔを構成する酸素化ヘモグロビンと還元ヘモグロビンによって吸収されなかった光を反射光として観察していることに他ならない。そして、このような計測モデルにおいては、この生体組織Ｔからの反射光の情報を疑似透過のスペクトルとして処理できることが報告されている。つまり、本実施形態の分光画像データは、上記計測モデルにおける吸光物質の透過光（すなわち、上記数３及び数４の放射光強度Ｉ）とみなすことができる。従って、本実施形態の分光画像データから数３及び数４によって、生体組織Ｔの吸光度を求めることが可能である。
　図４は、図３のヘモグロビンの吸収特性を波長５００～６００ｎｍの範囲について拡大したグラフである。なお、説明の便宜上、縦軸は吸光度の相対比で示している。
　上述したように、還元ヘモグロビンは波長約５５８ｎｍで最も吸光度が高くなり、酸素化ヘモグロビンの吸収特性は波長約５４２ｎｍと約５７８ｎｍに２つのピークを有し、波長約５５８ｎｍでボトムを有する。そして、酸素化ヘモグロビンの吸光度は、波長約５４２ｎｍと約５７８ｎｍにおいて、還元ヘモグロビンの吸光度よりも高くなり、波長約５５８ｎｍにおいて、還元ヘモグロビンの吸光度よりも低くなる。
　また、上述したように、生体組織Ｔの吸光度は、酸素化ヘモグロビンの吸収特性と還元ヘモグロビンの吸収特性の和として表わせるため、生体組織Ｔ内の酸素化ヘモグロビンと還元ヘモグロビンの構成比率に応じて、これら２つの吸収特性を重畳（加算）したものとして表わされる。すなわち、生体組織Ｔの吸光度は、図４において点線で示すように、実線で示される酸素化ヘモグロビンの吸収特性と、破線で示される還元ヘモグロビンの吸収特性の間を通る曲線として表わされるため、吸光度から酸素化ヘモグロビンと還元ヘモグロビンの構成比率を求めることができる。なお、図４の点線は、酸素化ヘモグロビンと還元ヘモグロビンの比率を１０％：９０％～９０％：１０％の範囲で、１０％刻みで変化させながらプロットしたものである。
　上述したように、画像処理部５００によって得られた各画素の分光画像データから数３及び数４によって吸光度を求めることにより、酸素化ヘモグロビンと還元ヘモグロビンとの比率を定量的に求めることができる。具体的には、波長５４２ｎｍ（以下、「特徴点Ｐ１」という）、５５８ｎｍ（以下、「特徴点Ｐ２」という）、５７８ｎｍ（以下、「特徴点Ｐ３」という）の輝度値（分光画像データ）を求め、これを数３及び数４によって吸光度に換算し、以下の式（数５）に代入することにより、酸素化ヘモグロビンの濃度指数αを求める。
Figure JPOXMLDOC01-appb-M000007
 　ここで、Ａ１～Ａ３は、それぞれ特徴点Ｐ１～Ｐ３での吸光度である。この式によれば、特徴点Ｐ１～Ｐ３における分光画像データが酸素化ヘモグロビンの吸収特性に近いほど（すなわち、酸素化ヘモグロビンの比率が高いほど）、酸素化ヘモグロビンの濃度指数αが小さくなり（負に大きくなり）、還元ヘモグロビンの吸収特性に近いほど（すなわち、還元ヘモグロビンの比率が高いほど）、酸素化ヘモグロビンの濃度指数αが大きくなる。つまり、酸素化ヘモグロビンの濃度指数αは、分光画像データに含まれる酸素化ヘモグロビンの濃度を表す指標値であるということができ、生体組織Ｔの吸光物質が酸素化ヘモグロビンと還元ヘモグロビンの２種類である場合、酸素化ヘモグロビンと還元ヘモグロビンとの比率を表す指標値ということになる。
　このように、分光画像のスペクトルと、酸素化ヘモグロビンの吸収特性及び還元ヘモグロビンの吸収特性との関係を利用すれば、生体組織Ｔに含まれる酸素化ヘモグロビンと還元ヘモグロビンとの比率を正確に求めることができる。しかしながら、この手法においては、分光画像データを吸光度に換算する必要があり、分光画像を構成する各画素について対数演算と濃度換算をしなければならないため、リアルタイムな処理としては大きな負荷となる。そこで、本発明者は、本実施形態によって得られる分光画像のスペクトルが、生体組織Ｔ内の吸光物質（すなわち、酸素化ヘモグロビンと還元ヘモグロビン）の透過光とみなすことができることに着目し、上述したヘモグロビンの吸収型モデルを透過型モデルとして検討することで、より簡単な手法で酸素化ヘモグロビンと還元ヘモグロビンとの比率を求める手法を見出した。
　図５は、ヘモグロビンの透過特性を示したグラフであり、縦軸は反射率であり、横軸は波長（単位：ｎｍ）である。なお、図５においては、反射率が０．９以上となる範囲のみ示しており、図４と同様、実線が酸素化ヘモグロビンの特性を示し、破線が還元ヘモグロビンの特性を示している。また、図５の点線は、酸素化ヘモグロビンと還元ヘモグロビンの比率を１０％：９０％～９０％：１０％の範囲で、１０％刻みで変化させながらプロットしたものである。
　図５に示すように、ヘモグロビンの透過特性は、図４のヘモグロビンの吸収特性を上下反転させたような特性となる。すなわち、還元ヘモグロビンは波長約５５８ｎｍで最も反射率が低下し、酸素化ヘモグロビンは波長約５４２ｎｍと約５７８ｎｍに２つのボトムを有し、波長約５５８ｎｍでピークを有する特性となる。そして、酸素化ヘモグロビンの反射率は、波長約５４２ｎｍと約５７８ｎｍにおいて、還元ヘモグロビンの反射率よりも低くなり、波長約５５８ｎｍにおいて、還元ヘモグロビンの反射率よりも高くなる。
　本実施形態によって得られる分光画像のスペクトルは、生体組織Ｔ内の吸光物質（すなわち、酸素化ヘモグロビンと還元ヘモグロビン）の透過光とみなせるため、分光画像のスペクトル自体が、透過率（換言すると、反射率）の情報であるということができる。従って、本実施形態においては、画像処理部５００によって得られた各画素の分光画像データについて、特徴点Ｐ１～Ｐ３の輝度値を求め、これを以下の式（数６）に代入することにより、酸素化ヘモグロビンの濃度指数βを求めている。
Figure JPOXMLDOC01-appb-M000008
 　ここで、Ｐ１～Ｐ３は、それぞれ特徴点Ｐ１～Ｐ３での輝度値である。この式によれば、特徴点Ｐ１～Ｐ３における分光画像データが酸素化ヘモグロビンの吸収特性に近いほど（すなわち、酸素化ヘモグロビンの比率が高いほど）、酸素化ヘモグロビンの濃度指数βが大きくなり、還元ヘモグロビンの吸収特性に近いほど（すなわち、還元ヘモグロビンの比率が高いほど）、酸素化ヘモグロビンの濃度指数βが小さくなる（負に大きくなる）。つまり、酸素化ヘモグロビンの濃度指数βは、吸収型モデルの酸素化ヘモグロビンの濃度指数αと同様、酸素化ヘモグロビンと還元ヘモグロビンとの比率を表す指標値ということになる。なお、酸素化ヘモグロビンの濃度指数βは、吸収型モデルの酸素化ヘモグロビンの濃度指数αと異なり、対数演算を必要としないため（加減算のみで求まるため）、計算負荷が少なく、リアルタイムな処理に適している。
　酸素化ヘモグロビンの濃度指数β（すなわち、指標値）が求まると、酸素化ヘモグロビンと還元ヘモグロビンとの比率を求めることができる。図６は、酸素化ヘモグロビンの濃度と濃度指数βとの関係を求めたグラフであり、酸素化ヘモグロビンと還元ヘモグロビンの比率を１０％：９０％～９０％：１０％の範囲で、１０％刻みで変化させたときの、酸素化ヘモグロビンの濃度指数βを求めた結果である。
　図６に示すように、酸素化ヘモグロビンの濃度（比率）と濃度指数βは、反射率が約０．９０～０．９４の範囲内では、略リニアに近似でき、濃度指数βが求まれば酸素化ヘモグロビンの比率が一意に求まる。すなわち、学術的には前述のランベルト・ベールの法則に従うが、非常に狭い範囲では透過率の演算によっても近似値が求められることがわかる。本実施形態においては、酸素化ヘモグロビンの濃度（比率）と濃度指数βのこのような関係を利用し、透過率から求めた濃度指数βを図６の直線の式に代入して、生体組織Ｔの酸素化ヘモグロビンと還元ヘモグロビンの構成比率を求めている。
　このように、本実施形態においては、各画素の分光画像データについて酸素化ヘモグロビンの濃度指数βを求め、この濃度指数βから酸素化ヘモグロビンと還元ヘモグロビンとの比率を求めているが、これら一連の演算は全て単純な四則演算のみで行われる。従って、本実施形態の構成によれば、上述した吸収型モデルと比較して演算負荷が大幅に軽減される。本実施形態の画像処理部５００は、濃度指数β（指標値）から一意に定まる酸素化ヘモグロビンの比率に基づいて、指標画像を生成する。
　次に、本実施形態の画像処理部５００によって実行される画像生成処理について説明する。図７は、本実施形態の画像処理部５００によって実行される画像生成処理を示すフローチャートである。また、図８は、図７の画像生成処理によって画像表示装置３００に表示されるカラー画像及び指標画像を模式的に示したものであり、図８（ａ）は、比較的遠い距離から生体組織Ｔの血管を観察したときの画像を模式的に示したものであり、図８（ｂ）は、比較的近い距離から生体組織Ｔの腫瘍部（毛細血管）を観察したときの画像を模式的に示したものである。画像生成処理は、カラー画像及び指標画像を生成し、画像表示装置３００に表示を行うためのルーチンである。本ルーチンは、診断システム１の電源投入によって実行される。
　本ルーチンが開始すると、ステップＳ１が実行される。ステップＳ１では、画像処理部５００は、フィルタ制御部４００に分光画像を取得させるための制御信号を送る。フィルタ制御部４００は、この制御信号を受信すると、分光フィルタ４１０の回転角度を制御し、４００、４０５、４１０、・・・、８００ｎｍの狭帯域（帯域幅約５ｎｍ）の光を順次波長選択し、画像処理部５００は、各波長で得られる分光画像を撮影して分光画像データとして一時記憶メモリ５２０に記録する。次いでステップＳ２に進む。
　ステップＳ２では、ステップＳ１にて取得した分光画像の各画素についてスペクトルを求め、各画素のスペクトルについて規格化処理を行う。具体的には、各画素の所定の波長域（例えば波長６００ｎｍ～８００ｎｍ）の輝度値を積分し、この積分値が所定の基準値となるようなゲイン値を求める。そして、スペクトル全体（すなわち、各波長における輝度値）に当該ゲイン値を乗算して、各画素のスペクトルのバラツキを補正する（すなわち、各画素の分光画像データを規格化する）。次いで、ステップＳ３に進む。
　ステップＳ３では、ステップＳ２にて規格化された分光画像データのうち、中心波長が４３５ｎｍ、５４５ｎｍ、及び７００ｎｍとなる３枚の分光画像から得られた分光画像データを取り出し、中心波長が４３５ｎｍの分光画像データを青色プレーンに、中心波長が５４５ｎｍの分光画像データを緑色プレーンに、中心波長が７００ｎｍの分光画像データを赤色プレーンに記憶させた一枚のカラー画像データを生成する。このカラー画像データは、上記のように青色の波長である４３５ｎｍの分光画像、緑色の波長である５４５ｎｍの分光画像及び赤色の波長である７００ｎｍの分光画像から得られるものであり、通常観察の内視鏡画像と同等のカラー画像となる。そして、画像処理部５００は、生成されたカラー画像データをビデオメモリ５４０に送り画像表示装置３００のスクリーンの左側に表示させる（図８（ａ）、（ｂ））。次いで、ステップＳ４に進む。
　ステップＳ４では、ステップＳ１～Ｓ３が実行されている間に、電子内視鏡用プロセッサ２００の操作部（不図示）が操作されて、指標画像の生成を指示するトリガ入力が発生したかどうかの確認が行われる。トリガ入力が発生していないのであれば（Ｓ４：ＮＯ）、ステップＳ１に進み、再度分光画像の取得が行われる。すなわち、トリガ入力が無い限り、分光画像から得られるカラー画像は、逐次更新されて画像表示装置３００に表示され続ける。一方、ステップＳ１～Ｓ３が実行されている間にトリガ入力が発生していた場合は（Ｓ４：ＹＥＳ）、ステップＳ５に進む。
　ステップＳ５では、ステップＳ２で規格化された分光画像データについて酸素化ヘモグロビンの濃度指数αの演算が行われる。具体的には、分光画像の全ての画素について特徴点Ｐ１～Ｐ３に対応する分光画像データ、すなわち、特徴点Ｐ１に対応する波長５４０ｎｍ（≒５４２ｎｍ）の分光画像データ、特徴点Ｐ２に対応する波長５６０ｎｍ（≒５５８ｎｍ）の分光画像データ、及び特徴点Ｐ３に対応する波長５８０ｎｍ（≒５７８ｎｍ）の分光画像データを数６に代入して酸素化ヘモグロビンの濃度指数βを求める。次いで、ステップＳ６に進む。
　ステップＳ６では、ステップＳ５で求められた酸素化ヘモグロビンの濃度指数βに基づいて、指標画像を生成する。具体的には、分光画像の各画素の酸素化ヘモグロビンの濃度指数β（すなわち、指標値）と図６に示すグラフの直線の式から酸素化ヘモグロビン濃度を求め、この濃度に応じた所定の色を各画素に割り当てて指標画像を生成する。本実施形態においては、酸素化ヘモグロビン濃度に応じて紫色、青色、緑色、黄色、赤色と変化する、いわゆるカラーグラデーション画像が指標画像として生成される。そして、画像処理部５００は、生成された指標画像のデータをビデオメモリ５４０に送り、画像表示装置３００のスクリーンの右側に表示させる（図８（ａ）、（ｂ））。このように、酸素化ヘモグロビン濃度に応じて色分けされた指標画像と、内視鏡画像のカラー画像とを画像表示装置３００のスクリーン上に並べて配置することで、診断システム１の使用者は、カラー画像と指標画像とを比較することにより、カラー画像中のどの領域が病変部であるのかを判断することができる。次いで、ステップＳ７に進む。
　ステップＳ７では、画像処理部５００は、再度指標画像を生成するかどうかを問い合わせるメッセージを画像表示装置３００に表示させると共に、電子内視鏡用プロセッサ２００の操作部（不図示）からの入力を受け付ける。診断システム１の使用者が操作部を操作して、指標画像の再生成を選択した場合は（Ｓ７：ＹＥＳ）、ステップＳ１に戻る。一方、一定時間（例えば数秒）の間、指標画像の再生成が指示されなかった場合は（Ｓ７：ＮＯ）、ステップＳ８に進む。
　ステップＳ８では、画像処理部５００は、指標画像の表示を終了させるかどうかを問い合わせるメッセージを画像表示装置３００に表示させると共に、電子内視鏡用プロセッサ２００の操作部（不図示）からの入力を受け付ける。診断システム１の使用者が操作部を操作して、指標画像の表示を終了することを選択した場合は（Ｓ８：ＹＥＳ）、本ルーチンを終了する。一方、一定時間（例えば数秒）の間、指標画像の表示が指示されなかった場合は（Ｓ８：ＮＯ）、ステップＳ７に進む。
　以上のように、図７のフローチャートで示されるルーチンを画像処理部５００が実行することにより、病変部の位置を推定するのに有効な指標画像が、画像表示装置３００に表示される。このように、病変部である可能性の高い領域が指標画像として表示されることにより、医師は、病変部の位置や範囲を特定しながら、また周辺組織と比較しながら診断することが可能となる。
　上記のように、本実施形態においては、各画素の分光画像データについて、特徴点Ｐ１～Ｐ３に対応する分光画像データ（すなわち、波長５４０ｎｍ（≒５４２ｎｍ）、５６０ｎｍ（≒５５８ｎｍ）、５８０ｎｍ（≒５７８ｎｍ）での輝度値）を数６に代入することにより酸素化ヘモグロビンの濃度指数βを求め、これによって定まる酸素化ヘモグロビン濃度（すなわち、酸素化ヘモグロビンと還元ヘモグロビンの比率）から病変部の可能性が高い領域（画素）が特定される。すなわち、各画素の３つの分光画像データを用いた簡単な四則演算処理を行うだけで、病変部の可能性が高い領域（画素）が特定されるものである。従って、指標画像の生成、表示の処理を高速に行うことができるため、リアルタイムなカラー画像を表示しながらも、なんらタイムラグを生じさせることなく指標画像を提供することが可能となる。
　以上が本発明の実施形態の説明であるが、本発明は、上述の実施形態に限定されるものではなく、技術的思想の範囲内において様々な変形が可能である。例えば、本実施形態においては、規格化された分光画像データに数６の式を適用して酸素化ヘモグロビンの濃度指数βを求める構成として説明したが、本発明はこの構成に限定されるものではない。例えば、規格化前の各画素の分光画像データについて、下式（数７）によって酸素化ヘモグロビンの濃度指数γを求めることも可能である。
Figure JPOXMLDOC01-appb-M000009
 　ここで、Ｉｉは、分光画像データの各波長における輝度値であり、ａは、各画素のスペクトル波形の積算値を示している。各画素のスペクトル波形の積算値ａは、各画素に入射される光量を示すパラメータ（規格化係数）と考えることができるため、酸素化ヘモグロビンの濃度指数γを求めることにより、各画素間の光量差の影響が補正され規格化される。すなわち、規格化前の各画素の分光画像データについて、特徴点Ｐ１～Ｐ３に対応する分光画像データＰ１、Ｐ２、Ｐ３と、全分光画像データの積算値ａとを求め、数７に代入すると、数式上で規格化処理が行われることとなるため、本実施形態のステップＳ２に相当する処理を含ませることが可能となる。なお、本変形例においては、取得される全ての波長の分光画像データを積算して規格化係数としているが、本実施形態と同様、所定の波長域（例えば波長６００ｎｍ～８００ｎｍ）の分光画像データを積算して規格化係数としてもよい。
　また、本実施形態の規格化処理は、分光画像の各画素のスペクトルについて、所定の波長域（例えば波長６００ｎｍ～８００ｎｍ）の輝度値を積算し、この積算値が所定の基準値となるようにスペクトル全体の大きさ（すなわち、各波長における輝度値）を補正する構成として説明したが、この構成に限定されるものではない。例えば、６００ｎｍ～８００ｎｍの範囲内から所定の波長範囲を選択できるように構成し、該波長範囲の輝度値を積算し、この積算値が所定の基準値となるようにスペクトル全体の大きさを補正する構成としてもよい。
　また、ヘモグロビンの等吸収点においては、必ず酸素化ヘモグロビンと還元ヘモグロビンの吸収特性が交差することが知られているため、ヘモグロビンの等吸収点に対応する波長の分光画像データ（輝度値）が所定の基準値となるようにスペクトルの大きさを補正する構成としてもよい。具体的には、ヘモグロビンの等吸収点に対応する波長（５２８ｎｍ）の分光画像データをＱ１と定義し、ヘモグロビンの等吸収点に対応する波長（５８５ｎｍ）の分光画像データをＱ２と定義し、ヘモグロビンの等吸収点に対応する波長（５６０ｎｍ）の分光画像データをＱ３と定義した場合、下式（数８）によって酸素化ヘモグロビンの濃度指数γを求めることにより、各画素間の光量差の影響が補正され規格化される。
Figure JPOXMLDOC01-appb-M000010
 酸素化ヘモグロビンの濃度（比率）と濃度指数γ、還元ヘモグロビンの濃度（比率）と濃度指数γの夫々も略リニアに近似できるため、濃度指数γを求めることによって酸素化ヘモグロビンの比率が一意に求まる。この等吸収点を利用する場合は、酸素化ヘモグロビンと還元ヘモグロビンとが同じ吸収率であることから、総ヘモグロビン量を安定した精度で計測することが可能となる。ここで、総ヘモグロビン量は、下式（数９）又は（数１０）で求まる濃度指数γと比例する量である。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　また、病変部に対応する画素のスペクトルと健常部に対応する画素のスペクトルとを識別できれば、必ずしも５ｎｍ刻みで分光画像データを取得する構成でなくてもよい。分光画像データを取得する波長の間隔は、例えば、１～１０ｎｍの範囲で選択可能な構成とすることができ、より細かい波長間隔の分光画像を取得することにより、より正確に特徴点Ｐ１～Ｐ３に対応する分光画像データを取得することが可能となる。
　また、本実施形態においては、画像処理部５００が、分光画像の各画素について、酸素化ヘモグロビン濃度に応じた所定の色を割り当てることによって指標画像を生成する構成としたが、本発明はこの構成に限定されるものではない。例えば、酸素化ヘモグロビン濃度に応じたグレースケール表示としてもよい。
　また、本実施形態の画像生成処理においては、分光画像の各画素の酸素化ヘモグロビンの濃度指数βと図６に示すグラフの直線の式から酸素化ヘモグロビン濃度を求め、この濃度に応じた所定の色を各画素に割り当てて指標画像を生成する構成としたが（ステップＳ６）、この構成に限定されるものではない。上述したように、酸素化ヘモグロビンの濃度（比率）と濃度指数βは、略リニアな関係にあるため、図６に示すグラフの直線の式から酸素化ヘモグロビン濃度を求めることなく、分光画像の各画素の酸素化ヘモグロビンの濃度指数βに応じた所定の色を各画素に割り当てて指標画像を生成する構成としてもよい。
　また、本実施形態の画像生成処理においては、特徴点Ｐ１～Ｐ３に対応する分光画像データとして、それぞれ波長５４０ｎｍ（５４２ｎｍ近傍）、５６０ｎｍ（５５８ｎｍ近傍）、５８０ｎｍ（５７８ｎｍ近傍）での輝度値を用い、これらを数６に代入することにより酸素化ヘモグロビンの濃度指数βを求める構成としたが（ステップＳ５）、この構成に限定されるものではない。上述したように、本発明は、酸素化ヘモグロビンの反射率が波長約５４２ｎｍと約５７８ｎｍにおいて、還元ヘモグロビンの反射率よりも低くなり、波長約５５８ｎｍにおいて、還元ヘモグロビンの反射率よりも高くなるという、酸素化ヘモグロビンと還元ヘモグロビンの透過特性（反射率）の上下関係（高低差）を利用するものである。従って、酸素化ヘモグロビンと還元ヘモグロビンの透過特性（反射率）の上下関係が維持される範囲内で酸素化ヘモグロビンの濃度指数β及びγが酸素化ヘモグロビンと還元ヘモグロビンとの比率を表す指標値として機能することとなり、図５に示すように、特徴点Ｐ１としては波長５３０ｎｍ～５４５ｎｍ、特徴点Ｐ２としては波長５５０ｎｍ～５６８ｎｍ、特徴点Ｐ３としては波長５７０ｎｍ～５８４ｎｍの範囲内の所定の波長の輝度値を分光画像データとして用いることが可能である。

Claims (16)

  1. 　体腔内において所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、
    　前記分光画像データから、病変部と健常部とを識別するための指標値を求め、該指標値に基づいた指標画像を生成して出力する画像処理手段と、
    　前記指標画像を表示するモニタと、
    を有し、
    　前記画像処理手段は、前記分光画像の各画素について、波長５４２ｎｍ近傍の第１の波長の分光画像データＰ１、波長５５８ｎｍ近傍の第２の波長の分光画像データＰ２、及び波長５７８ｎｍ近傍の第３の波長の分光画像データＰ３を用いて下式より求まるβを前記指標値とすること
    を特徴とする診断システム。
    Figure JPOXMLDOC01-appb-M000001
  2. 　前記画像処理手段は、前記指標値から酸素化ヘモグロビンと還元ヘモグロビンの比率を求め、該比率に基づいて前記指標画像を生成することを特徴とする請求項１に記載の診断システム。
  3. 　前記画像処理手段は、前記分光画像の各画素について、前記酸素化ヘモグロビンと還元ヘモグロビンの比率に基づいた所定の色を割り当てることによって前記指標画像を生成することを特徴とする請求項２に記載の診断システム。
  4. 　前記画像処理手段は、前記分光画像データのうち、青色、緑色、赤色の波長帯域のものを合成してカラー画像を出力し、
    　前記モニタには、前記カラー画像と前記指標画像とが並べられて表示される
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の診断システム。
  5. 　前記分光画像データのうち、所定の波長範囲の分光画像データを積算し、該積算値が基準値と一致するように前記分光画像データを補正する規格化手段を有することを特徴とする請求項１から請求項４のいずれか一項に記載の診断システム。
  6. 　前記所定の波長範囲は、６００ｎｍ～８００ｎｍの範囲内から選択される所定の波長範囲であることを特徴とする請求項５に記載の診断システム。
  7. 　前記分光画像データのうち、ヘモグロビン等吸収点に対応する波長の分光画像データが基準値と一致するように前記分光画像データを補正する規格化手段を有することを特徴とする請求項１から請求項４のいずれか一項に記載の診断システム。
  8. 　前記所定波長領域は、４００～８００ｎｍであり、前記分光画像は、１～１０ｎｍの範囲で定められる所定の波長毎に撮影された複数の画像であることを特徴とする請求項１から請求項７のいずれか一項に記載の診断システム。
  9. 　前記第１の波長は、５３０ｎｍ～５４５ｎｍの範囲内の所定の波長であり、前記第２の波長は、５５０ｎｍ～５６８ｎｍの範囲内の所定の波長であり、前記第３の波長は、５７０ｎｍ～５８４ｎｍの範囲内の所定の波長であることを特徴とする請求項１から請求項８のいずれか一項に記載の診断システム。
  10. 　体腔内において所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、
    　前記分光画像データから、病変部と健常部とを識別するための指標値を求め、該指標値に基づいた指標画像を生成して出力する画像処理手段と、
    　前記指標画像を表示するモニタと、
    を有し、
    　前記画像処理手段は、前記分光画像の各画素について、波長５４２ｎｍ近傍の第１の波長の分光画像データＰ１、波長５５８ｎｍ近傍の第２の波長の分光画像データＰ２、波長５７８ｎｍ近傍の第３の波長の分光画像データＰ３、及び該画素に入射される光量を示す規格化係数ａを用いて下式より求まるγを前記指標値とすること
    を特徴とする診断システム。
    Figure JPOXMLDOC01-appb-M000002
  11. 　前記規格化係数ａは、前記所定波長領域における各波長の分光画像データの積算値であることを特徴とする請求項１０に記載の診断システム。
  12. 　前記画像処理手段は、前記指標値から酸素化ヘモグロビンと還元ヘモグロビンの比率を求め、該比率に基づいて前記指標画像を生成することを特徴とする請求項１０又は請求項１１に記載の診断システム。
  13. 　前記画像処理手段は、前記分光画像の各画素について、前記酸素化ヘモグロビンと還元ヘモグロビンの比率に基づいた所定の色を割り当てることによって前記指標画像を生成することを特徴とする請求項１２に記載の診断システム。
  14. 　前記画像処理手段は、前記分光画像データのうち、青色、緑色、赤色の波長帯域のものを合成してカラー画像を出力し、
    　前記モニタには、前記カラー画像と前記指標画像とが並べられて表示される
    ことを特徴とする請求項１０から請求項１３のいずれか一項に記載の診断システム。
  15. 　前記所定波長領域は、４００～８００ｎｍであり、前記分光画像は、１～１０ｎｍの範囲で定められる所定の波長毎に撮影された複数の画像であることを特徴とする請求項１０から請求項１４のいずれか一項に記載の診断システム。
  16. 　前記第１の波長は、５３０ｎｍ～５４５ｎｍの範囲内の所定の波長であり、前記第２の波長は、５５０ｎｍ～５６８ｎｍの範囲内の所定の波長であり、前記第３の波長は、５７０ｎｍ～５８４ｎｍの範囲内の所定の波長であることを特徴とする請求項１０から請求項１５のいずれか一項に記載の診断システム。
PCT/JP2012/071658 2011-09-29 2012-08-28 診断システム WO2013047054A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/240,116 US9183427B2 (en) 2011-09-29 2012-08-28 Diagnostic system
DE112012004064.3T DE112012004064B4 (de) 2011-09-29 2012-08-28 Diagnosesystem
JP2013536094A JP5923099B2 (ja) 2011-09-29 2012-08-28 診断システム
CN201280046407.7A CN103826524B (zh) 2011-09-29 2012-08-28 诊断系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-213623 2011-09-29
JP2011213623 2011-09-29

Publications (1)

Publication Number Publication Date
WO2013047054A1 true WO2013047054A1 (ja) 2013-04-04

Family

ID=47995103

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/071658 WO2013047054A1 (ja) 2011-09-29 2012-08-28 診断システム

Country Status (5)

Country Link
US (1) US9183427B2 (ja)
JP (1) JP5923099B2 (ja)
CN (1) CN103826524B (ja)
DE (1) DE112012004064B4 (ja)
WO (1) WO2013047054A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016022043A (ja) * 2014-07-17 2016-02-08 Hoya株式会社 生体組織中の生体物質の濃度分布を示す画像を生成する方法
US20160146723A1 (en) * 2014-11-21 2016-05-26 Hoya Corporation Analyzing device and analyzing method
EP3005933A4 (en) * 2013-05-30 2017-04-19 HOYA Corporation Method and device for generating image showing concentration distribution of biological substances in biological tissue
US9826893B2 (en) 2012-08-17 2017-11-28 Hoya Corporation Electronic endoscope system and light source for endoscope
WO2018043723A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 電子内視鏡システム
US10426325B2 (en) 2014-09-03 2019-10-01 Hoya Corporation Image capturing system and electronic endoscope system
US10559072B2 (en) 2015-06-23 2020-02-11 Hoya Corporation Image detection device and image detection system

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105992546B (zh) * 2015-01-21 2018-08-28 Hoya株式会社 内窥镜系统
JP6437943B2 (ja) * 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6629639B2 (ja) * 2016-03-07 2020-01-15 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017158078A1 (en) * 2016-03-16 2017-09-21 INSERM (Institut National de la Santé et de la Recherche Médicale) Endoscope and method for exploring a peritoneum
AU2018261446B2 (en) * 2017-05-04 2023-05-11 Boston Scientific Scimed, Inc. Medical system and related methods
US11232570B2 (en) * 2020-02-13 2022-01-25 Olympus Corporation System and method for diagnosing severity of gastritis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06315477A (ja) * 1994-05-06 1994-11-15 Olympus Optical Co Ltd 生体撮像装置、及び血液情報演算処理回路
JP2003164416A (ja) * 2001-12-04 2003-06-10 Fuji Photo Film Co Ltd 蛍光スペクトル取得方法および装置
JP2004219092A (ja) * 2003-01-09 2004-08-05 Univ Waseda リアルタイム分光画像分析装置及び分析方法
JP2009066301A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置および内視鏡システム
JP2010268838A (ja) * 2009-05-19 2010-12-02 Hoya Corp 医療用観察システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59230533A (ja) * 1983-06-14 1984-12-25 住友電気工業株式会社 医療診断用反射光分析装置
JPH0679594B2 (ja) * 1987-08-11 1994-10-12 オリンパス光学工業株式会社 電子内視鏡装置
US4959710A (en) 1988-03-01 1990-09-25 Olympus Optical Co., Ltd. Electronic endoscope whereby the position of the insertable part can be known by a transmitted light outside a body
JP2761238B2 (ja) * 1989-04-20 1998-06-04 オリンパス光学工業株式会社 内視鏡装置
CA2235772C (en) * 1995-10-23 2002-12-31 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US6678398B2 (en) * 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
US8224425B2 (en) * 2005-04-04 2012-07-17 Hypermed Imaging, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
CA2592691C (en) * 2004-12-28 2017-07-04 Hypermed, Inc. Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock
JP2007135989A (ja) 2005-11-21 2007-06-07 Olympus Corp 分光内視鏡
JP4864511B2 (ja) * 2006-03-31 2012-02-01 富士フイルム株式会社 電子内視鏡装置およびプログラム
JP5235473B2 (ja) 2008-04-04 2013-07-10 Ｈｏｙａ株式会社 分光特性推定装置
JP5250342B2 (ja) * 2008-08-26 2013-07-31 富士フイルム株式会社 画像処理装置およびプログラム
WO2011052491A1 (ja) 2009-10-29 2011-05-05 Hoya株式会社 診断補助装置及び診断補助方法
JP5452300B2 (ja) 2010-03-19 2014-03-26 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5737899B2 (ja) 2010-10-07 2015-06-17 Hoya株式会社 診断システム
EP2692275A4 (en) 2011-03-29 2014-09-17 Hoya Corp DIAGNOSTIC SYSTEM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06315477A (ja) * 1994-05-06 1994-11-15 Olympus Optical Co Ltd 生体撮像装置、及び血液情報演算処理回路
JP2003164416A (ja) * 2001-12-04 2003-06-10 Fuji Photo Film Co Ltd 蛍光スペクトル取得方法および装置
JP2004219092A (ja) * 2003-01-09 2004-08-05 Univ Waseda リアルタイム分光画像分析装置及び分析方法
JP2009066301A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置および内視鏡システム
JP2010268838A (ja) * 2009-05-19 2010-12-02 Hoya Corp 医療用観察システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826893B2 (en) 2012-08-17 2017-11-28 Hoya Corporation Electronic endoscope system and light source for endoscope
EP3005933A4 (en) * 2013-05-30 2017-04-19 HOYA Corporation Method and device for generating image showing concentration distribution of biological substances in biological tissue
US10722155B2 (en) 2013-05-30 2020-07-28 Hoya Corporation Method and device for generating image showing concentration distribution of biological substances in biological tissue
JP2016022043A (ja) * 2014-07-17 2016-02-08 Hoya株式会社 生体組織中の生体物質の濃度分布を示す画像を生成する方法
US10426325B2 (en) 2014-09-03 2019-10-01 Hoya Corporation Image capturing system and electronic endoscope system
US11224335B2 (en) 2014-09-03 2022-01-18 Hoya Corporation Image capturing system and electronic endoscope system
US20160146723A1 (en) * 2014-11-21 2016-05-26 Hoya Corporation Analyzing device and analyzing method
US10031070B2 (en) 2014-11-21 2018-07-24 Hoya Corporation Analyzing device and analyzing method based on images of biological tissue captured under illumination of light with different illumination wavelength ranges
US10559072B2 (en) 2015-06-23 2020-02-11 Hoya Corporation Image detection device and image detection system
WO2018043723A1 (ja) * 2016-09-02 2018-03-08 Hoya株式会社 電子内視鏡システム

Also Published As

Publication number Publication date
CN103826524A (zh) 2014-05-28
JP5923099B2 (ja) 2016-05-24
JPWO2013047054A1 (ja) 2015-03-26
DE112012004064B4 (de) 2016-12-15
US20140185907A1 (en) 2014-07-03
DE112012004064T5 (de) 2014-07-17
CN103826524B (zh) 2016-05-25
US9183427B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
JP5923099B2 (ja) 診断システム
US11224335B2 (en) Image capturing system and electronic endoscope system
US20190082963A1 (en) Compact fluorescence endoscopy video system
JP6356122B2 (ja) 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置
WO2012132571A1 (ja) 診断システム
US20160324405A1 (en) Electronic endoscope device
JP6783721B2 (ja) 分析装置
JP2014230647A (ja) 表示装置、表示方法および表示プログラム
WO2012046530A1 (ja) 診断システム
JP6284451B2 (ja) 内視鏡装置
CN111989023A (zh) 内窥镜系统及使内窥镜系统工作的方法
JP6783168B2 (ja) 内視鏡システム及び分析装置
WO2018070474A1 (ja) 内視鏡システム
JP6650919B2 (ja) 診断システム及び情報処理装置
JP2017000836A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12835682

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14240116

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013536094

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112012004064

Country of ref document: DE

Ref document number: 1120120040643

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12835682

Country of ref document: EP

Kind code of ref document: A1