WO1992008405A1 - Device for processing image of endoscope and method thereof - Google Patents

Device for processing image of endoscope and method thereof Download PDF

Info

Publication number
WO1992008405A1
WO1992008405A1 PCT/JP1991/001576 JP9101576W WO9208405A1 WO 1992008405 A1 WO1992008405 A1 WO 1992008405A1 JP 9101576 W JP9101576 W JP 9101576W WO 9208405 A1 WO9208405 A1 WO 9208405A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
filtering
endoscope
endoscope image
image
Prior art date
Application number
PCT/JP1991/001576
Other languages
English (en)
French (fr)
Inventor
Hirokazu Nishimura
Tetsuo Nonami
Masaichi Nakamura
Original Assignee
Olympus Optical Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2313376A external-priority patent/JP2997785B2/ja
Priority claimed from JP03079606A external-priority patent/JP3126996B2/ja
Application filed by Olympus Optical Co., Ltd. filed Critical Olympus Optical Co., Ltd.
Priority to EP91919795A priority Critical patent/EP0511400B1/en
Priority to DE69125146T priority patent/DE69125146T2/de
Publication of WO1992008405A1 publication Critical patent/WO1992008405A1/ja

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention provides an endoscope image processing apparatus and an endoscope image processing apparatus that perform appropriate filtering processing on endoscope image data decomposed into a plurality of color signals.
  • the above-mentioned endoscopes include not only optical endoscopes using image guides as image transmission means (for example, fiber corps), but also electronic type recently using solid-state imaging means such as CCD. Endoscopes (hereinafter referred to as electronic endoscopes or scopes) have come into practical use.
  • an imaging camera using solid-state imaging means such as CCD is connected to an eyepiece of a fiber scope so that a color can be displayed on a monitor.
  • red, green, and blue are converted into signals that are relatively similar to human color perception called HSI (hue, saturation, and luminance) by relatively simple coordinate conversion.
  • HSI human color perception
  • an apparatus which performs an appropriate emphasizing process on each signal of the HSI, returns the signal to an RGB signal again by inverse conversion, and displays the result.
  • the image fi is converted into a Lu * V * color space that is closer to the color perception of the person f3 ⁇ 4, and then various enhancements are performed.
  • An apparatus for performing the conversion is disclosed.
  • the present applicant also discloses in Japanese Patent Publication No. 63-26783 that a video signal is converted into a signal in La * b * or Lti * V * color space, and the luminance L is emphasized.
  • the fine pattern of the mucosal surface in a normal endoscopic image mostly depends on the fluctuations of the G and B signals to form the fluctuation information forming the pattern. This is thought to reflect the nature of the absorption by hemoglobin in the blood.
  • the data distribution formed by the data fluctuation forming the fine pattern does not coincide with any fluctuation in luminance, hue, and saturation in human color perception.
  • the observer first grasps the global information from the images. Next, By observing microscopic patterns clearly, we try to obtain more detailed information. At this stage, the observer's attention is noticed in the image, and he / she pays intensive attention to any information derived from the living body. Whether the information is represented by luminance, saturation or citrus, or both, depends on the observer. Has no meaning.
  • the most well-accepted emphasis method that can be used as an aid to observation should be such that the variation over time in the madness region is widened and otherwise suppressed, but the color space Performing the above process does not necessarily satisfy this condition.
  • the emphasis processing in the color simplification does not always provide the optimum emphasis result for the observer of the fine pattern.
  • An object of the present invention is to provide an endoscopic image processing apparatus and a method thereof that enable a fine pattern such as a mucous membrane surface in a living body to be clearly observed.
  • Another object of the present invention is to appropriately set the number of filter bats according to the structural pattern of the endoscope original image to suppress noise
  • Another object of the present invention is to provide an endoscope image processing apparatus and a method thereof capable of enhancing the required structure so that the image can be displayed in a clearer manner.
  • the R, G, and B image data of the mirror are coordinate-transformed, and the number of filter creatures with noise suppression and emphasis effects is set for each axis, and converted to data for each axis.
  • the present invention also provides an endoscope dual image processing apparatus for performing a filtering process on each image and a method therefor.
  • Still another object of the present invention is to provide an endoscope capable of performing appropriate enhancement processing on each of an unstained normal endoscope image and a stained endoscope image.
  • a mirror image processing device and a method thereof are provided.
  • Another object of the present invention is to extract a characteristic region from an endoscope image by manual operation or automatically (by a program), and, among the extracted characteristic region images, Only the image data in the frequency band including the most characteristic component in the endoscope image is passed, only the characteristic component is extracted from the original image, and the axis conversion for effectively enhancing the characteristic component is adaptively performed.
  • An object of the present invention is to provide an endoscope image processing method capable of performing the above.
  • An endoscope image processing apparatus provides a vector for converting each signal of an endoscope image decomposed into a plurality of color signals into a new plurality of color signals based on a statistical feature of the image.
  • a color signal conversion for setting the color group and converting the color signal of the endoscope image into a new color signal by a matrix operation using the vector group.
  • the endoscope surface image processing method of the present invention is a method for converting each signal of an endoscope surface image decomposed into a plurality of color signals into a plurality of new color signals based on a statistical feature of the image.
  • Is applied to the new color signals after applying the matrix ?
  • a procedure of converting the original color signals into a plurality of color signals by a matrix operation using an inverse matrix of the matrix used for the calculation is a method for converting each signal of an endoscope surface image decomposed into a plurality of color signals into a plurality of new color signals based on a statistical feature of the image.
  • FIG. 1 to FIG. 5 show an endoscope image processing apparatus and a method thereof according to a first embodiment of the present invention.
  • Fig. 1 is a block diagram showing the configuration of the endoscope device.
  • FIG. 2 is a block diagram showing the configuration of the image processing device
  • FIG. 3 is an explanatory diagram showing the entire endoscope device
  • Fig. 4 is for explaining the processing method using the surface image processing device.
  • Fig. 5 is an explanatory diagram showing the weighting factors used for filtering.
  • FIG. 6 is a flowchart illustrating an image processing method according to a second embodiment of the present invention.
  • FIGS. 7 and 8 are flow charts showing an image processing method.
  • FIG. 9 is a flow chart showing an example of the characteristic region setting step of FIG.
  • FIG. 10 is a flow chart showing the band filtering step of FIG.
  • Fig. 11 is an explanatory diagram showing the distribution of the FI and G data values on the screen.
  • FIG. 12 is an explanatory diagram showing an example of the distribution of correlation after band filtering with respect to the distribution of FIG. 11;
  • FIG. 13 is an explanatory diagram showing weighting using cos numbers
  • FIG. 14 and FIG. 15 are explanatory diagrams showing bandpass filtering
  • Fig. 16 is an explanatory diagram showing an example of the automatic setting of a feature region.
  • Figs. 17 and 18 are mask calculation processing methods by convolution instead of Fourier transformation and processing using the number of weights.
  • 5 is a flowchart showing a modified example using the above.
  • Example FIG. 1 to FIG. 5 show an endoscope image processing apparatus and method according to a first embodiment of the present invention.
  • the endoscope apparatus includes an electronic endoscope 1 as shown in FIG.
  • the electronic endoscope 1 has a slender, for example, a flexible insertion section 2, and an operation section 3 is connected to a rear end of the insertion section 2.
  • a flexible universal cord 4 extends laterally from a rear end of the operation unit 3, and a connector 5 is provided at a tip of the universal cord 4.
  • the electronic endoscope 1 is connected via the connector 5 to a video processor 6 in which a light source device and a signal processing circuit are built. Further, a monitor 7 is connected to the video processor 6.
  • the insertion portion 2 has a rigid tip portion 9 on the tip end side and a bendable portion 10 that can be bent rearward adjacent to the tip end portion 9 in order.
  • the bending section 10 can be bent in the left-right direction or the up-down direction. ing .
  • the operation unit 3 is provided with an inlet 12 that communicates with a treatment instrument channel provided in the inlet 2.
  • a light guide 14 for transmitting illumination light is inserted into an insertion portion 2 of the electronic endoscope 1.
  • the distal end surface of the light guide 14 is disposed at the distal end 9 of the inlet 2 so that the illumination light can be emitted from the distal end 9.
  • the light guide 14 has an incident end on the It is connected to the connector 5 through the record 4.
  • an objective lens system 15 is provided at the distal end portion 9, and a solid-state imaging device 16 is provided at an image forming position of the objective lens system 15.
  • the solid-state imaging device 16 has sensitivity in a wide wavelength range from the ultraviolet region to the infrared region including the visible region.
  • Signal lines 26 and 27 are connected to the solid-state imaging device 16, and these signal lines 26 and 27 are inserted into the insertion section 2 and the universal code 4 and connected to the connector 5. .
  • the video processor 6 is provided with a lamp 21 that emits light in a wide band from ultraviolet light to infrared light.
  • a lamp 21 that emits light in a wide band from ultraviolet light to infrared light.
  • the lamp 21 a general xenon lamp, a strobo lamp, or the like can be used.
  • the xenon lamp strobo lamp emits not only visible light but also a large amount of ultraviolet light and infrared light.
  • the lamp 21 is supplied with electric power by a power supply 22.
  • a rotary filter 50 that is driven to rotate by the motor 23 is provided in front of the lamp 21.
  • the rotary filter 50 is provided with filters for transmitting light in the red (R), green (G), and blue (B) wavelength regions for normal observation, which are arranged along the circumferential direction. ing .
  • the rotation of the motor 23 is controlled by a motor driver 25 to be driven.
  • the light transmitted through the rotary filter 50 and separated in time series into light of each of the R, G, and B wavelength regions is incident on an incident end of the light guide 14, and Tip 9 via guide 14
  • the light is emitted from the distal end 9 to illuminate the observation site.
  • the return light from the observation site due to the illumination light is formed on the solid-state imaging device 16 by the objective lens system 15 and is photoelectrically converted.
  • a drive pulse from a drive circuit 31 in the video processor 6 is applied to the solid-state imaging device 16 via the signal line 26, and the drive pulse is read out by the drive pulse. The transfer is to take place.
  • the video signal read from the solid-state imaging device 16 is input to a pre-amplifier 32 provided in the video processor 6 or the electronic endoscope 1 via the signal # 27. I'm sick.
  • the video signal amplified by the preamplifier 32 is input to a process circuit 33, subjected to signal processing such as error correction and white balance, and converted into a digital signal by an AZD converter 34. It has become.
  • the digital video signal is converted by a select circuit 35 into, for example, memories (1) 36a and memories (2) corresponding to red (R), green (G), and blue (B), respectively. ) 36b, memory (3)
  • the memory is selectively stored in 36c.
  • the memory (1) 36a, the memory (2) 36b, and the memory (3) 36c are read out at the same time, converted into an analog signal by the DZA converter 37, and used as an input / output interface.
  • the signals are input to the color monitor 7 as R, G, and B signals via the source 38, and the color monitor 7 displays the observed part in color.
  • a timing generator 42 for timing the entire system is provided. By the timing generator 42, a motor driver 25,
  • the circuits such as the drive circuit 31 and the select circuit 35 are synchronized.
  • the output terminals of the memories (1 to 3) 36a to 36c are connected to the image processing device 104. Further, a monitor 106 is connected to the image processing device 104 via an input / output interface 150, and a calculation result by the rain image processing device 104 is displayed on the monitor 106. It is becoming.
  • the image processing device 104 has a configuration as shown in FIG.
  • the image processing device 104 includes a CPU 121, an information input device 122, a main storage device 123 including a RAM, an image input interface 125, and a display interface 128.
  • the information input device 122 is a keyboard or the like, and can input data such as the type of the electronic endoscope 1.
  • the image input interface 125 is connected to the memory (1) 36a, the memory (2) 36b, and the memory (3) 36c, and the surface image data is Data is being received.
  • the display interface 128 is connected to an input / output interface 105 for transmitting image data to be input to the monitor 106.
  • the CPU 121 stores a ROM 1213 storing a program for performing a series of image processing described later, and a plurality of color signals, for example, each signal of an endoscope image divided into R, G, and B signals.
  • a Fourier transform processing unit 121b for performing a two-dimensional Fourier transform for generating a real term and an imaginary term, and a filter for weighting the generated real and imaginary terms with a weighted breach number
  • An inverse Fourier transform processing unit 121d that performs a two-dimensional inverse Fourier transform on the weighted real and imaginary terms to generate a weighted color signal. It has.
  • main storage device is connected to an external recording device such as a hard disk reproducing device (not shown), and various weighting functions are supplied from the external recording device.
  • the number of battles is used for weighting in the filtering processing unit 121b of the CPU 121.
  • the surface image of the target part obtained by the electronic endoscope 1 is processed by the surface image processing device 104, and the processing result is output to the monitor 106.
  • the processing of the surface image processing device 104 will be described.
  • the process shown in FIG. 4 is performed by the image processing device 104.
  • the original image is separated into color signals R, G, and B by a step S0 before being input to the image processing device 104, and is separated into memory (1) 36a to memory (3) 36C.
  • memory (1) 36a- (3) Stored in this memory (1) 36a- (3)
  • the R, G, and B image signals of 36c are subjected to a two-dimensional discrete Fourier transform as shown in step S1, and the real term ar (t) and the imaginary term ai (t) is generated.
  • step S2 the filtering (processing) shown in step S2 is performed by the real term ar (t) and the imaginary term of the data generated by the two-dimensional discrete Fourier transform in step S1. At (t) is multiplied by the weighted bat number w (t) to generate the filtered batted real number br (t) and imaginary term bi (t). Is done.
  • the above-mentioned weighted battle number w (t) can be optimized for each of the R, G, and B image signals. Specifically, for example, in the case of a normal endoscopic image that does not use a staining method, finalization with a noise suppressing effect is performed on the R image, and each of the G and B images is performed. A weighting function is applied to the image to perform filtering with an emphasis effect. After the filtering, the two-dimensional inverse Fourier transform is performed as shown in step S3, and an R, G, or B image is generated as the result of the enhancement processing. . If it is not determined that all the Ft, G, and B image processing has been completed in step S4, the processing is not completed until all the R, G, and B images are completed.
  • Steps S0 to S3 are performed, and the R, G, and B image signals subjected to the enhancement processing are generated, and are monitored via the input / output interface 105 as shown in FIG. Then, the processing result plane image is displayed, and the operation of this plane image processing ends.
  • the digital R, G, and B image signals are converted to analog signals by the DZA as necessary.
  • the process of creating the weighting function used for the above filtering is performed as follows. In the so-called optical Fourier transform, the DC component that determines the overall intensity value of an image is located at the center on the spatial frequency plane, and the low-frequency component near the spatial frequency is located near that. Exists.
  • the filter to be created should be such that the point that is a certain distance from the center is the highest point of emphasis, and that point is used as a boundary to reduce the value of weighting for low-frequency and high-frequency components.
  • the following filter is an example.
  • w is expressed as the number of wobbles w (t) for t, and the value satisfies 0 ⁇ w (t) ⁇ «. Is the maximum value of the weight.
  • the filter created here is 0t ⁇ pZ2, where P is the diameter of a circle centered on 0 and consisting of a set of points giving the maximum value of w (t).
  • PZ 2 ⁇ t the COS function is used for 0 t and p 2
  • the normal distribution function is used for P / 2 ⁇ t.
  • Equation (a) is obtained as the number of swords that satisfy these conditions.
  • Equations (a) and (b) filters having different degrees of emphasis can be obtained by using a, A, ⁇ , and r as parameters.
  • the original image Frequency band which is considered to contain a lot of information on the structural pattern of, and suppress high-frequency components beyond that band.
  • each image signal of R, G, and B is decomposed into spatial frequency components, and a filter function having a noise suppressing function in spatial frequency and a filter having an emphasizing function are provided.
  • Filtering processing is performed on each surface image decomposed into spatial frequency components by setting the number of battles, so the filter function is set appropriately according to the structure pattern of the original surface image By doing so, noise can be suppressed and a desired structure can be sharpened and displayed. Therefore, it is very effective when making a diagnosis by observing an endoscopic image.
  • the configuration of the endoscope apparatus according to the second embodiment is the same as that of the first embodiment, and the configuration of the image processing device 104 of the second embodiment is substantially the same as that of the first embodiment.
  • the processing contents are different from those shown in FIG. 4, and the processing shown in FIG. 6 is performed.
  • the CPU 121 of the plane image processing device 104 includes a coordinate (axis) conversion processing unit 121 e as shown by a dashed line in FIG. And a coordinate (axis) inverse transformation processing unit 121f.
  • the coordinate (axis) conversion processing unit 121e converts each signal of the endoscope image decomposed into a plurality of R, G, and B color signals into three axes (for example, one axis, two axes, three axes, or X-axis, Y-axis, and Z-axis are called.) Coordinate (axis) is converted to data of It is a processing unit.
  • the respective axes can be arbitrarily selected and set via the CPU 121 by, for example, data input from the information input device 122.
  • the data for setting each of these axes can be externally stored in the main storage device 123, for example.
  • the coordinate (axis) inverse conversion processing unit 121f is a processing unit that inversely converts the data of each axis into R, G, and B color signals.
  • step S11 the R, G, and B images stored in the memory (1) 36a to the memory (3) 36c are represented by step S11 in FIG. Coordinate transformation processing is performed.
  • step S11 data of the three axes, ie, the (1) axis, the (2) axis, and the (3) axis, are generated instead of R, G, and B.
  • step S12 the data of each axis is sequentially acquired, and a two-dimensional discrete Fourier is applied to each of the acquired data as shown in step S13.
  • the transformation is performed to generate a real term ar (l!) And an imaginary term ai (t).
  • the real term ar (t) and the imaginary term ai (t) are weighted w (t) as in the first embodiment using the weight w (t) as shown in step S14.
  • Filtering is performed to generate the real term br (t) and the imaginary term bi (t) of the filtered function.
  • the two-dimensional inverse discrete Fourier transform is performed on these real term br (t) and imaginary term bi (t) as shown in step S15.
  • step S16 it is determined in step S16 whether or not the processing for all axes has been completed. When the processing in steps S12 to S15 has been performed for all axes, step S16 is performed. Coordinate reverse as shown in S17 The conversion processing is performed, and then the processing result image is displayed on the monitor 106.
  • M 1 is a coordinate transformation matrix
  • M 2 is a matrix based on R, G, and B images ⁇
  • M 3 is a matrix based on the 1, 2, and 3 axes generated by coordinate transformation.
  • the above-described fiber ring is applied to each newly generated coordinate axis. Specifically, (1) filtering with an emphasis effect only on the axes, and (2) and (3) filtering with noise suppression effects on the axes. Performs filtering with an emphasis effect on the (1) and (2) axes, and performs filtering with a noise suppression effect on the (3) axis. Also, the coordinate inverse transformation is realized by applying the inverse matrix ⁇ 4 of the matrix ⁇ 1 as shown in the following equation (d) or (d ′).
  • ⁇ 4 is the inverse matrix of coordinate transformation matrix ⁇ 1
  • M5 is the data matrix after the enhancement process
  • ⁇ 6 is the matrix of the RG and B image signals after the enhancement process.
  • the coordinate transformation matrix Ml is for a normal endoscopic image, and a different coordinate transformation matrix is applied when performing enhancement processing on an image using a stain. It is possible. Furthermore, it may be adaptively determined by the image.
  • the second embodiment has almost the same functions and effects as the first embodiment, and by performing coordinate transformation, it is possible to provide a filter which can make the structure of interest clearer. In some cases, a processed image can be obtained.
  • processing images are sequentially displayed or stored by sequentially changing the values of the parameters of the weighting function w (t) for performing the filtering, and the operator can select an arbitrary processing image, for example, a part of interest most. ⁇ It may be possible to select a processed surface image that can be clarified.
  • FIG 7 to 16 show the image processing method of the third embodiment.
  • the image processing apparatus described in the second embodiment is used.
  • the image processing device 104 inputs the R, G, and B video signals from the memories 36a, 36b, and 36c, respectively, in step S21 in FIG. Then, the image processing device 104 is configured as shown in FIG. — — Step S22 for performing coordinate axis transformation on R, G, and B images, Step S24 for performing two-dimensional dispersive Fourier transform processing, and step for performing so-called filtering. As shown in FIG. 8, a processing group including S25, a step S27 for performing a two-dimensional inverse dispersive Fourier transform, a step S29 for performing a coordinate axis inverse transform, and the like are shown in FIG.
  • a 3 ⁇ 3 matrix for performing coordinate axis transformation and a processing group including each step S 31 or S 36 for deriving an inverse thereof are provided.
  • the surface image processing device 104 performs processing on the R, G, and B image signals from the memories (1 to 3) 36a to 36c.
  • the two-dimensional discrete Fourier transform and the inverse transform in the present embodiment all have a coefficient arrangement corresponding to a so-called optical Fourier transform in which a DC component is arranged at the center.
  • the fluctuation of the caucasian value information constituting the unstained endoscope imaging plane image is large in the R image, but mainly in the low frequency component.
  • information that defeats the fine features of the actual organ mucosal surface is likely to depend on the G image and the B image.
  • the intensity value information shows a different distribution for each image, and, for example, in the case where indigo-carmin staining is performed, there are cases where the R image contains a great deal of information that fights with the above-mentioned features. Exists.
  • FIG. 11 shows, as an example, the concept of the distribution of correlation between R and G data in each surface element of a 256-tone surface image.
  • the density values are treated as two-dimensional data, but in practice
  • the B data (not shown) has similarity to the G data.
  • the distribution of the angle information shown in Fig. 11 includes all low-frequency components and high-frequency components in the surface image.
  • the information indicating the characteristics of the mucous membrane surface of the organ hereinafter, referred to as a characteristic component
  • a characteristic component the information indicating the characteristics of the mucous membrane surface of the organ
  • FIG. 12 shows the concept of the distribution of correlation after bandpass filtering is applied to the R and G data of FIG.
  • the high-frequency components that constitute the above features are mainly present in G (and B) images, so that after passing the band, fluctuations in G data compared to R data
  • Figure 1 shows the distribution of the biased correlation.
  • the distribution of this contradiction differs from image to image.
  • the dye eg, indigo carmine
  • the dye has a property of being absorbed by R.
  • the feature component is contained more in the R image than in the G and B images.
  • a region of a size of 256 ⁇ 256 (including the most characteristic region of the image or the region where enhancement processing is desired) (Referred to as feature region) 8 Set in step S31 in the figure.
  • the center point of a plane image having a size of 256 ⁇ 256 is a pixel corresponding to the point (128, 128).
  • the setting of this characteristic region can be performed not only based on the subjective opinion of the operator but also dynamically.
  • the automatic setting process of the characteristic region according to the flowchart shown in FIG. 9 is one example.
  • Characteristic components in normal endoscopic images are effectively enhanced by utilizing the property that they are most frequently contained in G images (the same applies to B images, also referred to as P1 hereinafter).
  • the G image in the original image is transformed into a 64 ⁇ 64 image in step S41 as shown in FIG.
  • the process is performed to extract a certain block as the center of the feature region from these blocks. That is, in step S42, blocks containing a certain percentage or more of the harmony are excluded from the candidates for the central portion of the feature region. Then, the average concentration value excluding the diffusion part in each block which was not excluded in step S43 is calculated.
  • step S44 it is determined that the density average value does not fall below a certain value, that is, the B : portion of the image is not appropriate to be extracted as a feature region.
  • the resulting blocks are excluded from the candidate for the central site.
  • the block group D indicated by oblique lines is the target of the portion B.
  • the average value of the concentration in each of the blocks that have not been excluded is obtained in step S45, and the obtained values are newly obtained.
  • the block having the average value of the strain rate closest to is defined as the center of the feature area.
  • step S46 a 256 ⁇ 256 feature region including the block at the central portion is extracted.
  • the center of the image is set to 1 in step S33 for each of the R, G, and B data of each pixel in the feature region in step S32 in FIG.
  • FIG. 13 (a) shows the change of the weighting value for each element on the line segment passing through the center of the feature region image.
  • all weighting values are set to 0. That is, the same value is applied to the center point of the rain image in a concentric manner for the weighted number of wc ( ⁇ ) shown in the equation ( ⁇ ).
  • the circle shown in FIG. , N 128, and the hatched portion indicates a portion where n> 128. That is, the weight according to equation (1) is applied when n ⁇ 128, and is not applicable. Is unconditionally multiplied by 0.
  • FIG. 10 is a flowchart showing a specific example of the processing of the band-pass filtering. After performing a two-dimensional discrete Fourier transform on each of the R, G, and B images in step S51 in FIG. 10, for example, in step S52, the pass characteristic shown in FIG. 15 is obtained.
  • step S53 in FIG. 10 an inverse two-dimensional discrete Fourier transform is performed.
  • a 128-by-128 area image (hereafter referred to as the feature image) including the center of the surface image obtained by the above-described processing is used. Note) is used.
  • the obtained image is obtained by extracting only the characteristic components from the original image, and the concept of the distribution of the contradictions of the R, G, and B data is, for example, in accordance with FIG. 12.
  • step S35 of FIG. 8 it is determined whether or not the processing has been performed on the entire R, G, and B images of the characteristic area, and when the processing is completed, the process proceeds to the next step.
  • the KL is calculated in step S36 in FIG. Apply coordinate transformation and inverse transformation matrix decision processing using transformation.
  • the KL transformation is a process of mechanically deriving a suitable new orthogonal system based on the statistical distribution of input plane image data.
  • Details of the KL transform are omitted in the literature (Digital Image Processing Engineering, Kei Tezuka, Tadahiro Kitahashi, Hideo Ogawa, Nikkan Kogyo Shimbun, pp. 38-43).
  • step S36 three three-dimensional vectors used for coordinate axis transformation are obtained.
  • the X, ,, and Z axes which become the coordinate axes after the conversion, are defined as those with the largest eigenvalue of these three vectors as the X axis and those with the smallest eigenvalue as the Z axis.
  • the vectors defining the X, Y, and Z axes are defined as vectors ax (a11, a12, a13), vectors ay (a21, a22, a23), and vectors az, respectively. (a 31, a 32, a 33), the coordinate axis transformation from the R, G, B space to the X, Y, ⁇ space by the new three axes is represented by the following equation (2). Realized by matrix operation
  • the coordinate axis inverse transformation is realized by multiplying the X, Y, Z data by the inverse matrix of the matrix M 1.
  • step S21 in FIG. 7 the calculation shown in equation (2) is performed using the coordinate axis transformation matrix generated in step S36 in FIG. 8, and the R, G, B
  • the (r, g, b) data of each pixel in the plane image is converted to ( ⁇ , y, ' ⁇ ) data.
  • step S24 of FIG. 7 X, Y, ⁇ Perform two-dimensional discrete Fourier transform on each pixel.
  • the filtering in step S25 is based on the real term ar (t) and the imaginary term ai (t) of the data generated by the two-dimensional dispersive Fourier transform in step S24. This is realized by multiplying by a weighting factor in step S26 to be described later.
  • This weighting function gives an appropriate value to each of the X, ⁇ , and z plane elements. Specifically, for example, filtering is performed with an enhancement effect on an X-plane image containing many feature components, and filtering with a noise suppression effect is performed on Y and Z images. Apply a weighting function that performs ringing.
  • step S26 After the filtering is completed in step S26, the X, Y, and Z pixels after the enhancement processing result are applied are obtained by the two-dimensional discrete Fourier inverse transform in step S27. It has become.
  • step S26 The process of creating a weighting function used for filtering in step S26 is performed as follows.
  • the DC component that determines the overall density value of an image is located at the center on the air-frequency closed surface, and the low-frequency component of the spatial frequency is located near it.
  • the filter to be created should be such that the point that is a certain distance from the center is the highest point of emphasis, and that point is used as a boundary to reduce the weighting values for low-frequency and high-frequency components.
  • weighted swords having such properties, and the following filter is an example.
  • x ⁇ (u - u O ) 2 + (v - v O) 2 ⁇ is expressed by 1/2. Also, if the weighting value is w, w is expressed as the number of swords on X, w (x), and the value is 0 ⁇ w (X)
  • Satisfies ⁇ «. ⁇ Is the maximum value of the weight.
  • the filter created here is defined as 0 ⁇ ⁇ ⁇ ⁇ 2 and ⁇ / ⁇ , where P is the center of ⁇ and the diameter of a circle consisting of a set of points giving the maximum value of W (X) is P. Since each function consists of a separate function for each case of 2 ⁇ X, the number of cos is used for O x s ⁇ 2, and the number of normal distribution is used for x ⁇ 2 ⁇ X.
  • the amplitude be A in the number of cos of the filter to be created.
  • the following equation (3) is obtained as a number that satisfies these conditions.
  • w (X) a-exp C-0.5 ⁇ (x- (P / 2)) / a ⁇ 2 )
  • Equation (4) it is given by (CTR- (p / 2)) / r (CT: x-coordinate value of center, r: real number).
  • P 0, only equation (4) applies.
  • Equations (3) and (4) filters with different degrees of emphasis can be obtained by using parameters, A, P and 1- as parameters.
  • Fig. 15 shows an example of the characteristics of the filter created under the above conditions.
  • a frequency band that is considered to contain a lot of information on the structural pattern of the original image is considered.
  • step S28 in FIG. 7 it is determined whether or not all the processing up to step S27 for each of the X, ⁇ , and Z planes is completed.
  • the coordinate axes are inversely transformed in step S29, and the R, G, and B images are obtained as a result of the enhancement processing.
  • the inverse matrix M 2 of the matrix M as shown in the following equation (5), the (X ′, y ′, z ′) data of each pixel subjected to the above-described processing is obtained.
  • step S30 in FIG. 7 data (r ′, m ′, b ′) of each pixel is obtained by the above-described processing. Then, the monitor 106 shown in FIG. 1 displays the R, G, and B processing results as an image.
  • the image processing device 104 can obtain a clear image in which the fine pattern of the mucous membrane surface is enhanced and the noise is suppressed with respect to the R, G, and B original images.
  • noise removal processing for example, a media filter having a 3 ⁇ 3 mask size
  • preprocessing for example, a media filter having a 3 ⁇ 3 mask size
  • the method for automatically setting the characteristic region is not limited to the example shown in the present embodiment, but various methods can be considered. Also, the coordinates in step S36 in FIG. 8 are used. The method of determining the transformation matrix is not limited to the method using the KL transformation, but may be appropriately used as long as it can derive a coordinate transformation matrix adaptively for the image to be processed. . Further, each processing in the present embodiment can be realized as parallel processing. ⁇ The matrix in the present embodiment is not obtained one by one from the image, for example, the difference in variance with respect to the R image. Therefore, it is also possible to apply the one derived in advance.
  • FIG. 6 The emphasis or noise suppression processing using the two-dimensional discrete Fourier transform and the weighted swords shown in Fig. S13 to S15 and Fig. 7 S24 to S27, and Fig. 8 S34
  • the illustrated bandpass filtering can be realized as a mask operation by convolution. At that time becomes weighting that by the number of COS Toki in FIG. 8 S 33 is not required ⁇
  • the processing in FIG. 7 is replaced with the processing shown in FIG. 17, and the processing in FIG. 8 is replaced with the processing shown in FIG.
  • a mask used for convolution a mask whose bandpass characteristic on a spatial frequency plane is similar to that of each filtering in the above-described embodiment may be applied.
  • the mask setting is described in, for example, literatures (JAHES 11.
  • HcCLE LLAN "A Computer Program for Designing Interval FI R Li near Phase Digital Filters", IEEE TRANSACTIONS ON AUDIO AND E LECTROACOUST ICS, VOL.AU- 21.a 6, pp.506-626, DECEMBER 1978.) and literature (Haruo KAT 0, "Desin gn ing of Two-Dimensional FIR Fan Filters by Pourier Reconstruction on", THE TRANSACTIONS OF THE IECE OF JAPAN, VOL. B 63, Na 12, pp. 849-854, DECEMBER 1980.).

Description

明 細 書
発明の名称
内視鏡画像処理装置及びその方法
技術分野
本発明は、 複数の色信号に分解された内視鏡画像データ に、 適当なフ ィ ルタ リ ング処理を行う 内視鏡画像処理装置 及びその方法に閧する 。
背景技術
近年、 細長の挿入部を体腔内に挿入する こ と によ っ て 、 切開を必要と する こ と なく 、 体腔内の患部等を観察 した り 、 必要に応 じ処置具を用いて治療処置のでき る 内視鏡が広く 用い られる よ う になった。
上記内視鏡には、 イ メ ージガイ ド を像伝送手段に用いた 光学式の内視鏡 ( 例えば、 フ ァ イ バース コープ ) の他に、 最近 C C D等の固体撮像手段を用いた電子式の内視鏡 ( 以 下、 電子内視鏡又はスコープと い う ) が実用化される よ う になった《
また 、 フ ァ イ バース コープの接眼部に C C D等の固体撮 像手段を用いた撮像カメ ラ を接続 してモニタでカ ラー表示 でき る よ う に した も の も あ る 。
さ ら に、 最近ではこ のよ う な内視鏡から得られる映像信 号に対 し 、 様々 な処理を施すこ と によ り 、 人間の認識を補 助 し、 診断能力 を 向上させる試みがなされて いる 。
例えば、 米国特許 4 8 1 9 0 7 7 によれば、 3 原色を表わす映 ― . 像信号赤、 緑、 青 ( R , G , B ) を比較的簡単な座標変換 によ り H S I ( 色相 、 彩度、 輝度 ) と 呼ばれる人問の色知 覚に比較的近い信号に変換し、 H S I の各信号に対 して適 当な強調処理を施 した後、 逆変換によ つて再び R G B信号 に戻 し 、 結果を表示する装置が開示されている 。
ま た、 例えば日 本国特許出願公開 1 - 1 388 77によれば、 面 像 fi 号を よ り人 f¾の色知覚に近い L u * V * 色空間に変換 してから各種強調を行い 、 逆変換を行 う 装置が開示されて いる .—、
本出願人 また 曰本国特許公開 63 - 26783 号公報におい て映像信号を L a * b * 、 あ る いは L ti * V * 色空間にお ける信号に変換し . その輝度 L に対 し強調処埋を施す装 ¾ を開示して いる
これらの従来例においては、 カ ラー画像の輪郭ある いは 細かい模様を強調するために、 輝度に対する高周波成分の 強調処理を行って いる 。 これは輝度と色相、 彩度を分離す る こ と によ り 、 色調を変化させる こ と なく . 強調を行う こ と ができ るからであ る 。 これに対 し 、 R , G , B各アレー ンに対 して独立して強調処理を行う と 、 色調が変化 して不 自然な画像になる こ と があ った „
と こ ろで、 内視 によ る生体観察においては . その機材 に対する制約条件ゆ え 、 観察対象によ っては解像力 、 明る さ 、 コ ン ト ラ ス ト等で十分な観察能が得られないこ と も起 こ る 特に 、 良性病変か悪性病変かの鑑別診断に重要な情 斩たな甬 報と なる粘膜表面の微細模様 ( 胃腺、 腸腺等の腺腔、 無名 、 毛細血管、 あ る いは染色剤等によ り形成される ) の観 察のためには、 現在最高水準の解像力を有する 内視鏡を用 いて も 、 診断に対 し十分な画像は得られないこ と が多い。
このため、 よ り優れた解像力 を もつス コープが切望され るのはも ちろんのこ と であるが、 さ ら に、 コ ン ト ラス ト不 足、 解像力不足を補い、 よ り診断を容易な ら しめる画像処 理手法及びその装置の開発が望まれて き た。
例えば、 通常の (染色法を用いない ) 内視鏡画像におけ る粘膜表面の微細模様は、 その模様を形成する変動情報の 殆どを G , B信号の変動によ って いる 。 これは、 おそ ら く 血液中のヘモ グロ ビンによ る吸光の性贺を反映 して いる も の と考え られて いる 。
ま た 、 染色法を用いた画像では、 生体固有の反射、 あ る いは吸光に加えて 、 染色剤によ る吸光が加わるため、 これ らの性質によ り 画傺を形成する データ変動が決定される 。
これらの面像を強調するために、 従来試み られて き た色 空間における高周波強調処理を用いて も 、 結果は良好では なかった。 こ の理由は以下のよ う な理由である と推定され る 。
微細模様を形成するデータ変動が形成するデータ分布は、 当然のこ と ながら人間の色知覚における輝度、 色相、 彩度 の何れかの変動と一致する ものではない。
観察者は、 画像から まず大局的な情報を把握する 。 次に、 微細摸様を明瞭に観察する こ とによ り 、 よ り精細な情報を 得よ う と する 。 この段階では、 観察者の注意はその画像中 に認められる 、 生体に起因する何等かの情報に対して 、 集 中的に注意を払 う こ と になる 。 これらの情報が輝度によ り 表現される ものであるか、 彩度ある いは色柑で表現される ものであ るか、 ある いはその両方であるのかと いつたこ と は観察者にと っては何等意味を もたない。
最も 良好に受入れられ、 観察の補助と な り得る強調手法 は、 鬨心領域内で注目 しているデ一夕変動が增幅され、 そ れ以外は抑制される ものでなければならないが、 色空間上 で処理を行う こ と は必ずしも この条件を満たさない。
これ故、 色空簡における強調処理は、 微細模様の観察者 に と つては必ずし も最適な強調結果を提供しない。
さ らに、 内視鏡画像全体におけるデータの変動は、 照明 あ る いは対象の形状等によ る大局的な変動に支配される こ と が多い。 輝度に対する強調はこの大局的変動によ り形成 される輪郭等を よ り 明瞭に して しま う傾向があるため、 微 細な模様はかえつて観察しづらい状況になって しま う こ と も あ る 。
本発明の目的は、 生体における粘膜表面等の微細模様を 明瞭に観察する こ と ができ る よ う に した内視鏡画像処理装 置及びその方法を提供する こ と にある 。
また、 本発明の他の目的は、 内視鏡原画像の構造パター ンに応じて フ ィ ルタ鬨数を適切に設定して ノ イ ズを抑制 し、 必要とする構造を強調 して よ り 鮮明化 して表示でき る よ う に した内視鏡画像処理装置及びその方法を提供する にあ る さ らに、 本発明の他の目的は、 内視鏡の R , G , B各画 像データ を座標変換 して 、 各軸に対して ノ イ ズ仰制、 強調 効果のあ る フ ィ ルタ鬨数を設定し 、 各軸のデータ に変換さ れた各画像にフ ィ ルタ リ ング処理を行 う 内視鏡両像処理装 置及びその方法を提供する にあ る 。
さ らにまた 、 本発明の他の 目的は、 染色 しない通常の内 視鏡画像と 、 染色 した内視鏡画像と の各々 に対 し 、 適切な 強調処理を行 う こ と ができ る 内視鏡画像処理装置及びその 方法を提供する にあ る 。
また 、 本発明の他の目的は、 マニュアル操作によ り 、 或 は自動的に ( プログラムによ り ) 内視鏡画像から特徴領域 を抽出 し、 こ の抽出された特徴領域画像の う ち 、 内視鏡画 像において最も特徴成分を含む周波数帯域の画像データの みを通過させ、 原画像から特徴成分のみを抽出 し、 前記特 - 徴成分を効果的に強調する軸変換を適応的に行 う こ と ので き る 内視鏡画像処理方法を提供する にあ る 。
発明の開示
本発明の内視鏡画像処理装置は、 複数の色信号に分解さ れた内視鏡画像の各信号を 、 画像の統計的特徴に基づいて 新たな複数の色信号に変換するためのべク トル群を設定す る と 共に、 前記内視鏡画像の色信号を 、 新たな色信号に前 記べク トル群を用いた行列演算によ り変換する色信号変換 手段と 、 前記色信号変換手段によ り生成される新たな複数 の各色信号に対 し 、 フ ィ ルタ リ ングを施すフ ィ ルタ リ ング 手段と 、 前記フ ィ ルタ リ ング手段に よ り フ ィ ルタ リ ングを 適用 した後の前記新たな複数の色信号に対し、 前記行列演 算に用いた行列の逆行列を用いた行列演算によ り 、 当初の 複数の色信号に変換する手段と を備えている 。
また、 本発明の内視鏡面像処理方法は、 複数の色信号に 分解された内視鏡面像の各信号を 、 画像の統計的特徴に基 づいて新たな複数の色信号に変換するためのべク トル群を 設定する と 共に 、 前記内視鏡面像の色信号を 、 新たな色信 号に前記べク ト ル群を甩いた行列演算によ り変換する色信 号変換手順と 、 前記色信号変換手順によ り生成される新た な複数の各色信号に対 し、 フ ィ ルタ リ ングを施すフ ィ ルタ リ ング手順と 、 前記フ ィ ルタ リ ング手順によ り フ ィ ルタ リ ングを適用 した後の前記新たな複数の色信号に対し、 前記 行列? 算に用いた行列の逆行列を用いた行列演算によ り 、 当初の複数の色信号に変換する手順と 、 を有して いる 。 図面の箇単な説明
第 1 図ない し第 5 図は本発明の第 1 実施例に係る 内視鏡 画像処理装置と その方法を示 している 。
第 1 図は内視鏡装置の構成を示すブロ ッ ク図、
第 2 図は画像処理装置の構成を示すブロ ッ ク図、 第 3 図は内視鏡装置の全体を示す説明図、
第 4 図は面像処理装置を用いた処理方法を説明するため の フ ローチヤ一卜 、
第 5 図はフ ィ ルタ リ ングを行 う のに用いる重み付け閧数 を示す説明図、
第 6 図は本発明の第 2実施例に係る画像処理方法を説明 する フ ローチャー ト 、
第 7 図ない し第 1 6図は本発明の第 3実施例に係る画像処 理方法を示 して いる 。
第 7 図と 第 8図は画像処理方法を示すフ ローチャー ト 、 第 9 図は第 8図の特徴領域設定ステ ップの一例を示すフ ローナ ヤ一卜 、
第 1 0図は第 8図の帯域フ ィ ルタ リ ングステ ッ プを示すフ ローチャ ー 卜 、
第 1 1図は画面上における FI及び Gデータの値の相閧の分 布を示す説明図、
第 1 2図は第 1 1図の分布に対し 、 帯域フ ィ ルタ リ ング後の 相関の分布の例を示す説明図、
第 1 3図は c o s閧数を用いた重み付けを示す説明図、 第 1 4図、 第 1 5図は帯域通過フ ィ ルタ リ ング処理を示す説 明図、
第 1 6図は特徴領域の自動設定の一例を示す説明図、 第 1 7図及び第 1 8図はフー リエ変換、 重み付け鬨数を用い た処理に代え 、 畳み込みによ るマス ク演算処理手法を用い た変形例を示すフ ローチャ ー トであ る 。
実施例 第 1 図ない し第 5面は本発明の第 1 実施例に係る 内視鏡 画像処理装置と その方法を示 して いる 。
本実施例に係る 内視鏡装置は、 第 3 図に示すよ う に、 電 子内視鏡 1 を備えている 。 この電子内視鏡 1 は、 細長で例 えば可橈性の揷入部 2 を有し、 この揷入部 2の後端に操作 部 3 が連設されて いる 。 前記操作部 3 の後端部からは側方 に可撓性のユニバーサルコー ド 4 が延設され、 このュニバ ーサルコー ド 4 の先端部にコネク タ 5 が設けられて いる 。 前記電子内視鏡 1 は、 前記コ ネク タ 5 を介して 、 光源装置 及び信号処理回路が内蔵されたビデオプロセ ッサ 6 に接続 される よ う になつ ている 。 さ らに、 前記ビデオプロセ ッサ 6 には、 モニタ 7 が接続される よ う になっている 。
前記揷入部 2 は、 その先端側に硬性の先端部 9及びこの 先端部 9 に隣接する後方側に湾曲可能な湾曲部 1 0を順次有 して いる 。 ま た、 前記操作部 3 に設けられた湾曲操作ノブ 1 1を回動操作する こ と によ って 、 前記湾曲部 1 0を左右方向 あ る いは上下方向に湾曲でき る よ う になつている 。 また、 前記操作部 3 には、 前記揷入部 2 内に設けられた処置具チ ヤ ンネルに連通する揷入口 1 2が設けられている 。
第 1 図に示すよ う に、 電子内視鏡 1 の挿入部 2 内には、 照明光を伝達する ライ トガイ ド 1 4が挿通されている 。 この ラ イ ト ガイ ド 1 4の先端面は、 揷入部 2 の先端部 9 に配置さ れ、 こ の先端部 9 から照明光を出射でき る よ う になつてい る 。 また 、 前記ラ イ ト ガイ ド 14の入射端側は、 ュニバーサ ルコー ド 4 内に揷通されて コネク タ 5 に接続されて いる 。 ま た、 前記先端部 9 には、 対物レンズ系 15が設けられ、 こ の対物レ ンズ系 15の結像位置に、 固体撮像素子 16が配設さ れている 。 この固体撮像素子 16は、 可視領域を含め紫外領 域から赤外領域に至る広い波長域で感度を有 して いる 。 前 記固体撮像素子 16には、 信号線 26, 27が接続され、 これら 信号線 26, 27は、 前記揷入部 2及びユニバーサルコー ド 4 内に挿通されて前記コ ネク タ 5 に接続されて いる 。
一方、 ビデオプロセ ッサ 6 内には、 紫外光から赤外光に 至る広帯域の光を発光する ラ ンプ 21が設けられて いる 。 こ のラ ンプ 21と しては、 一般的なキセ ノ ンラ ンプやス ト ロボ ラ ンプ等を用いる こ と ができ る 。 前記キセ ノ ンラ ンプゃス ト ロボラ ンプは、 可視光のみな らず紫外光及び赤外光を大 量に発光する 。 このラ ンプ 21は、 電源 22によ って電力が供 耠される よ う になつ て いる 。 前記ラ ンプ 21の前方には、 モ 一タ 23によ って 回転駆動される回転フ ィ ルタ 50が配設され て いる 。 この回転フ ィ ルタ 50には、 通常観察用の赤(R) ,緑 (G) ,青(B) の各波長領域の光を透過する フ ィ ルタ が、 周方 向に沿って配列.されて いる 。
また 、 前記モータ 23は、 モータ ド ラ イ ノヽ' 25によ っ て 回転 が制御されて駆動される よ う になって いる 。
前記回転フ ィ ルタ 50を透過 し、 R , G , B の各波長領域 の光に時系列的に分離された光は、 前記ラ イ ト ガイ ド 14の 入射端に入射され、 こ のラ イ トガイ ド 14を介 して先端部 9 に導かれ、 こ の先端部 9から出射されて 、 観察部位を照明 する よ う になつて いる 。
こ の照明光によ る観察部位からの戻り光は、 対物レ ンズ 系 15によ って 、 固体撮像素子 16上に結像され、 光電変換さ れる よ う になっている 。 この固体撮像素子 16には、 前記信 号線 26を介して、 前記ビデオプロセ ッサ 6 内の ド ラ イ ブ回 路 31からの駆動パルスが印加され、 この駆動パルスによ つ て読み出 し、 転送が行われる よ う になつている 。 この固体 撮像素子 16から読み出された映像信号は、 前記信号緣 27を 介して 、 前記ビデオプロセ ッサ 6 内または電子内視鏡 1 内 に設けられたプ リ ア ンプ 32に入力 される よ う になって いる 。 このプ リ アンプ 32で増幅された映像信号は、 プロセス回路 33に入力され、 ァ補正及びホワイ トバラ ンス等の信号処理 を施され、 A Z D コ ンバータ 34によ って 、 デジタル信号に 変換される よ う になっている 。 このデジタルの映像信号は、 セ レク ト 回路 35によ って、 例えば赤(R) , 緑(G) , 青(B) 各色 に対応す る メ モ リ (1 ) 36a, メ モ リ (2)36b, メ モ リ (3) 36cに選択的に記憶される よ う になっている 。 前記メモ リ (1)36a, メ モ リ (2) 36b, メモ リ (3) 36cは、 同時に読み出 され、 D Z A コ ンバータ 37によ って 、 アナログ信号に変換 され、 入出力イ ンターフ ェ ース 38を介して、 R , G , B信 号と して 、 カ ラーモニタ 7 に入力され、 このカ ラーモニタ 7 によ って 、 観察部位がカ ラー表示される よ う になつてい る 。 また、 前記ビデオプロセ ッサ 6 内には、 システム全体の タ イ ミ ングを作る タ イ ミ ングジェ ネレータ 42が設けられ、 このタ イ ミ ングジェ ネレータ 42によ って 、 モータ ド ラ イ ノ 25、 ド ラ イ ブ回路 31、 セ レク ト 回路 35等の各回路間の同期 が取られて いる 。
本実施例では、 前記メ モ リ ( 1〜 3 )36a〜 36c の出力端 は、 画像処理装置 104 に接続されている 。 また、 前記画像 処理装置 104 には、 入出力イ ンターフ ェ ース 150 を介して 、 モニ タ 106 が接続され、 このモニタ 106 に、 前記雨像処理 装置 104 によ る演算処理結果が表示される よ う になっ て い る 。
前記画像処理装置 104 は、 第 2 図に示すよ う な構成にな つて いる 。
すなわち 、 画像処理装置 104 は、 C P U 121 、 情報入力 装置 122 、 R A Mからなる主記憶装置 123 、 画像入力イ ン ターフ ェ ース 125 及び表示イ ンタ ーフ ェ ース 128 を備え 、 これらは、 バスによ って互いに接続されている 。 前記情報 入力装置 122 は、 キーボー ド等であ り 、 電子内視鏡 1 の種 別等のデータ を入力でき る よ う になつて いる 。 前記画像入 力イ ン タ ーフ ェ ース 125 は、 メ モ リ (1 )36a, メ モ リ (2) 36b, メ モ リ (3)36cに接続され、 これ らか らの面像デー タの受信 を行 う よ う になって いる 。 また 、 前記表示イ ンタ ー フ エ一 ス 128 は 、 入出力イ ン ターフ ェ ース 105 に接続され、 モニ タ 106 に入力する画像データ を送る よ う になつ て いる 。 前記 C P U 121 は、 後述する一連の画像処理を行 う プロ グラムを格納して いる R O M 1213と 、 複数の色信号、 例え ば R, G, B信号に分割された内視鏡画像の各信号に対し、 実数項及び虚数項を生成する 2次元フー リエ変換を行う フ 一リ エ変換処理部 121 bと 、 前記生成された実数項及び虚数 項に対し重み付け鬨数で重み付けを行う フ ィ ルタ リ ング処 理部 121Cと 、 前記重み付けされた実数項及び虚数項に対し、 2 次元フー リ エ逆変換を行って重み付けされた結果の色信 号を生成する フ ー リ ェ逆変換処理部 121dと を備えている 。 また、 前記主記憶装置 ( R A M ) は、 図示しないハー ドデ イ スク再生ノ記録装置等の外部記録装置が接続される よ う になってお り 、 各種の重み付け関数が外部記録装置から供 耠されて記録され、 この鬨数が前記 C P U 121 のフ ィ ルタ リ ング処理部 121 bでの重み付けに使用される よ う になって いる 。
本実施例では、 電子内視鏡 1 で得た対象部位の面像に対 し 、 面像処理装置 104 で処理を行い、 モニタ 106 に処理結 果を出力する 。
次に、 前記面像処理装置 104 の処理について説明する 。 第 1実施例では、 この画像処理装置 104 によ り 、 第 4図 に示す処理を行う 。
原画像は 、 画像処理装置 104 に入力 される前のステ ツ プ S 0 によ り 、 色信号 R , G , B に分離され、 メ モ リ (1 )36a〜メ モ リ (3) 36Cに格納され、 こ のメ モ リ (1 )36a〜メ モ リ (3) 36cの R, G, B各画像信号に対 し、 ステ ップ S 1 に示すよ う に 2次元離散的フー リ エ変換が行われ、 実数項 ar(t) 及び虚数項 ai (t) が生成される 。
次にステ ッ プ S 2 に示すフ ィ ルタ リ ング (処理) がステ ップ S 1 での 2次元離散的フー リエ変換によ っ て生成され たデータの実数項 ar(t) 及び虚数項 at(t) に対 し 、 重み付 け鬨数 w ( t ) と の乗算が行われ、 フ ィ ルタ リ ング処理済の 鬨数の実数項 br(t) 及び虚数項 bi (t) が生成される 。
上記重み付け鬨数 w (t) は R , G , B各画像信号に対 し 、 各々 に最適なも のを年え る 。 具体的には、 例えば染色法を 用いない通常の内視鏡画像の場合、 Rの画像に対 しては、 ノ イ ズ抑制効果を持つフ イ ノレ タ リ ングを行い、 G及び Bの 各画像に対 しては強調効果を持つフ ィ ルタ リ ングを行 う よ う な重み付け閬数を適用する 。 フ ィ ルタ リ ング終了後、 ス テ ツ プ S 3 に示すよ う に 2次元離散的フ ー リ エ逆変換を行 い、 強調処理された結果の R又は G又は Bの画像が生成さ れる 。 そ して 、 ステ ップ S 4 によ る Ft, G , B全画像処理 終了か否かの判断によ り終了 していない場合には、 R , G , B各画像全てが終了する ま でステ ッ プ S 0〜 S 3 を行い、 強調処理された R , G , B各画像信号が生成され、 第 1 図 に示す よ う に入出力 イ ン タ ー フ ェ ース 105 を経てモニタ 106 に処理結果面像を表示 して こ の面像処理の動作を終了 する 。 尚、 前記デ ィ ジタルの R, G , B各画像信号は必要 に応 じて D Z Aにて アナログ信号に変換される 。 と こ ろで、 上記フ ィ ルタ リ ングに使用する重み付け関数 を作成する処理は以下のよ う に行-う 。 いわゆる光学的フー リエ変換では、 画像の全体的な瀵度値を決定する直流成分 が空間周波数平面上の中心に位置し、 その付近に空間周波 数的にい う と こ ろの低周波成分が存在する 。 作成する フ ィ ルタは、 中心からある距離だけ離れた点を強調の最高点と し、 その点を境界と して低周波成分及び高周波成分に対す る重み付けの値を減少させるよ う なものとする 。 このよ う な性質を持つ重み付け鬨数は種々のものが考え られ、 以下 に示すフ ィ ルタはその一例である 。
空間周波数平面の中心 Oの座標を ( U 0 , V 0 ) 、 同平 面上の注目点 P の座標を ( U , V ) とする と 、 O Pの距離 tは
t - ( ( u - u 0 ) 2 + ( V - V 0 ) 2 ) 1/2 で表される 。 また 、 重み付けの値を wとする と 、 wは t に ついての鬨数 w (t) と して表され、 その値は 0≤w (t) ≤ « を満たす。 な は重みの最大値である 。 こ こで作成する フ ィ ルタは、 0 を中心と し、 w ( t ) の最大値を与え る点の集 合か ら な る 円の直径を P と す る と 、 0 t < p Z 2及び P Z 2 ≤ t のそれぞれの場合に対して別個の鬨数から成る も ので、 0 tく p 2においては COS関数、 P / 2≤ t においては正規分布関数を利甩する 。
作成する フ ィ ルタの COS鬨数部において 、 その振幅を A とする 。 cos鬨数部は正規分布閧数部と t = P Z 2におい て連続であ り 、 w ( p / 2 ) = α であ る ものとする 。 また、 t = 0 で極小値を と らねばならない。 これらの条件を満た す鬨数と して 、 式(a) を得る 。
w (t) = α - A - A - cos( t · π / ( P / 2 ) )
( 0 ≤ t < p / 2 ) (a) 式(a) の鬨数は t = P 2 において最大値 a 、 t = 0 (空 間周波数領域上の中心) において最小値 " — 2 A を と る 。
一方、 正規分布鬨数部は、 t = P Z 2において最大値《 を と り 、 cos関数'部と連結する 。 このよ う な閬数において 標準僵差を とする と 、 式(b) が得られる 。
w ( t) = a - exp(- 0.5( ( t - ( p / 2 ) ) / a ) 2 )
( P / 2 ≤ t ) (b) 式(b) において は cr = ( C T R - ( p / 2 ) ) / r ( C T R : 中心の x座標の値、 r : 実数 ) で与え られる 。 なお 、 P = 0 の場合は式(b) のみを適用する 。
式( a ) 及び式( b ) において 、 a 、 A , Ρ及び r をパラメ ータ とする こ と によ り強調の程度の異なる フ ィ ルタ を得る こ と ができ る 。 第 5 図は以上の条件によ り作成される フ ィ ルタの形状の例であ り 、 α = 4 , A = 1.5 , Ρ = 60, r = 4 が与え られて いる 。 ノ イ ズ抑制効果を持つフ ィ ルタ リ ン グを実現する には、 ノイ ズ成分が多 く 含まれている と 考え られる高周波成分を抑制する よ う に し 、 例えば、 《 = 1 , A = 0 , p = 0 , r = 3 に設定すればよ い。 また 、 画像強 調効果を持つフ ィ ルタ リ ングを実現するためには、 原画像 の構造パターンの情報を多 く含むと考え られる周波数帯域 を強調し、 その帯域よ り高周波の成分を抑制 し、 例えば《 = 3 , A = 1 , p = 50, r = 4〜 7に設定すればよい。
この第 1 実施例によれば、 R , G , Bの各画像信号を空 間周波数成分に分解して 、 空間周波数的にノイ ズ抑制機能 を有する フ ィ ルタ関数とか強調機能を有する フ ィ ルタ鬨数 を設定して空間周波数成分に分解した各面像にフ ィ ルタ リ ング処理を行う よ う に しているので、 原面像の構造パター ンに応じて フ ィ ルタ関数を適切に設定する こ と によ り 、 ノ ィ ズを抑圧して 、 所望とする構造を鮮明化して表示でき る 。 従って 、 内視鏡画像を観察 した診断を行う 場合、 非常に有 効となる 。
次に本発明の第 2実施例について説明する 。
第 2実施例に係る 内視鏡装置の構成は第 1実施例と 同様 であ り 、 又、 第 2実施例の画像処理装置 104 の構成は第 1 実施例と 略同様であ るが、 その処理內容は第 4図に示すも の と異な り 、 第 6図に示す処理を行う 。
尚、 この実施例では、 面像処理装置 104 の C P U 121 は、 第 1実施例の構成に加えて 、 第 2図に一点鎖線で示すよ う に、 座標 (軸) 変換処理部 121 eと 、 座標 (軸) 逆変換処理 部 121f と を有して いる 。 前記座標 (軸) 変換処理部 121eは、 R , G , Bの複数の色信号に分解された内視鏡画像の各信 号を 3軸 (例えば、 1軸, 2軸, 3軸, 或は X軸, Y軸, Z軸と 呼ぶも のと する 。 ) のデータ に座標 (軸) 変換する 処理部であ る 。 尚ま た、 前記各軸は、 例えば情報入力装置 122 からのデータ入力によ り C P U 121 を介して任意に選 択設定でき る よ う になつて いる 。 そ して 、 これら各軸を設 定するデータは、 例えば主記憶装置 123 に外部よ り 格納す る こ と ができ る よ う になつて いる 。 また、 座標 (軸 ) 逆変 換処理部 121 fは、 前記各軸のデータ を 、 R, G , Bの各色 信号に逆変換する処理部であ る 。
第 2 図に示すよ う にメ モ リ (1 )36a〜メモ リ (3)36cに格納 されて いる R , G , B画像は、 第 6 図のステ ップ S 11で示 すよ う に座標変換の処理が行われ、 このステ ッ プ S 11によ り R , G , B に替わ り 、 3 つの軸であ る①軸, ②軸, ③軸 のデータ が生成される 。 そ して 、 ステ ッ プ S 12によ り 、 各 軸のデータが順次取込まれ、 取込まれた各データ に対 して ステ ッ プ S 13に示すよ う に 2 次元離散的フー リ エ変換が行 われ、 実数項 ar(l!) 及び虚数項 ai (t) が生成される 。
これらの実数項 ar(t) 及び虚数項 ai (t) に対 しては第 1 実施例のよ う に重み付け閧数 w ( t ) を用いてステ ップ S 14 に示すよ う にフ ィ ルタ リ ングが行われ、 フ ィ ルタ リ ング処 理済の関数の実数項 b r ( t ) 及び虚数項 b i ( t ) が生成される 。 これらの実数項 br(t) 及び虚数項 bi (t) に対 して 、 ステ ツ プ S 15に示すよ う に 2 次元離散的フー リエ逆変換が行われ る 。 そ してステ ッ プ S 16によ り全軸に対する処理が終了 し たか否かの判断が行われ、 全軸に対してステ ップ S 12〜 S 15の処理が行われる と 、 ステ ッ プ S 17に示すよ う に座標逆 変換の処理が行われ、 その後処理結果画像がモニタ 1 0 6 に 表示される こ と になる 。
上記ステ ツプ S 1 1における座標変換の一例を式(c ) 又は ( cノ)に示す
M l · M 2 - M 3 ( C つま り
Figure imgf000020_0001
こ こで、 M 1 は座標変換行列 、 M 2 は R , G , B画像 β号 によ る行列、 M 3 は座標軸変換によ り生成された①軸, ② 軸及び③軸によ る行列を表わす
上記座標変換行列 M 1 によ つて 、 新たに生成される各座 標軸において 、 前述のフ イ ブレタ リ ングを適用する 。 具体的 には、 ①軸のみ強調効果を持つフ ィ ルタ リ ングを行い、 ② 軸及び③軸に対してはノ ィ ズ抑制効果を持つフ ィ ルタ リ ン グを行 う か、 あ る いは①軸及び②軸に対 して強調効果を持 っフ ィ ノレタ リ ングを行い、 ③軸に対 しては ノィ ズ抑制効果 を持つフ ィ ルタ リ ングを行う 。 また 、 座標逆変換は、 次式 ( d ) 又は ( d ' )に示すよ う に、 行列 Μ 1 の逆行列 Μ 4 の適用 によ り 実現される
M 4 ■ M 5 = M 6 ( d ) つま り
斩た な «ι
Figure imgf000021_0001
こ こで、 Μ 4 は座標変換行列 Μ 1 の逆行列 M 5 は強調処 理後のデータ行列、 Μ 6 は強調処理後の R G , B画像信 号によ る行列を表わす。
尚、 座標変換行列 M l は、 通常の内視鏡画像に対しての ものであ り 、 染色剤を使用 した画像に対 しての強調処理を 行 う 場合には異なる座標変換行列を適用する こ と も あ り得 る 。 さ ら に、 画像によ り適応的に決定 して も よ い。
この第 2 実施例は第 1 実施例と ほぼ同様の作用効果を有 する と 共に、 座標変換を行う こ と によ り 、 注目する構造等 に対 して よ り 鮮明化でき る フ ィ ルタ リ ング処理画像を得る こ と ができ る場合がある 。
尚、 フ ィ ルタ リ ングを行 う 重み付け関数 w ( t ) のパラメ 一タの値等を順次変えて処理画像を順次表示又は記憶 し 、 術者は任意の処理画像、 例えば注目する部位を最も鲜明化 でき る処理済面像を選択でき る よ う に して も良い。
第 7 図ない し第 1 6図は第 3実施例の画像処理方法を示 し て いる 。 画像処理装置は第 2実施例において説明 したもの が用い られる 。
前記画像処理装置 1 04 は、 第 7 図のステ ッ プ S 2 1で各メ モ リ 36 a , 36 b , 36 c から 、 それぞれ R , G , B映像信号 を入力する 。 そ して 、 画像処理装置 1 04 は、 第 7 図に示す — — よ う に、 R , G , B画像に対する座標軸変換を行 う ステ ツ プ S 22、 2 次元雜散的フーリエ変換の処理を行う ステップ S 24、 いわゆる フ ィ ルタ リ ングを行う ステ ッ プ S 25、 2次 元雜散的フー リェ逆変換を行う ステ ッ プ S 27、 座標軸逆変 換を行 う ステ ップ S 29等を舍む処理群と 、 第 8図に示すよ う に、 座標軸変換を行 う ための 3 X 3行列及びその逆列を 導出する各ステ ップ S 31ない し S 36等を含む処理群と を備 えている 。 前記面像処理装置 104 は、 メモ リ ( 1〜 3 ) 36a 〜36c からの R , G , B各画像信号に対して処理を行う 。 尚、 本実施例における 2次元離散的フー リエ変換及び逆変 換はすべて 中心部に直流成分が配置される 、 いわゆる光学 的フー リエ変換に相当する係数配置がなされている ものと する 。
一般に非染色の内視鏡撮像面像を構成する澳度値情報の 変動は、 R画像において大であ るが、 それらは主と して 、 低周波成分における ものであ る 。 そ して 、 実際の臓器粘膜 表面の微細な特徴に鬨する情報は、 G画像及び B画像に依 存する傾向が強い。 また、 潢度値の情報は、 各画像によ り 異なった分布を示し、 例えばイ ンジゴ · カルミ ン染色を行 つた場合等、 前記特徴に鬨する情報が R画像に多ぐ含まれ る ものも存在する 。
第 11図は、 例と して 256階調面像の各面素における R及 び Gデータの相関の分布の概念を示したものである 。 こ こ では説明のため濃度値を 2次元データ と して扱 う が、 実際 の ( 図示 しない 〉 B データは Gデータ と類似性を有 して い る 。 第 1 1図に示される瀵度情報の分布には、 面像における 低周波成分及び高周波成分をすベて含んでいるが、 臓器粘 膜表面の特徴を示す情報 (以下、 特徴成分と 記す) は、 主 にあ る帯域の高周波成分に存在する 。 本実施例においては、 こ の点に着目 し 、 帯域通過フ ィ ルタ リ ングの適用によ り 前 記特徴成分を含むと思われる帯域を抽出する 。
第 1 2図は、 第 1 1図の R及び Gデータに対する帯域通過フ ィ ルタ リ ング適用後の相関の分布の概念を示すも のである 。 通常の内視鏡撮像画像において 、 前記特徴を構成する高周 波成分は、 主に G (及び B ) 画像に多く 存在するため、 帯 域通過後においては Rデータ に比較 して Gデータの変動に 片寄る相関の分布を示す。 ま た、 この相鬨の分布は画像に よ り異な り 、 特に染色剤 (例えばイ ンジゴ · カルミ ン ) を 使用 した撮像画像においては、 染色剤が Rに対 して吸収さ れる性質を持っため、 特徴成分は G及び B画像よ り も R画 像に多 く 含まれる 。 各処理対象原画像に対し 、 特徴成分を 効果的に強調する ためには、 抽出された特徴成分の統計的 分布を求め、 R , G , B に替わる新たな 3軸を設定し、 そ れらの各座標軸に関 して原画像を変換 した結果に対 して強 調処理を行 う 。 以下に、 具体的な処理内容の例を提示する 。
R , G , B原画像に対 し、 最も その画像の特徴的な部位 ある いは強調処理が望まれる部位を中心部に含む例えば、 2 5 6 X 2 5 6のサイ ズの領域 ( 以下、 特徴領域 と 記す ) を第 8 図のステ ッ プ S 3 1において設定する 。 尚、 2 5 6 X 2 5 6 の 大き さ を持つ面像の中心点は、 (1 2 8 , 1 2 8 )の点に該当する 画素 と する 。 こ の特徴領域の設定は、 操作者の主観に基づ く 選出のみではなく 、 動的に行 う こ と も 可能であ る 。
9 図に示すフ ローチャ ー ト に従 う 特徴領域の 自動設定処理 は、 その一例であ る 。
通常の内視鏡画像における特徴成分は、 G画像 ( B画像 も 同 じ 、 以下 P1 じ ) において最も 多 く 含まれて いる と い う 性質を利用する こ と に よ り 、 効果的な強調処理を可能とす る座標変換行列の導出に用いる特徴領域の 定を行 う ま ず、 原画像における G画像を 、 第 9 図に示すよ う に、 ステ ッ プ S 4 1において例えば 64 X 64の大き さのブ口 、、, ク に分割 する ., これらのブロ ッ ク群から 、 あ る プロ ッ ク を特徴領域 の中心部 と して抽出する処理を行 う 。 すなわち 、 ステ ップ S 42で、 ハレーシ ョ ンが一定の割合以上含まれる ブロ ッ ク を特徴領域の中心部位候補から除外する 。 そ して 、 ステ ツ プ S 4 3で除外対象外であ った各ブロ ッ ク 内のノヽレーシ ョ ン 部を除いた濃度平均値を求める 。 続いて 、 ステ ップ S 4 4で 濃度平均値があ る一定の値を潢た さ ない、 すなわち画像の B :部であ り 、 特徴領域と して抽出する こ と に不適当 と 判断 し得る ブロ ッ ク を 中心部位候補から除外する 。 第 1 6図の例 にお いて は、 斜線で示される ブ π ッ ク群 D が Bき部の対象と なる 。 前記の一連の処理後、 除外されなかつた各ブロ ッ ク 内の濃度平均値を ステ ッ プ S 4 5において求め 、 得られた値 新た , に最も近い漉度平均値を持つブロ ッ ク を特徴領域の中心部 位と規定する 。 ステ ップ S 46で、 前記ブロ ッ ク を 中心部位 に含む 256 X 256 の特徴領域を抽出する 。 画像の端部等、 256 X 256の大き さ を満たす領域が得 られないプロ 、、, ク が 選択された場合には、 次いで前述の値に近い漉度平均値を 持つ、 特徴領域を抽出 し得る ブロ ッ ク を中心部位と する 。
次に、 第 8図のステ ップ S 32での特徴領域における各画 素の R , G , Bデータそれぞれに対 し、 ステ ッ プ S 33で画 像の中心を 1 と し、 中心からの距離 (画素数に相当する ) n に関 して減少し、 n = 128 で 0 と なる 、 次式に示す COS 関数によ る重み付け閧数の乗算を適用する 。
wc ( n) = 0.5 X cos( n % / 128) + 0.5 (1 ) 第 13図( a ) は特徴領域画像の中心を通る線分上の各酉素 に対する重み付けの値の変化を示す。 ま た 、 第 13図(b) に おいて斜線部に示される n 〉 128 と なる領域については、 すべての重み付けの値を 0 と する 。 つま り 、 式(υ に示す 重み付け鬨数 wc ( η) は、 雨像の中心点に閧して同心円状に 同 じ値が適用される 。 第 13図(b) において示されて いる 円 は、 n 128 の点にを示 してお り 、 斜線部は n > 128 と な る部位を表 して いる 。 すなわち 、 式(1) によ る重みは n ≤ 128 において適用され、 該当 しない点には無条件に 0 を乗 じて いる 。 こ の処理は、 後述の帯域通過フ ィ ルタ リ ングに おける処理での、 周辺部の不連続性によ る帯域通過画像の 歪の発生を低減する働き を有する 。 さ らに、 第 8図のステ ップ S 33で、 C O S鬨数によ る重み 付け処理を施した特徴領域面像に対し、 ステ ップ S 34で、 帯域通過フ ィ ルタ リ ングを施す。 第 1 0図はこの帯域通過フ ィ ルタ リ ングの処理の具体例を示すフ ローチャー トである 。 R , G , B各画像に対し、 第 1 0図のステ ップ S 5 1で 2次元 離散的フー リエ変換を施した後、 ステ ップ S 52において例 えば第 1 5図に示す通過特性を有する フ ィ ルタ リ ングを行う 。 こ こで通過させる帯域は、 前述の、 内撮像面像において最 も特徴成分を含む と思われる周波数帯域に設定する 。 次に、 第 1 0図のステ ップ S 53で、 2 次元離散的フー リエ逆変換を 行 う 。 座標変換行列の導出には、 第 1 4図に示すよ う に、 前 述した処理によ り得られる面像の中心部を含む 1 2 8 X 1 2 8 の領域画像 (以下、 特徴画像と記す) を用いる 。 得られた 画像は、 原面像から特徴成分のみを抽出 したものであ り 、 R , G , B各データの相鬨の分布の概念は、 例えば第 1 2図 に準ずる ものとなる 。 そ して 、 第 8図のステ ップ S 35で特 · 徴領域の R , G , B全面像にわたって処理したか否かを判 断し、 処理終了の場合、 次のステ ップに移る 。
そ して 、 前述した処理の適用によ り得られた特徴面像に 対し、 特徴成分における R , G , Bデータの統計的分布を 求めるために、 第 8図のステ ップ S 36において K L変換を 用いた座標変換 · 逆変換行列決定処理を適用する 。 K L変 換は 、 入力面像データの統計的分布に基づき 、 適合する新 たな直交閧数系 を機械的に導出する 処理である 。 なお、 K L変換については、 文献 ( 「デ ィ ジタル画像処理工学」 手塚慶, 北橋忠宏, 小川秀夫著, 日刊工業新聞社刊, 第 38 ページ〜第 43ぺ一ジ ) に詳 しいので詳細は省略する 。 ステ ッ プ S 36を経る こ と によ り 、 座標軸変換に利用される 3個 の 3 次元べク トルが得られる 。 変換後の座標軸と なる X , Υ , Z各軸は、 これらの 3個のベク トルの固有値が最大で あ る ものを X軸、 最小である ものを Z軸と して規定される 。 X , Y , Z各軸を規定する各ベク トルを 、 それぞれべク ト ル ax ( a 11, a 12 , a 13 ) 、 ベク ト ル ay ( a 21 , a 22 , a 23 ) 、 ベク トル az ( a 31 , a 32 , a 33 ) とする と 、 R , G , B空間か ら新たな 3軸によ る X , Y , Ζ空間への座標 軸変換は、 下記の式( 2 ) に示される行列演算によ り実現さ れる
Figure imgf000027_0001
こ こで、 式( 2 ) における 3 X 3 ベク トル行列を行列 M 1 とする と 、 座標軸逆変換は、 X , Y , Zデータ に対する行 列 M 1 の逆行列の乗算によ り実現される 。
第 7 図のステ ッ プ S 21では、 第 8図のステ ッ プ S 36にお いて生成された座標軸変換行列を用いて式(2) に示 した演 算を行い、 R , G , B原面像における 各画素の ( r , g , b ) データ を ( χ , y , 'ζ ) データ に変換する 。
第 7 図のステ ッ プ S 24においては、 ステ ップ S 23での X , Y , Ζ各画素に対し、 2次元離散的フー リ エ変換を行う 。 ステ ッ プ S 25における フ ィ ルタ リ ングは、 ステ ッ プ S 24 での 2次元雜散的フー リエ変換によ って生成されるデータ の実数項 a r ( t ) 及び虚数項 a i ( t ) に対する 、 後述する ステ ッァ S 26での重み付け閧数と の乗算によ って実現される 。 こ の重み付け関数は、 X , γ , z各面素に対し、 各々に適 当なも のを与え る 。 具体的には、 例えば特徴成分を多く 含 む X面像に対 し強調効果を持つフ ィ ルタ リ ングを行い、 Y 及び Z画像に対 してはノ イ ズ仰制効果を持つフ ィ ルタ リ ン グを行 う よ う な重み付け関数を適用する 。
ステ ップ S 26でフ ィ ルタ リ ング終了後、 ステ ップ S 27に おける 2 次元離散的フー リエ逆変換によ り 、 強調処理結果 適甩後の X , Y , Z各画素が得られる よ う になつている 。
ステ ッ プ S 26における フ ィ ルタ リ ングに使用する重み付 け関数を作成する処理は、 以下のよ う に行 う 。
いわゆる光学的フー リエ変換では、 画像の全体的な濃度 値を決定する直流成分が空閩周波数閉面上の中心に位置し、 その近辺に空間周波数的にい う と こ ろの低周波成分が存在 する 。 作成する フ ィ ルタは、 中心からあ る距離だけ離れた 点を強調の最高点と し、 その点を境界と して 、 低周波成分 及び高周波成分に対する重み付けの値を減少させる よ う な もの とする 。 このよ う な性質を持つ重み付け鬨数は種々 の も のが考え られ、 以下に示すフ ィ ルタはその一例である 。
空間周波数平面の中心 0の座標を ( u 0 , V 0 ) 、 同平 面上の注目点 Pの座標を ( u , V ) と する と 、 O P の距離 Xは
x = { ( u - u O ) 2 + ( v - v O ) 2 } 1 /2 で表される 。 また、 重み付けの値を w とする と 、 wは X に ついての鬨数 w (x) と して表され、 その値は、 0 ≤ w (X)
≤ « を満たす。 《 は重みの最大値である 。 こ こで作成する フ ィ ルタは、 〇 を 中心と し、 W (X) の最大値を与え る点の 集合からなる 円の直径を P と する と 、 0 ^ Χ < Ρ Ζ 2及び Ρ / 2 < Xのそれぞれの場合に対 して別個の関数から成る も ので、 O x く Ρ Ζ 2 においては、 cos閧数、 Ρ Ζ 2 ^ X においては正規分布閧数を利用する 。
作成する フ ィ ルタ の cos鬨数部において 、 その振幅を A と する 。 cos関数部は正規分布鬨数部と X = p 2 におい て連続であ り 、 w ( p / 2 ) α であ る も の と する 。 ま た 、 X = 0 で極小値を と らねばな らない。 これらの条件を満た す閧数と して 、 下記の式(3) を得る 。
w (X) = - A - A · C0S{ x . % / ( p/2 ) }
( 0 ≤ X < P / 2 ) …… (3) 式(3) の閧数は、 X = P / 2 において最大値 α 、 χ = 0 (空間周波数領域上の中心 ) において最小値 α — 2 Α を と る 。 このよ う な鬨数において標準偏差を び とする と 、 下記 の式( 4 ) が得られる 。
w (X) = a - exp C - 0.5{ (x- ( P / 2 ) )/ a } 2 )
( P / 2 ≤ x ) (4) 式( 4 ) において は 、 ( C T R - (p/2) ) / r ( C T : 中心の x座標の値、 r : 実数) で与え られる 。 なお、 P = 0 の場合は式 (4) のみを適用する 。 式(3) 及び式(4) において 、 な , A , P 及び 1- をパラメ一夕 とする こ と によ り強調の程度の異なる フ ィ ルタ を得る こ と ができ る 。 第 15 図は前記の条件によ り 作成される フ ィ ルタの特性の例であ り 、 " = 4 , A = 1. , p - 60, r = 4 が与え られて いる ノ イ ズ抑制効果を持つ フ ィ ルタ リ ングを実現する には、 ノ ィ ズ成分が多 く 含まれて いる と考え られる高周波成分を抑 制する よ う に し . 例えばな = 1 , A = 0 , p -—- 0 , r - 3 に設定すればよ い。 また 、 画像強調効果を持つフ ィ ルタ リ ングを実現する ためには、 原画像の構造パター ンク〕情報を 多 く 含む と 考え られる周波数帯域を強調し 、 その帯域よ り 髙周波の成分を抑制 し、 例えば α = 3 , A = 1 , p = -- 50 , r - 4 〜 7 に設定すればよ い。
第 7 図のステ ッ プ S 28で、 X , Υ , Z各面素に対する ス テ ツ プ S 27ま でのすベての処理が終了か否か判断する 。 終 了後、 ステ ツ プ S 29で座標軸逆変換を行って 、 強調処理結 果 R , G , B画像が得られる 。 具体的には行列 M ] の逆行 列 M 2 によ り 、 下記の式( 5 ) に示すよ う に 、 前述した処 ¾ が施された各画素の ( X ' , y ' , z ' ) データ に閼 して 適用すれば良い ,
新たな用紙
Figure imgf000031_0001
再び R , G , B面像に戻 り 、 第 7 図のステ ップ S 30で、 前述した処理によ って各画素の ( r ' , も ' , b ' ) デ一 タが得られる 。 そ して 、 第 1 図に示すモニタ 106 によ り 、 R , G , B処理結果を画像と して表示する 。
本実施例では、 画像処理装置 104 において 、 R , G , B 原画に対 して 、 粘膜表面の微細模様を強調する と共に、 ノ ィ ズを抑制 した明瞭な画像を得る こ と ができ る 。
尚 、 以上の処理を行 う に際 し、 原画像に対する 前処理と して 、 ノ イ ズ除去処理 ( 例えば、 3 X 3のマス クサイ ズを 持つ メ デ ィ ア ン フ ィ ル タ ) を方 して も 良い。
特徴領域の 自動設定方法は、 本実施例に示 した例に限定 される も のではな く 、 種々の方法が考え られる も のであ る ま た、 第 8図のス テ ッ プ S 36における座標変換行列決定を 行 う 手法は、 K L変換利用によ る ものに限定される もので はな く 、 処理対象画像に対 し適応的に座標変換行列を導出 する ものであれば適宜使用可能であ る 。 さ らに、 本実施例 における各処理は、 並列処理と して実現し得る も のである < 本実施例における行列は、 画像によ り逐一求める もので はな く 、 例えば R画像に関する分散の違いによ り 、 あ らか じめ導出 しておいた ものを適用する こ と も可能であ る 。
また 、 前述の各実施例において 、 第 4 図 S 1 〜 S 3 、 第 6 図 S 13〜 S 15、 第 7 図 S 24〜 S 27に示される 2次元離散 的フー リエ変換及び重み付け鬨数を用いた強調ある いはノ ィ ズ抑制処理及び、 第 8図 S 34に示される帯域通過フ ィ ル 夕 リ ングは、 畳み込みによ るマスク演算と して も実現可能 である 。 また、 その際は第 8図 S 33における COS鬨数によ る重み付けは不要と なる β
例 え ば 、 第 7 図の処理は第 17図に 、 第 8図の処理は第 18図に示す処理に置き 替え られる 。 畳み込みに使用する マス ク は 、 空間周波数平面上での帯域通過特性が前述の 実施例中 における 各フ ィ ルタ リ ングの も のに類似した も の を適用すれば よ い 。 マスクの設定は例えば文献 ( JAHES 11. HcCLE LLAN , " A Computer Program for Designi ng O t i mum FI R Li near Phase Dig i tal Fi l ters" , IEEE TRANSACTIONS ON AUDIO AND E LECTROACOUST I CS , VOL. AU-21. a 6 , pp.506 - 626, DECEMBER 1978. )及び文献 ( H a r u o K A T 0 , " Des i gn i ng of Two- Dimensional FIR Fan F i l ters by P o u r i e r Reconstruct i on " , THE TRANSACTIONS OF THE IECE OF JAPAN, VOL. B 63, Na 12 , pp.849-854, DECEMBER 1980. )に記載されている 。

Claims

請 求 の 範 囲
1 . 複数の色信号に分解された内視鏡画像の各信号を 、 面 像の統計的特徴に基づいて新たな複数の色信号に変換する ためのベルクル群を設定する と共に、 前記内視鏡爾像の色 信号を 、 新たな色信号に前記ベク トル群を用いた行列演算 によ り変換する色信号変換手段と 、
前記色信号変換手段によ り生成される新たな複数の各色 信号に対 し、 フ ィ ルタ リ ングを施すフ ィ ルタ リ ング手段と 、 前記フ ィ ルタ リ ング手段によ り フ ィ ルタ リ ングを適用 し た後の前記新たな複数の色信号に対 し、 前記行列演算に用 いた行列の逆行列を用いた行列演算によ り 、 当初の複数の 色信号に変換する手段と 、
を含むこ と を特徴と する 内視鏡画像処理装置。
2 . 請求の範囲 i の内視鏡画像処理装置であって 、 前記フ ィ ルタ リ ング手段は、 強調処理フ ィ ルタ 、 ノ イ ズ抑制フ ィ ル夕の少な く と も いずれかを用いる こ と を特徴とする 内視 鏡画像処理装置。
3 . 請求の範囲 1 の内視鏡画像処理装置であって 、 前記フ ィ ルタ リ ング手段は、 各色信号が含む情報に基づいて使用 する フ ィ ルタ を決定する こ と を特徴とする 内視鏡画像処理 装置。
4 . 請求の範囲 1 の内視鏡画像処理装置であって 、 前記フ ィ ルタ リ ング手段は、 ノ イ ズ成分が多 く 含まれる可能性の あ る周波数成分を抑制する ノ ィ ズ抑制フ ィ ルタ リ ングと 、 原画像の構造パター ンの情報を多く 含む周波数蒂域を強調 する面像強調フ ィ ルタ リ ングと を含むこ と を特徴とする 内 視鏡画像処理装置。
5 . 請求の範囲 1 の内視鏡画像処理装置であって 、 前記フ ィ ルタ リ ング手段は、 染色法を用いない通常の R , G , B 内視鏡画像の場合、 Rの面像に対してはノイ ズ抑制効果を 持つフ イ ノレタ リ ングを行い、 G及び Bの各画像に対しては 強調効果を持つフ ィ ルタ リ ングを行う 重み付け鬨数を適用 する こ と を特徴とする 内視鏡面像処理装置。
6 . 請求の範囲 1 の内視鏡画像処理装置であって 、 前記フ ィ ルタ リ ング手段は、 ある軸に対しては強調効果を持つフ ィ ルタ リ ングを行い、 ある軸に対 してはノイ ズ抑制効果を 持つフ ィ ルタ リ ングを行う こ と を特徴とする 内視鏡画像処 理装置。
7. 請求の範囲 1 の内視鏡画像処理装置であって 、 色信号 変換手段の前段に、
複数の色信号に分解された内視鏡画像から 、 特徴的な部 位或は強調処理が望まれる部位を含む特徴領域を設定する 特徴領域設定手段と 、
前記設定された各色信号毎の特徴領域画像に対し、 所定 周波数蒂域のみを通過させる蒂域通過フ ィ ルタ リ ングを施 す帯域通過フ ィ ルタ手段と 、
前記通過して得られた特徴画像に対し、 各色データの統 計的分布を求めてべク トルを得る手段と 、 を備え る こ と を特徴とする 内視鏡画像処理装置。
8 . 請求の範囲 7 の内視鏡画像処理装置であって 、 前記特 徴領域設定手段は、 マニュアルで行う こ と を特徴と する 内 視鏡画像処理装置。
9 . 請求の範囲 7 の内視鏡画像処理装置であって 、 特徴領 域設定手段は、
内視鏡画像における G画像を複数ブロ ッ ク に分割する手 段と 、
前記分割された複数ブロ ッ クの画像中、 ハレーシ ョ ンが 一定割合以上含まれる ブロ ッ ク を除外する手段と 、
前記除外対象外の各ブロ ッ ク 内のハレーシ ョ ン部を除い た濃度平均値を算出する手段と 、
前記残 り のブロ ッ ク 中、 濃度平均値が所定の値を潢さな いブロ ッ ク を除外する手段と 、
前記除外されたブロ ッ ク を除いた残 り のブロ ッ ク 内の濃 度平均値を算出 し 、 この得られた値に最も近い濃度平均値 を持つブロ ッ ク を 中心部位とする特徴領域を抽出する抽出 手段と 、
を含むこ と を特徴と する 内視鏡画像処理装置。
1 0 . 請求の範囲 1 の内視鏡画像処理装置であって 、 色信号 変換手段におけるベク トル群の設定は、 K L変換によ って 設定する こ と を特徴とする 內視鏡画像処理装置。
1 1 . 請求の範囲 1 の内視鏡画像処理装置であって 、 色信号 変換手段におけるべク トル群の設定は、 予め用意された複 数のべク トル群の中から選出 し設定する こ と を特徴とする 内視鏡画像処理装置。
1 2 . 複数の色信号に分解された内視鏡面像の各信号を 、 画 像の統計的特徴に基づいて新たな複数の色信号に変換する ためのベク トル群を設定する と共に、 前記内視鏡画像の色 信号を 、 新たな色信号に前記べク ドル群を用いた行列演算 によ り変換する色信号変換手順と 、
前記色信号変換手順によ り生成される新たな複数の各色 信号に対 し、 フ ィ ルタ リ ングを施すフ ィ ルタ リ ング手順と 、 前記フ ィ ルタ リ ング手順によ り フ ィ ルタ リ ングを適用 し た後の前記新たな複数の色信号に対 し、 前記行列演算に用 いた行列の逆行列を用いた行列潢算によ り 、 当初の複数の 色信号に変換する手順と 、
を含むこ と を特徴とする 内視鏡爾像処理方法。
1 3 . 請求の範囲 1 2の内視鏡画像処理方法であって 、 前記フ . イ ノレタ リ ング手順は、 強調処理フ ィ ルタ 、 ノ イ ズ抑制フ ィ ルタの少なく と もいずれかを用いる こ と を特徴とする 内視 鏡画像処理方法。
1 4 . 請求の範囲 1 2の内視鏡画像処理方法であって 、 前記フ ィ ルタ リ ング手順は、 各色信号を含むが情報に基づいて使 用する フ ィ ルタ を決定する こ と を特徴とする内視鏡画像処 理方法。
1 5 . 請求の範囲 1 2の内視鏡画像処理方法であって 、 前記フ ィ ルタ リ ング手順は、 ノイ ズ成分が多 く 含まれる可能性の あ る周波数成分を抑制する ノ イ ズ抑制フ ィ ルタ リ ング と 、 原画像の構造パター ンの情報を多 く 含む周波数帯域を強調 する画像強調フ ィ ルタ リ ングと を含むこ と を特徴とする 内 視鏡画像処理方法。
1 6 . 請求の範囲 1 2の内視鏡画像処理方法であ って 、 フ ィ ル タ リ ング手順は、 染色法を用いない通常の R , G , B 内視 鏡画像の場合、 Rの画像に対 してはノ イ ズ抑制効果を持つ フ ィ ルタ リ ングを行い、 G及び Bの各画像に対しては強調 効果を持つフ ィ ルタ リ ングを行 う 重み付け鬨数を適用する こ と を特徴と する 内視鏡画像処理方法。
1 7 . 請求の範囲 1 2の内視鏡画像処理方法であって 、 フ ィ ル タ リ ング手順は、 あ る軸に対 しては強調効果を持つフ ィ ル タ リ ングを行い、 あ る軸に対してはノ イ ズ抑制効果を持つ フ ィ ルタ リ ングを行う こ と を特徴と する 内視鏡雨像処理方 法。
1 8 . 請求の範囲 1 2の内視鏡画像処理方法であって 、 前記色 信号変換手段のべク トル群設定は、 原面像における構造パ ターンを構成 して いる周波数成分に基づき行われる こ と を 特徴とする 内視鏡画像処理方法。
1 9 . 請求の範囲 1 2の内視鏡画像処理方法であって 、 色信号 変換手順の前に、
複数の色信号に分解された内視鏡画像から 、 特徴的な部 位或は強調処理が望まれる部位を含む特徴領域を設定する 特徴領域設定手順と.、 前記設定された各色信号毎の特徴領域面像に対し、 所定 周波数帯域のみを通過させる帯域通過フ ィ ルタ リ ングを施 す帯域通適フ ィ ルタ手順と 、
前記通過して得られた特徴面像に対し、 各色データの統 計的分布を求めてべク トルを得る手順と 、
を行 う こ と を特徴とする内視鏡面像処理方法。
2 0 . 請求の範囲 1 9の内視鏡面像処理方法であって 、 特徴領 域設定手順ほ、 マニュアルで行う こ と を特徴とする 内視鏡 画像処理方法。
2 1 . 請求の範囲 1 9の内視鏡面像処理方法であって 、 特徴領 域設定手順は、
内視鏡画像における G面像を複数ブロ ッ ク に分割する手 順と 、
前記分割された複数プロ ッ ク の画像中、 ハレーシ ョ ンが 一定割合以上含まれる ブロ ッ ク を除外する手順と 、
前記除外対象外の各ブロ ッ ク内のハレーシ ョ ン部を除い た漶度平均値を算出する手順と 、
前記残 り のブロ ッ ク 中、 濃度平均値が所定の値を溝さな いブロ ッ ク を除外する手順と 、
前記除外されたブロ ッ ク を除いた残 り のブロ ッ ク 内の濃 度平均値を算出 し、 この得られた値に最も近い濃度平均値 を持つブロ ッ ク を中心部位とする特徴領域を抽出する抽出 手順と 、
を含むこ と を特徴とする内視鏡画傺処理方法。
22. 請求の範囲 1 9の内視鏡画像処理方法であって 、 内視鏡 画像は、 染色法を用いない通常の内視鏡画像と 、 染色法を 用いた内視鏡画像と のいずれかである こ と を特徴とする 内 視鏡画像処理方法。
23. 請求の範囲 1 2の内視鏡画像処理方法であって 、 前記色 信号変換手順におけるベク トル群の導出手法と して 、 K L 変換を用いる こ と を特徴とする 内視鏡画像処理方法。
24 . 請求の範囲 1 2の内視鏡画像処理方法であって 、 色信号 変換手順におけるベク トル群の設定は、 予め用意された複 数のべク トル群の中から選出 し設定される こ と を特徴と す る 内視鏡画像処理方法。
25 . 請求の範囲 1 2の内視鏡画僳処理方法であって 、 内視鏡 画像は、 染色法を用いない通 の内視鏡画像と 、 染色法を 用いた内視鏡画像と のいずれかであ る こ と を特徴と する 内 視鏡画像処理方法。
PCT/JP1991/001576 1990-11-19 1991-11-18 Device for processing image of endoscope and method thereof WO1992008405A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP91919795A EP0511400B1 (en) 1990-11-19 1991-11-18 Device for processing image of endoscope and method thereof
DE69125146T DE69125146T2 (de) 1990-11-19 1991-11-18 Vorrichtung und verfahren zur verarbeitung von endoskopischen bildsignalen

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2/313376 1990-11-19
JP2313376A JP2997785B2 (ja) 1990-11-19 1990-11-19 内視鏡画像処理装置および内視鏡画像処理方法
JP3/79606 1991-04-12
JP03079606A JP3126996B2 (ja) 1991-04-12 1991-04-12 内視鏡画像の処理方法

Publications (1)

Publication Number Publication Date
WO1992008405A1 true WO1992008405A1 (en) 1992-05-29

Family

ID=26420625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1991/001576 WO1992008405A1 (en) 1990-11-19 1991-11-18 Device for processing image of endoscope and method thereof

Country Status (4)

Country Link
US (1) US5282030A (ja)
EP (1) EP0511400B1 (ja)
DE (1) DE69125146T2 (ja)
WO (1) WO1992008405A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305427B2 (en) 2005-03-22 2012-11-06 Olympus Corporation Image processor and endoscope apparatus

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
US5475420A (en) * 1993-06-09 1995-12-12 Origin Medsystems, Inc. Video imaging system with image processing optimized for small-diameter endoscopes
JP3724014B2 (ja) * 1994-08-25 2005-12-07 ソニー株式会社 画像認識装置および画像認識方法
JPH08102957A (ja) * 1994-09-30 1996-04-16 Hitachi Denshi Ltd 電子内視鏡装置
FI107412B (fi) 1995-06-20 2001-07-31 Teknillinen Korkeakoulu Graafi Menetelmä ja laite sähköisessä muodossa olevan kuvan visuaalisen laadun maksimoimiseksi
JP3532368B2 (ja) * 1996-12-10 2004-05-31 富士写真フイルム株式会社 内視鏡
JP4553141B2 (ja) * 2003-08-29 2010-09-29 日本電気株式会社 重み情報を用いた物体姿勢推定・照合システム
AU2004212605A1 (en) * 2003-09-26 2005-04-14 Nec Australia Pty Ltd Computation of soft bits for a turbo decoder in a communication receiver
US8098951B2 (en) * 2008-08-15 2012-01-17 Sharp Laboratories Of America, Inc. Image sharpening technique
US20110135217A1 (en) * 2008-08-15 2011-06-09 Yeping Su Image modifying method and device
JP5767775B2 (ja) 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
JP5401205B2 (ja) * 2009-08-10 2014-01-29 富士フイルム株式会社 内視鏡装置
US8588535B2 (en) 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8600188B2 (en) 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
US8538193B2 (en) 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
US8532429B2 (en) 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
US8175411B2 (en) 2010-09-28 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
JP5334952B2 (ja) 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
JP5450527B2 (ja) * 2011-08-10 2014-03-26 富士フイルム株式会社 内視鏡装置
US9854970B2 (en) * 2012-02-21 2018-01-02 Massachusetts Eye & Ear Infirmary Calculating conjunctival redness
AU2015252852B2 (en) 2014-05-02 2019-03-28 Massachusetts Eye And Ear Infirmary Grading corneal fluorescein staining
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL150985B (nl) 1967-03-11 1976-09-15 Fernseh Gmbh Schakeling voor het in- en wegregelen van televisiesignalen, alsmede daarmee uitgevoerde menginrichting.
JPS6326783A (ja) 1986-07-19 1988-02-04 Olympus Optical Co Ltd カラ−画像処理方式
JPH01121034A (ja) * 1987-11-04 1989-05-12 Olympus Optical Co Ltd カラーエンハンス機能を備えた内視鏡装置
JPH01138877A (ja) 1987-11-26 1989-05-31 Toshiba Corp カラー画像解析装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819077A (en) * 1986-05-14 1989-04-04 Kabushiki Kaisha Toshiba Color image processing system
JPS63290091A (ja) * 1987-05-22 1988-11-28 Olympus Optical Co Ltd 内視鏡用画像デ−タ圧縮装置
FR2625635B1 (fr) * 1987-12-30 1994-04-15 Thomson Grand Public Procede adaptatif de codage et de decodage d'une suite d'images par transformation, et dispositifs pour la mise en oeuvre de ce procede
JPH01192270A (ja) * 1988-01-28 1989-08-02 Fuji Photo Film Co Ltd カラー画像信号の直交変換符号化装置
JPH01238650A (ja) * 1988-03-19 1989-09-22 Fuji Photo Film Co Ltd 放射線画像の被写体認識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL150985B (nl) 1967-03-11 1976-09-15 Fernseh Gmbh Schakeling voor het in- en wegregelen van televisiesignalen, alsmede daarmee uitgevoerde menginrichting.
JPS6326783A (ja) 1986-07-19 1988-02-04 Olympus Optical Co Ltd カラ−画像処理方式
JPH01121034A (ja) * 1987-11-04 1989-05-12 Olympus Optical Co Ltd カラーエンハンス機能を備えた内視鏡装置
JPH01138877A (ja) 1987-11-26 1989-05-31 Toshiba Corp カラー画像解析装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Designing of Two-Dimensional FIR Fan Filters by Fourier Reconstruction", THE TRANSACTIONS OF THE IECE OF JAPAN, vol. B63, no. 12, December 1980 (1980-12-01), pages 849 - 854
JAMES H. MCCLELLAN: "A Computer Program for Designing Optimum FIR Linear Phase Digital Filters", IEEE TRANSACTION ON AUDIO AND ELECTOACOUSTICS, vol. AU-21, no. 6, December 1978 (1978-12-01), pages 506 - 626
KEI TEZUKA; TADAHIRO KITAHASHI; HIDEO OGAWA: "Diqital Imaqe Processinq Enqineerinq", THE NIKKAN KOGYO SHIMBUN LTD, pages: 38 - 43
See also references of EP0511400A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305427B2 (en) 2005-03-22 2012-11-06 Olympus Corporation Image processor and endoscope apparatus

Also Published As

Publication number Publication date
US5282030A (en) 1994-01-25
EP0511400B1 (en) 1997-03-12
DE69125146D1 (de) 1997-04-17
EP0511400A4 (en) 1993-05-05
EP0511400A1 (en) 1992-11-04
DE69125146T2 (de) 1997-10-09

Similar Documents

Publication Publication Date Title
WO1992008405A1 (en) Device for processing image of endoscope and method thereof
JP4370008B2 (ja) 内視鏡画像処理装置
JP6577088B2 (ja) 内視鏡システム
JP5591570B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP1576920B1 (en) Imaging device
EP1568307B1 (en) Image processing device and image processing method
WO2011080996A1 (ja) 画像処理装置、電子機器、プログラム及び画像処理方法
JPWO2007119297A1 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5844230B2 (ja) 内視鏡システム及びその作動方法
CN107088042B (zh) 内窥镜系统
JP2001037718A (ja) 画像診断装置及び内視鏡装置
WO2016121811A1 (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP5940604B2 (ja) 画像処理装置、画像処理装置の作動方法及びプログラム
JP3126996B2 (ja) 内視鏡画像の処理方法
JPH0935056A (ja) 画像処理装置
JP7256275B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP2997785B2 (ja) 内視鏡画像処理装置および内視鏡画像処理方法
JP6931425B2 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
JPWO2018079217A1 (ja) 内視鏡システム及びその作動方法
JPH04193254A (ja) 内視鏡画像処理装置
Nakamura DEVELOPMENT OF REAL‐TIME ENDOSCOPIC IMAGE PROCESSING TECHNOLOGY: ADAPTIVE INDEX OF HEMOGLOBIN COLOR ENHANCEMENT PROCESSING
Zhu et al. Research on Endoscopic Image Enhancement Algorithm Based on Contrast Fusion
JP7411515B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1991919795

Country of ref document: EP

AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FR GB GR IT LU NL SE

WWP Wipo information: published in national office

Ref document number: 1991919795

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1991919795

Country of ref document: EP