CN102893137B - 用于癌症检测和定位的快速多光谱成像方法和设备及应用 - Google Patents
用于癌症检测和定位的快速多光谱成像方法和设备及应用 Download PDFInfo
- Publication number
- CN102893137B CN102893137B CN201180024411.9A CN201180024411A CN102893137B CN 102893137 B CN102893137 B CN 102893137B CN 201180024411 A CN201180024411 A CN 201180024411A CN 102893137 B CN102893137 B CN 102893137B
- Authority
- CN
- China
- Prior art keywords
- band
- light
- image
- narrow
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000000701 chemical imaging Methods 0.000 title claims description 31
- 238000001514 detection method Methods 0.000 title claims description 25
- 206010028980 Neoplasm Diseases 0.000 title description 14
- 201000011510 cancer Diseases 0.000 title description 12
- 230000004807 localization Effects 0.000 title description 2
- 238000001228 spectrum Methods 0.000 claims abstract description 167
- 238000003384 imaging method Methods 0.000 claims abstract description 83
- 230000003595 spectral effect Effects 0.000 claims abstract description 42
- 238000010521 absorption reaction Methods 0.000 claims abstract description 32
- 230000035479 physiological effects, processes and functions Effects 0.000 claims abstract description 25
- 230000000877 morphologic effect Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000005286 illumination Methods 0.000 claims description 74
- 230000009102 absorption Effects 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 210000000056 organ Anatomy 0.000 claims description 13
- 238000000985 reflectance spectrum Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000000862 absorption spectrum Methods 0.000 claims description 9
- 239000002245 particle Substances 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 210000004369 blood Anatomy 0.000 claims description 7
- 239000008280 blood Substances 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 238000000338 in vitro Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 6
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 claims description 4
- 108010002255 deoxyhemoglobin Proteins 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 108010064719 Oxyhemoglobins Proteins 0.000 claims description 3
- 210000003764 chromatophore Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 108010054147 Hemoglobins Proteins 0.000 claims description 2
- 102000001554 Hemoglobins Human genes 0.000 claims description 2
- 239000004973 liquid crystal related substance Substances 0.000 claims description 2
- 244000144985 peep Species 0.000 claims description 2
- 230000011514 reflex Effects 0.000 claims description 2
- 229910052724 xenon Inorganic materials 0.000 claims description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 claims description 2
- 238000013500 data storage Methods 0.000 claims 3
- 230000000149 penetrating effect Effects 0.000 claims 2
- 238000004497 NIR spectroscopy Methods 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 239000004744 fabric Substances 0.000 claims 1
- 108090000623 proteins and genes Proteins 0.000 claims 1
- 102000004169 proteins and genes Human genes 0.000 claims 1
- 230000008439 repair process Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 45
- 230000001766 physiological effect Effects 0.000 abstract description 2
- 230000001808 coupling effect Effects 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 description 65
- 238000005259 measurement Methods 0.000 description 17
- 238000000799 fluorescence microscopy Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 8
- 239000000872 buffer Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000001727 in vivo Methods 0.000 description 7
- 239000013307 optical fiber Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 238000004611 spectroscopical analysis Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000001590 oxidative effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000002265 electronic spectrum Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000505 pernicious effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004163 cytometry Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000287 tissue oxygenation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010008263 Cervical dysplasia Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010061523 Lip and/or oral cavity cancer Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000021096 adenomatous colon polyp Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013276 bronchoscopy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000005056 cell body Anatomy 0.000 description 1
- 208000007951 cervical intraepithelial neoplasia Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 230000003118 histopathologic effect Effects 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 208000012987 lip and oral cavity carcinoma Diseases 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 210000004962 mammalian cell Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 239000011859 microparticle Substances 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 231100001221 nontumorigenic Toxicity 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 210000004694 pigment cell Anatomy 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001055 reflectance spectroscopy Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 231100000588 tumorigenic Toxicity 0.000 description 1
- 230000000381 tumorigenic effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0607—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
- A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/125—Colour sequential image capture, e.g. using a colour wheel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/2866—Markers; Calibrating of scan
Abstract
用于根据可见光/NIR光谱图像以视频速率或近视频速率对组织生理和形态属性量化地成像的方法和设备,该方法和设备通过用一系列包含多个窄波段的光谱照射获得快速的多光谱反射图像。基于迭代光传输的反演算法可被用于根据几何形状/耦合影响以及根据散射幅度变形来修正光谱图像的强度。该方法可以产生视频速率的吸收和散射光谱图像,可以使用基于矩阵的快速反演算法进一步非常快地分析该光谱图像以产生包含与组织的生理和形态相关的信息的更详细的量化图像。
Description
发明背景
本发明要求2010年3月17日提交的61/314,893号美国临时专利申请的优先权,该临时申请通过引用包含在本申请中。
技术领域
本发明涉及用于多光谱成像的方法和设备。该方法和设备可以例如用于癌症检测和定位。一些实施例可以在适于基于图像的量化确定组织生理和形态特性的可见/NIR光谱中进行快速多光谱成像。
背景技术
对组织的生理和形态变化进行实时监测和成像提供了非常有用的诊断和治疗信息。例如,在内窥镜成像期间,这种信息对于检测不同的病理如癌症和缺血,特别是在早期阶段,是非常重要的。在内窥镜检测期间获得的光谱图像可被用于得到与组织生理和形态特性有关的信息。然而,测量几何形状的变化、绝对强度测量值的损失、光-组织相互作用的复杂性以及分析计算的成本使得真实的生理和形态特性的测量和量化在准确性和处理时间方面变得很难。
传统的内窥镜使用白光反射图像来查看表面形态,并且基于组织颜色和表面形态等外观评估内部器官。尽管物理外观的变化(例如,颜色和形态)是有用的,但是为了完成更可靠和更早的癌症和其它疾病的检测,很多研究小组已经研究了组织自动荧光的使用以提高癌变检测灵敏度。不幸的是,自动荧光成像以降低检测特异性为代价提高检测灵敏度。作为假阳性数目增加的结果,这可导致因活组织检查次数的增加而增加医疗成本。活组织检查频率的增加还增加了病人的发病率。
为了实现高诊断灵敏度和高特异性,有些人研究了点光谱模态,如反射、荧光和拉曼光谱,或者“点”显微成像模态,如共聚焦显微镜、光学相干断层扫描、多光子激发成像,作为与白光和荧光成像相结合的附加技术。
Zeng等人的美国专利6,898,458号公开了用于以白光反射模式和荧光模式二者同时成像和非接触式点光谱测量的设备和方法。可以通过将特定设计的光谱附件放在内窥镜目镜和摄像机之间来进行该非接触式光谱测量和成像。图像和光谱被同时显示在操作者观看的监视器上。
Fawzy等人的美国专利申请2009/0270702号公报描述了以下方法:分析反射光谱以获得与癌症有关的变化的量化信息,如组织中的微血管血量分数、组织血氧饱和度(生理参数)以及组织散射微颗粒量分数以及尺寸分布(形态参数)。上述两篇参考文献描述了通过光纤内窥镜的目镜进行光谱测量。该光谱测量涉及与光谱成像相对的点光谱测量。
光的吸收特性和散射特性根据光的波长而不同。这些不同是由于血管等不同吸收材料在深度方向上的分布造成的。较长波长的照明光,如红外光,提供来自组织的较深部分的信息,而较短波长的照明光给出来自表面附近的组织的信息。在组织表面附近发生的变化的检测是早期癌症检测所必须的。
几个小组已经报告了恶性和良性病变/正常组织之间光学吸收和散射特性的本质差别,并且这些变化直接与癌变期间出现的组织生理和形态变化相关。参见M.P.L.Bard,A.Amelink,V.N.Hegt,W.J.Graveland,H.J.C.M.Sterenborg,H.C.Hoogsteden,J.G.J.V.Aerts,"Measurement of Hypoxia-related parameters in bronchial mucosaby use of optical spectroscopy",Am.J.Respir.Crit.Care Med.,171,1178-1184,2005;G.Zonios,L.T.Perelman,V.Backman,R.Manoharan,M.Fitzmaurice,J.Van Dam和M.S.Feld,"Diffuse reflectance spectroscopy of human adenomatous colon polypsin vivo",Appl.Opt.38,6628-6636,1998;B.Beauvoit和B.Chance,"Time-resolvedspectroscopy of mitochondria,cells and tissue under normal and pathologicalconditions",Mol Cell Biochem.,184,445-455,1998;J.R.Mourant,T.M.Johnson和J.P.Freyer,"Characterizing mammalian cells and cell phantoms by polarizedbackscattering fiber-optic measurement",Appl.Opt.40,5114-5123,2001;J.R.Mourant,A.H.Hielscher,A.A.Eick,T.M.Johnson和J.P.Freyer,"Evidence ofintrinsic differences in the light scattering properties of tumorigenic andnontumorigenic cells",Cancer,84,366-374,1998;H.Zeng,C.MacAulay,B.Paclic,andD.I.McLeant,"A computerized auto-fluorescence and diffuse reflectancespectroanalyser system for in vivo skin studies",Phys.Med.Biol.38,231-240,1993;R.J.Nordstorm,L.Burke,J.M.Niloff和J.F.Myrtle,"Identification of cervicalintraepithelial neoplasia(CIN)using UV-excited fluorescence and diffuse-reflectancetissue spectroscopy",Lasers Surg.Med.29,118-127,2001;I.Georgakoudi,E.E.Sheets,M.G.Muller,V.Backman,C.P.Crum,K.Badizadegan,R.R.Dasari和M.S.Feld,"Trimodal spectroscopy for the detection andcharacterization of cervical precancers in vivo",Am J Obstet Gynecol 186,374-381,2002;M.G.Muller,T.A.Valdez,I.Georgakoudi,V.Backman,C.Fuentes,S.Kabani,N.Laver,Z.Wang,C.W.Boone,R.R.Dasari,S.M.Shapshay和M.S.Feld,"Spectroscopicdetection and evaluation of morphologic and biochemical changes in earlyhuman oral carcinoma",Cancer 97,1681-1692,1997;M.P.L.Bard,A.Amelink,M.Skurichina,M.den Bakkerd,S.A.Burgers,J.P.van Meerbeeck,R.P.W.Duin,J.G.J.V.Aerts,H.C.Hoogsteden和H.J.C.M.Sterenborg,"Improving the specificityof fluorescence bronchoscopy for the analysis of neoplastic lesions of thebronchial tree by combination with optical spectroscopy:preliminarycommunication",Lung Cancer 47,41-47,2005。所有这些小组的反射光谱测量都是使用插入到内窥镜仪器通道中的光纤探针进行的。另外,该光纤探针必须与组织表面接触。这些类型的光纤探针测量几何形状与成像几何形状显著不同(宽光束照明和窄点检测)。
不同的小组调查了用于研究组织病理学的多光谱或超光谱成像。例如,G.N.Stamatas,M.Southall和N.Kollias,"In vivo monitoring of cutaneous edemausing spectral imaging in the visible and near infrared",J.Invest.Dermatol.126,1753-1760,2006和G N.Stamatas,N.Kollias,"Noninvasivequantitative documentation of cutaneous inflammation in vivo using spectralimaging",SPIE Proceedings 6078,60780P,2006描述了使用光谱成像以获得包括氧血色素和脱氧血色素的各种皮肤载色体的活体2D映射。他们使用18个窄波段滤波器以获得400-970nm范围的图像。然后使用相位修正算法以获得不同波段的各个图像以消除运动伪像。
Farkas小组报告了先进的内窥镜超光谱成像系统的状态。参见Farkas等的美国专利5,796,512号;D.L.Farkas和D.Becker,"Applications of spectral imaging:detection and analysis of human melanoma and its precursors",Pigment CellRes.,14,2-8,2001;E.Lindsley,E.S.Wachman和D.L.Farkas,"The hyperspectralimaging endoscope:a new tool for in vivo cancer detection",SPIE Proceedings,5322,75-82,2004以及A.Chung,S.Karlan,E.Lindsley,S.Wachsmann-Hogiu和D.L.Farkas,"In vivo cytometry:a spectrum of possibilities",Cytometry Part A,69A,142-146,2006。它们的系统在0.25秒内获得在380-690nm范围内均匀间隔的32个波段的平行和垂直偏振的图像。基于单色仪或AOTF(acousto-optic tunable filter,声光可调谐滤波器)的可调光源和单个高速CCD摄像机被用于图像获取。包括照明光纤和两个成像光纤束的2.0mm尺寸的导管穿过仪器通道以进行超光谱成像。该小组使用了针对光纤探针点反射光谱分析开发出的算法来分析成像光谱数据,以得到散射尺寸参数图像。在临床测试中,该系统遇到由内窥镜或病人的移动导致的镜面反射干扰和运动伪像的问题。
在Fawzy的国际专利申请WO2009/052607号公报中公开了另一种系统,其描述了直接从通过顺序用两个不同波段对组织照明而获得的图像来对组织脱氧血液指标进行量化的方法。
Ayame等人的美国专利7,729,751号和Gono等人的美国专利申请2009/0023991号公报公开了使用“电子光谱成像”技术(颜色修正技术)来提高组织颜色色调变化的可视化的方法。“电子光谱成像”基于使用先前测得的光谱的样本评估来自RGB图像或窄波段图像的反射光谱。“电子光谱成像”不提供真实组织反射特性和组织生理和形态的准确表示。
Panasyuk等人的美国专利申请2007/0024946号公报公开了用于在休克和复苏期间实时或接近实时地评估组织氧饱和度、传递和分离的多光谱成像系统和方法。在该系统中,通过使用不同波长顺序照明来获得光谱图像。
人们仍然需要用于快速多光谱成像的成本效益高的设备和方法。
发明内容
本发明具有多个方面。这些方面中的一些可以独立应用,也可以与其它方面结合使用。
在一个方面,提供一种多光谱成像系统,其具有并行的多波段照明和并行的多通道成像检测,以实现视频速率的快速多光谱成像,克服了运动伪像。通过应用数据分析算法来自动修正镜面反射。
另一方面提供一种用于对物体多光谱成像的设备。该物体例如可以包括活体组织。该设备包括光源,该光源能被配置为发射具有由第一多个窄波段表征的第一光谱的光。该设备被设置为将来自该光源的光引导到该物体的区域上。该设备包括多通道成像光检测器,该多通道成像光检测器被设置为对该物体的所述区域成像并且被配置为提供多通道图像数据。图像处理设备被配置为从所述图像数据中提取多个光谱图像。所述多个光谱图像包括与所述多个窄波段中的每一个窄波段相对应的光谱图像。
另一方面提供一种用于多光谱成像的系统,该系统提供用于指示组织血液量、组织氧化、组织散射体积和组织散射尺寸参数中的两个或更多个的同时的图像。
在一个方面,本发明提供一种用于对物体多光谱成像的设备,该设备包括用于照明该物体的光源,该光源适于以至少两个窄波段同时照明,每个窄波段在可见/NIR范围内的用于产生光谱图像的不同波长内。多通道或多检测器摄像机按照同时多波段照明工作,以同时在这多个波长波段拍摄多个图像。
在一个方面,本发明提供一种产生18+个波段的照明光的光源和用于在这些波段拍摄对应的18+个光谱图像的图像检测装置。在一些实施例中,该光源被配置为产生12-52个窄波段。所获得的光谱图像被处理和分析以产生吸收和散射光谱图像。强度校准算法使用来自一个像素图像的测得的反射光谱和体外光学吸收系数,从光源、组织(被成像的客体)和该图像检测装置之间的光耦合变化/误差,修正该光谱图像的强度。
在另一个方面,本发明提供一种用于量化组织生理和形态信息的方法,该方法包括以下步骤:用至少两个窄波段的光同时照明物体;同时获取与这些波长波段相对应的多个图像,每个窄波段在可见光/NIR范围中用于产生光谱图像的不同波长内;产生多个光谱图像;使用来自图像的一个像素的测得的反射光谱和活体光学吸收系数修正该光谱图像的强度;沿着全光谱范围分开产生吸收光谱图像和散射光谱图像;以及根据获得的吸收光谱图像和散射光谱图像量化至少一个生理参数和/或至少一个形态参数。
在另一方面,本发明提供一种用于非侵入地快速多光谱成像的设备,其用于通过内窥镜系统检测和定位癌症。
在另一方面,本发明提供一种用于非侵入地快速多光谱成像的系统,其用于通过光学探针检测癌症。
在一个方面,本发明提供一种可编程的多功能系统,其可以进行白光反射成像、荧光成像和多光谱反射成像。
一些实施例应用具有三个成像通道的图像检测器。在一些实施例中这些成像检测器是可商业获得的彩色摄像机。
在另一个实施例中,本发明提供一种具有四个成像通道的图像检测器。因此,光源被编程为同时产生4个窄波段的照明。每个窄波段分别在B、R、G和NIR波段内,并且它们随着时间同时转换到不同的波长组。
在一些实施例中,该光源包括可编程光源,如数字微镜装置。
在一些实施例中,该光源包括基于滤波器轮的光源,该光源同时提供多个窄波段照明。
在其它实施例中,声光可调谐滤波器利用基于光纤激光器的超连续谱光源或者激光驱动的光源,以产生多个窄波段照明轮廓。
在一些实施例中,由光谱图像合成白光图像。
在本发明的另一方面,使用建模方法来确定用于快速多光谱成像的优化波长波段。
在另一方面,本发明提供组织血液量分布、组织氧化、组织散射体积分布和散射尺寸参数空间分布的实时成像。
在本发明的一个方面,由位于内窥镜顶端的图像检测器拍摄多光谱图像。该图像检测器覆盖有特定的滤波器图案,以便于至少三个并且优选四个通道成像(B、G、R、NIR)。
在本发明的一个方面,由具有光谱重叠的三个(R、G、B)通道的彩色摄像机拍摄多光谱图像。例如,该摄像机可以具有CCD、CMOS或APS光传感器,该光传感器包括滤波器元件的图案,该滤波器元件使不同的重叠波段的光通过。例如,该滤波器元件可以排列成拜耳马赛克图案。
在本发明的另一方面,使用校准方法分解来自标准彩色摄像机(如商用摄像机)的图像,以提供窄波段图像。
在一些实施例中,用于产生多个照明轮廓的光源包括多个固态发光器,如位于内窥镜顶端的LED。
在另一方面,本发明提供一种用于优化用于光谱成像的波段的方法。根据一个方面,该优化方法基于优化的光传输模型。
另一个方面提供用于快速多光谱成像的设备和方法,其中从多个同时的窄波段图像产生光谱图像。在一些实施例中,设备和方法以视频速率实时地同时获得多个光谱图像。所述图像可以指示生理特性,例如,组织血液量、组织氧化、组织散射体积和组织散射尺寸参数。在一些实施例中,该设备和方法另外获得白光和/或荧光图像。
还提供多光谱成像方法。该方法包括:将物体的区域曝光于具有包括多个窄波段的光谱的光;使用多通道成像检测器获取包括被曝光的物体的图像的图像数据;以及从所述图像数据中提取多个光谱图像,所述多个光谱图像包括与所述多个窄波段中的每一个窄波段相对应的光谱图像。
另一方面提供一种多光谱成像方法,该方法包括将物体的区域曝光于N个窄波段的光并且在该物体曝光于该光的同时获得该物体的图像。通过一系列步骤进行该曝光。每个步骤包括将该物体一次同时曝光于具有基本包括N个窄波段中的一组n个窄波段的光谱的光并且使用多通道成像检测器获得该物体的图像。该方法包括处理来自该多通道成像检测器的多通道图像数据以获得与该N个窄波段相对应的光谱图像。该处理可以包括将像素值的矢量乘以校准矩阵。
除了上述示例性的方面和实施例以外,通过参考附图并研究以下详细描述进一步的方面和实施例将变得明显。
附图说明
通过结合附图参考以下描述可以很好地理解本发明的结构和操作的组织和方式及其进一步的方面和优点,其中相同的附图标记表示相同的要素,其中:
图1是根据本发明一实施例的内窥镜系统的示意图;
图2是用于在不同时间以多个窄波段的不同光谱轮廓产生同时照明的旋转滤波器轮的示意图;
图2a是示出用于使多个波长波段的光通过的定制滤波器的光谱特性的图;
图3是位于内窥镜远端的光源的示意图;
图4是示例性的可编程图像获取和处理电子装置的框图;
图5是示出CCD的三个(红(R)、绿(G)和蓝(B))通道的重叠光谱响应的图;
图6是示出由于三个波长的重叠光谱响应而响应于这三个波长的CCD输出读数的图;
图7是根据另一实施例的光源的示意图,该实施例结合了为荧光成像提供照明的荧光光源和为白光反射和多光谱成像提供照明的可编程数字光源;
图8是52个数据点/波段光谱数据的ROC曲线(上面的三角符号曲线)和18个波段的数目减少的数据点的ROC曲线(下面的圆形符号曲线)的图;
图9是示出根据一示例性实施例的优化过程的流程图;
图10是示出本发明的优化过程的三个途径的准确度的图;
图11是示出带宽对本发明的优化过程准确度的影响的图;
图12是示出根据一示例性实施例的映射算法的流程图;
图13是示出根据一示例性实施例的强度校准算法的流程图,其可被用于针对测量几何形状变化修正光谱图像;
图14是示出根据一示例性实施例的快速逆算法的流程图,其可被用于对组织生理和形态特性进行量化;
图14a是示出根据本发明另一实施例的快速逆算法的流程图;以及
图15是利用本发明的方法和设备的实施例可以获得的最终图像的视图。
具体实施方式
附图和下面的说明描述了特定的示例性实施例。本领域的技术人员将会理解,下面描述的特征能够以各种其它方式结合以形成本发明的多个变体。
多光谱成像系统提供并行的多波段照明和并行的多通道成像检测以实现高速率的多光谱成像。该成像速率可以足够高以避免运动伪像。在一些实施例中,以视频速率进行成像(例如,每秒24帧或者更多)。可以通过下面描述的数据分析算法来自动修正镜面反射。
下面还描述用于修正记录的图像强度以补偿测量几何形状变化的影响的方法和设备。这种方法和设备可以与多光谱成像系统结合使用或者在其它应用中使用。例如可以在产生组织的物理、生理和形状特性的视频速率或接近视频速率的量化图像时使用该方法和设备。例如,可以在提供指示下列中的一个或多个图像的系统中提供该方法和设备:组织血液量、组织氧化、组织散射体积和组织散射尺寸分布。还可以提供白光和/或荧光图像。
一些实施例提供可编程多功能内窥镜系统,该系统可以进行白光反射成像(WLR)、荧光成像(FL)和多光谱反射成像。
图1是示出可编程多功能内窥镜系统11的功能要素的框图。系统11包括用于产生包括多个窄光谱波段中的光的照明光的光源12和用于获取和产生与所述光谱波段相对应的光谱图像的光学摄像机/检测器7。光源12发射的光可以基本上包括所述多个光谱波段中的光。在一些实施例中,光源12发射的照明光中至少50%或者至少80%的光能在所述多个光谱波段中。在所示出的实施例中,光源12包括宽波段发光器1和用于产生多个窄光谱波段的照明光滤波器2。光滤波器2可以例如包括旋转滤波器轮上的滤波器。发光器1可以包括例如氙灯,其提供波长范围在400-800nm范围内的宽光谱照明光。
在可选实施例中,光源12包括多个窄波段光源,每个发射所述多个光谱波段之一的光。例如,光源12可以包括多个发光半导体器件(例如,发光二极管LED)。
在一些实施例中,光源12适于允许构成照明光的光谱被改变。例如,在第一时间段期间,光源12可以发射第一组窄光谱波段的光,在第二时间段期间,光源12可以发射不同于第一组的第二组窄光谱波段的光。可以在多个时间段连续这样。
在一些实施例中,光源12被配置为在多个时间段重复循环,并且在每个时间段,发射多个光谱波段的照明光以使得照明光的光谱(例如,构成该时间段的照明光的特定光谱波段)逐个改变。
由光源1发射的照明光穿过滤波器2,滤波器2滤除所述多个窄光谱波段以外的光,以留下集中在所述多个窄光谱波段内的照明光。该照明光被透镜3聚焦在照明光导4上以照射组织5(被成像的物体)。被该组织反射的光被成像装置捕获,在本例子中,该成像装置包括聚光透镜(未示出)、成像光导6和检测器7。检测器7可以同时获取所述多个窄光谱波段中每一个的图像数据。这便于快速获取多光谱图像。
检测器7可以包括例如三个电荷耦合器件(CCD),如响应于400-500nm波长的光的蓝CCD、响应于500-600nm范围的波长的光的绿CCD和响应于600-800nm范围的波长的光的红/NIR CCD。检测器7可以进一步包括多个分色镜。在该实施例的一个例子中,来自成像光导6的光束进入检测器7并且成像在第一分色镜上,第一分色镜将小于500nm波长的光反射到蓝CCD,同时透射>500nm波长的光。第二分色镜将小于600nm波长的光反射到绿CCD,并且将>600nm波长的光透射到红/NIR CCD。
可选地,检测器7可以在CCD上游的光路中包括带通滤波器(例如,可以在每个CCD的前方紧邻布置一个带通滤波器)以进一步在光学上处理该入射光。该CCD可以具有比视频速率短的曝光时间以适应用于多光谱成像的快速图像获取。
该CCD获取的图像被处理单元8进一步处理为多个光谱图像。然后由分析单元9分析所获得的光谱图像,并且将得到的该组织的生理和形态图像显示在期望的输出装置上,如监视器10。分析单元9可以例如应用下面描述的建模算法。
光源12可以提供可见光和/或近红外(NIR)辐射。例如,光源12可以提供从大约400nm至至少大约800nm的可见/NIR波段的照明光。
在一些实施例中,光源12具有至少在可见光范围内发射宽波段照明的操作模式。该模式可以用于在内窥镜过程期间产生图像以引导操作员。利用光源12进行操作以发射宽波段的可见辐射,除了红通道覆盖例如600-800nm(而不是较窄的范围如600-700nm)的范围以外,检测器7可以捕获与传统RGB图像类似的图像。如上面指出的,光源12可以提供同时的多个窄波段(NB)照明(例如,在405nm、505nm和605nm)。优选地,光源12可以被快速调谐以发出具有由下一组多NB构成的光谱的照明光(例如,420nm、520nm和635nm)。在一些实施例中,每组多NB具有与检测器7具有的通道数目相同的窄波段成分。例如,对于如上所述的具有三个通道的检测器7,每组多NB可以包括三个窄波段。
如图2中所示,滤波器轮2可以用于在一系列时间段中产生照明光,使得在不同的时间段中照明光具有由不同组的三个窄波段构成的光谱。滤波器轮2可以包括多于一个滤波器。当这些滤波器中的每一个处于发光器1和被成像的物体之间的光路中时,照明光基本上由同时传送到该物体的三个窄波段构成。所述波段可以例如包括在光谱的蓝色部分中的一个波段、在光谱的绿色部分中的一个波段和在光谱的红色或红外部分中的一个波段。例如,滤波器21可以在时间段T1期间产生照明光谱26;滤波器22在时间段Ti期间产生照明光谱27;滤波器23在时间段Tn期间产生照明光谱28。在一些实施例中,滤波器轮2中的各个滤波器可以同时产生多于或少于三个窄波段。
在一些实施例中,该滤波器轮包括提供总共12至52个不同波段照明光的滤波器,每个滤波器提供两个或三个不同波段。在一些实施例中,每个滤波器的窄通带的数目等于或小于由该检测器提供的通道数目。
在一个示例性实施例中,滤波器轮2包括提供总共18个波段的照明光的六个滤波器,每次提供三个波段。在示例性的实施例中,每个滤波器提供包括不同组的三个窄波段的光的不同光谱照明轮廓。下面的表格示出18个选定波段的可能波长的一个例子。在一些实施例中,窄波段具有20nm以下的带宽。10nm栏代表针对具有10nm带宽的窄波段优化的波长选择。15nm栏是针对窄波段具有15nm带宽的情况优化的波长选择。窄波段的波长可以均匀或不均匀地间隔开。
例如,第一滤波器可以同时提供蓝波段(415nm)、绿波段(510nm或515nm)和红波段(610nm或615nm)的光。第二滤波器可以提供照明轮廓为435nm、525nm和625nm的照明光;第三滤波器可以提供照明轮廓为445nm或450nm、540nm或545nm和640nm或645nm的照明光;第四滤波器可以提供照明轮廓为460nm或465nm、560nm和665nm的照明光;第五滤波器可以提供照明轮廓为475nm、575nm和690nm的照明光;第六滤波器可以提供照明轮廓为490nm、590nm或595nm和760nm照明光。
图2a中示出滤波器轮2上定制的滤波器的示例性的传输特征。如所示出的,滤波器轮2上的该特定滤波器可以使多个波段的不同波长的光通过。另外,短波通滤波器可被用于去除透过的高于800nm的光。
利用滤波器轮2,通过使滤波器轮2转动实现了在不同光谱轮廓之间的切换。在一些实施例中,滤波器轮2以大约30r/s的速度转动。可以使用来自发光器1的光而不需要窄波段滤波,以提供用于白光反射成像的白光照明(例如,400-700nm)。这可以通过提供滤波器轮2的不具有窄波段滤波器的一个或多个扇区并且/或者提供旁通滤波器轮2的可选择的光路来实现。
图1中所示的光源12仅是可用于产生可以在检测器7的同一次曝光中成像的具有包括多个窄波段的光谱的照明光的大量适当光源中的一个例子。在一个可选的示例性实施例中,使用基于声光可调谐滤波器(AOTF)的光源或者基于液晶可调谐滤波器(LCTF)的光源。在另一个示例性的实施例中,基于数字微镜装置(DMD)的光谱可编程光源被用于提供高效的同时多NB照明。一些可在商业上获得的基于DMD的光源能够在每秒钟多达7000个光谱当中切换。这个数目将随着基于DMD光源的不断开发而增加。
在另一个可选的示例性实施例中,光源包括用于基本上同时产生多NB照明的一个或多个声光可调谐滤波器(AOTF)。例如,英国Fianium公司的SC450-AOTF型号的光源可以产生光谱具有多达八个NB成分的光。AOTF可以与基于光纤滤波器的超连续谱光源一起使用。
在另一个示例性的实施例中,光源12包括多个分开的发光器,每个发光器发射一个或多个特定波段的窄波段光。该发光器可以包括发光半导体器件,如发光二极管(LED)。在一些实施例中,该光源包括几种类型的LED,每个类型具有多个LED。
在一些实施例中,光源12位于内窥镜的远端。例如,多个LED或者LD可以位于内窥镜的远端。该配置不需要用于传输照明光的光导4。能够以高速率电子切换所述多个LED,以提供具有特定光谱特性的多个照明部分。该LED可以电接通和断开,以方便地实现同时多个波段照明并且与用于获取对应的图像的摄像机同步。这些个LED可以排列成圆形以在组织表面上实现均匀照明。
图3示出内窥镜系统的远端30具有多个LED以产生多个期望的波段的光。LED 31可以围绕透镜32安装在内窥镜的远端,其可以在成像光导6上形成图像,成像光导6接着将该图像传送到检测器7。作为选择,微型摄像机7可以直接安装在透镜32后方,这样不需要成像光导6。该激光器配置还可被用于开放场成像应用,如人皮肤的成像。
带通滤波器可以任选地布置在每个LED的发光表面上,以帮助将光谱波段窄化到期望的规格。在图3中所示的实施例中,该组三个LED 31a可以提供三个对应的窄波段(ba、ga、ra)的照明光,LED 31b可以提供与LED 31a相同或不同波长的三个对应的窄波段(bb、gb、rb)的照明光,LED 31c可以提供与LED 31a和/或31b相同或不同波长的三个窄波段(bc、gc、rc)的光。
图4示出示例性的图像获取和处理电子装置8的细节。第一成像模式被选择,然后成像信号被A/D转换器数字化,并且被发送到输入FPGA(现场可编程门阵列)用于处理。在输入FPGA内,数字化的图像被传送到输入FIFO(先入先出)图像缓冲器,然后被传送到可编程逻辑和处理单元,该单元可将该图像传送到WLR/FL(白光反射/荧光)帧缓冲器或多光谱成像缓冲器用于进一步处理。WLR图像和FL图像可以共享同一缓冲器,因为这两个成像模态通常不同时进行。具有大得多的存储器的分开的缓冲器被指定用于多光谱成像。如果该光源被编程以在同一周期中输出多个NB照明序列和WRL照明,那么这种两个缓冲器的配置还有助于同时WLR成像和多光谱成像。在输入FPGA中可以实现各种图像处理功能,如对红/近红外(R/NIR)、绿(G)和蓝(B)CCD所取得的三个图像进行的对准。
为了执行下面描述的建模技术而开发的算法被用于处理所述多光谱图像,以得到每个像素的反射光谱,然后分析该反射光谱以获得产生至少四个图像的每个像素的组织生理和形态参数,例如组织血液量图像、组织氧化图像、组织散射体积图像和组织散射尺寸参数图像。在另一个实施例中,可以产生另外的图像,如氧合血红蛋白图像、脱氧血红蛋白图像、组织水量图像和/或其它载色体分布图像。基于这些图像,可以产生将每个像素分类为良性/正常或恶性的组织诊断图像。
可以通过将用于进行多个分析的各种不同算法编程到FPGA中来结合这些算法。处理后的数字图像被输出FIFO输出到输出FPGA,FPGA将各种图像输出到不同的视频编码器(DAC)中以将所述数字图像信号转换为标准模拟视频,以显示在标准模拟监视器上。这两个图像帧缓冲器可以连接到PC计算机,使得在上述处理的任何一个阶段,所述数字图像都可以被传送到PC,以用于进一步处理和分析,并且将结果显示在计算机监视器上。PC可以安装有GPU(图形处理单元)视频处理卡,以加速图像处理和数据分析。
在可选实施例中,检测器7具有四个成像CCD,如B(400-500nm)、G(500-600nm)、R(600-700nm)和NIR(700-800nm)。在这种实施例中,光源12可适于产生光谱由四个窄波段的光构成的照明光。所述窄波段可以分别在B、R、G和NIR波段内。所述窄波段的通过波长可被控制为随时间改变。这允许进行更快的多光谱成像。
在另一个实施例中,从获取的窄波段光谱图像合成白光反射图像。可以针对每个像素产生反射光谱,使得可以通过将反射光谱乘以CIE(国际照明委员会)标准照明谱以产生辐射谱并且求该辐射谱与眼睛椎体灵敏度谱的卷积以产生最终的R、G、B颜色量来获得该像素的RGB颜色,从而显示在监视器上供操作者观看。
在可选实施例中,视频内窥镜具有安装在该内窥镜顶端的检测器(例如,CCD)。在这种实施例中,不需要图像光导6。检测器芯片覆盖有滤波器的图案以便于三或四通道成像(B、G、R、NIR)。下表中示出可能的图案。
B | G | B | G | B | G |
R | NIR | R | NIR | R | NIR |
B | G | B | G | B | G |
R | NIR | R | NIR | R | NIR |
在另一个实施例中,商用彩色成像检测器(例如,CCD、CMOS或APS检测器)可被用作检测器。该检测器可具有在拜尔滤波器马赛克中应用的滤波器以获得R、G、B图像。许多可商业上获得的成像检测器中的滤波器可以具有相互重叠的光谱响应。图5示出示例性的CCD图像检测器的滤波器的示例性滤波器特征。使用这种类型的检测器的优点是降低成本。
在滤波器特征重叠的情况下,可以进行校准过程以获得与各个窄带照射波长相对应的准确反射信号。如图6中所示,在位于B、G、R光谱波段的三个波长的同时照明下,由于三个波长的重叠光谱响应,三个图像通道中每个通道的CCD输出读数具有来自所有三个波长的贡献。假定到达CCD的光强对于蓝、绿和红窄带波长分别是I1、I2和I3,CCD蓝通道读数可具有由灵敏度T11确定的来自蓝光的贡献、由灵敏度T12确定的来自绿光的贡献和由灵敏度T13确定的来自红光的贡献。CCD蓝通道读数C1等于:
C1=T11I1+T12I2+T13I3 (1)
类似地,CCD绿通道读数C2和红通道读数C3由如下等式给出:
C2=T21I1+T22I2+T23I3 (2)
C3=T31I1+T32I2+T33I3 (3)
这三个等式可以用矩阵形式表达如下:
可以通过进行校准来确定等式(4)中所示的AT矩阵。可以通过用光I1、I2、I3分别曝光照射CCD来进行校准。
当仅由I1(I2=I3=0)照射CCD时,我们得到:
C1=T11I1T11=C1/I1
C2=T21I1即T21=C2/I1
C3=T31I1T31=C3/I1
I1可以由光功率计测得,而C1、C2和C3分别是来自CCD的B、G、R通道的读数。类似地,当仅由I2(I1=I3=0)照射时,我们得到:
T12=C1/I2
T22=C2/I2
T32=C3/I2
当仅由I3(I1=I2=0)照射时,我们得到:
T13=C1/I3
T23=C2/I3
T33=C3/I3
校准矩阵是方阵。通过求校准矩阵T的逆矩阵,我们可以从CCD读数获得校准后的光强度:
当使用不同的照射组I1、I2、I3(以不同的波长)时,需要针对新的波长组重复该校准。如果在该光谱成像系统中使用六个不同的三窄带(NB)组,则需要执行六组校准。
在可选实施例中,可以拍摄可疑区域的快照多光谱图像(其可以例如通过WLR成像和/或FL成像得到),用于离线分析(或者在线,但是没有快到以视频速率显示结果),以得到诊断用的快照生理和形态图像。
可以由图7中所示的光源产生FL成像照射。该FL成像光源可以提供用于FL成像的照明,同时可编程的数字光源或者具有一组可互换的滤波器(如滤波器轮上的滤波器)的发光器的组合可以提供用于WLR成像和多光谱成像的照明。在图7的实施例中,当镜单元44位于该图中所示的位置时,来自可编程的数字光源45A的光被阻挡,同时来自FL成像光源45B的光被反射到内窥镜光导。当镜单元44被移开时,来自可编程数字光源45a的光指向内窥镜光导。镜单元44可以在计算机控制下被螺线管或者其它致动器移动。
在一些实施例中,光源和图像获取处理电子装置二者都是完全可编程的。在这种实施例中,可以在不改变硬件的情况下以各种方式获取多光谱图像(例如,不同数目的波段或这些波段的不同位置或不同带宽)以及它们与WLR成像和各种图像分析算法的结合。
在可选实施例中,不同数目的波段可被用于多光谱成像。可以选择均匀间隔的或者非均匀间隔的波段。这些波段可以被编程到系统中,以实现多光谱反射成像。
图8示出从52个数据点/波段获得的光谱数据的ROC曲线(上面的三角符号曲线)和当使用数目减少的18个波段的数据点时的ROC曲线(下面的圆形符号曲线)。如所示出的,将每个光谱的数据点减少到18个波段轻微减小了诊断准确度,但是检测灵敏度和特异性保持相当的好(分别为80%和77%)。因此,如所示出的,相比于现有的成像内窥镜模态,即,WLR模式和FL模式,覆盖适当数目(例如,18+)波段的多光谱反射成像系统可以提供卓越的准确度。
优化波段的选择
建模和统计方法可被用于确定用于光谱成像的优化波段。基于优化的光传输模型的光谱分析算法在可编程图像获取处理电子装置和安装有用于实时数据处理和离线分析的GPU的PC计算机中实现。根据经验和/或使用优化函数的模拟光谱测量确定最小数目的波长以及最佳波长位置和带宽。一个方法是基于使用全光谱获得的评估和使用针对数目减少的波段优化的光谱获得评估之间的误差函数的数值优化(最小二乘法)。
作为例子,使用三个不同的优化函数用于选择波段的最佳数目以及它们的带宽和中心波长位置:
1.将使用连续的全光谱测量(C_f)获得的疾病分类(良性与恶性)
准确度与使用n个波段的光谱测量(C_n)获得的分类准确度之间的误差最小化。
2.将从连续的全光谱测量(OP_f)获得的光学属性与从n个波段的光谱测量(OP_n)获得的光学属性之间的误差最小化。
2.将连续的全光谱的谱线形状(S_f)和n个波段的光谱的谱线形状(S_n)之间的误差最小化。
图9中示出用于说明针对每个给定的波段数目和给定的带宽获得最佳波长位置Rn的优化过程的流程图。使用一组选定的多个波段(n)、带宽和位置(Wt)来产生对应的光谱。使用优化函数将所产生的光谱与全光谱测量(Rref)相比较。针对另一组选定的多个波段和带宽重复该处理,记录优化函数的输出,并且比较以确定最终选择。在一些实施例中,可以假定针对关注的每三个光谱检测通道(蓝400-500nm、绿500-600nm和红/NIR 600-800nm),波段的总数和带宽是相等的,进行该分析。
上述分析的结果可被用于产生示出关于近似的准确度的波段数目、带宽和波长位置之间关系的图。所产生的图可被用于选择在我们的光谱成像装置中使用的光纤的最佳设计参数(波段的数目、它们的中心波长和带宽)。
图10示出优化过程的三种方法的示例性的准确度比较,图11示出带宽对准确度的影响。
映射算法
映射算法用于获得与图像有关的多个组织生理(吸收)属性和与图像有关的多个组织形态(散射)属性。该映射算法可以包括两个部分:强度校准算法和快速反演算法。图12示出可用于以视频速率产生组织生理和形态图像的示例性的映射算法的框图。
强度校准算法200可以从所获得的光谱图像100产生修正后的反照光谱图像110、散射光谱图像160和吸收光谱图像162。散射光谱图像162和吸收光谱图像160然后可被提供给快速反演算法300以量化相关的组织生理和形态属性170和172。
在一个实施例中,组织的体外吸收谱150作为先验已知参数与修正后的反照光谱图像110一起使用,以获得修正后的吸收和散射图像160、162。
在另一个实施例中,强度校准算法200首先产生校准后的反照光谱图像110,其实际是沿着整个光谱范围的吸收与减小的散射系数的比。修正后的反照光谱图像110然后被提供给快速反演算法300以产生组织生理和形态图像130、132。注意,生理和形态参数130、132将具有与生理和形态参数170、172不同的准确度,因为它们是利用不同的建模方法产生的。
图13中更详细地示出了示例性的强度校准算法。强度校准算法200可被用于修正光谱图像的强度以说明测量几何形状变化,例如,从组织到摄像机的反射光的耦合相对于从反射标准到摄像机的反射光的耦合的变化。为此,定义并公式化两个强度校准常数:(1)测量几何形状常数(Ka),其可用于修正测量期间组织和摄像机之间耦合角度和测量距离的变化;(2)反照修正常数(Ks),其可用于修正测量值的相对强度性质并且可用于通过使用正被成像的组织的体外吸收谱作为对校准算法的已知输入从反照图像推导出吸收图像和散射图像。
该校准常数通过下面的关系式与测得的反射谱相关联:
Rc(λi)=KaRm(λi) (1)
βc(λi)=X[KaRm(λi)] (2)
μac(λi)=Y[Ks,βc(λi)] (3)
其中μs’c(λi)=μac(λi)/βc(λi)
其中Rm和Rc分别是测得的和修正后的反射率;βc和βm分别是修正后的和测得的反照率(测得的吸收与测得的散射系数之间的比);并且μac和μs’c分别是修正后的吸收和散射系数。X[]是将修正后的βc反照率与测得的反射率Rm相关联的反演光传输模式/函数,Y[]是将吸收幅度与散射幅度相关联的函数。X和Y函数的确切形状或数学公式取决于在分析中使用的光传输模型。很多已知的光传输模型,例如蒙特卡罗、扩散近似模型等,可用于本文描述的强度校准算法。
仅作为例子,当使用1-D扩撒近似模型时,X[]函数的数学公式可以为:
d1βc(λi)[(1+βc(λi)]1/2+d2[1+βc(λi)]1/2+d3βc(λi)-d4=0
其中
d1=A′+2AKaRm
d2=4AKaRm
d3=3A+2A2KaRm
d4=4A2KaRm
其中A是取决于组织反射指数的常数,并且A′=1+2/3A。
沿着三个波长应用该强度校准算法,以产生全光谱成像范围的修正后的反照光谱图像或吸收光谱图像和散射光谱图像。修正后的吸收和/或散射图像的物理意义是根据与反射强度相关的变形/影响修正的图像,该变形/影响是根据从组织到摄像机的反射光的耦合相对于从反射标准到摄像机的反射光的耦合以及相对于通常在诸如非接触式反射成像等非接触式光谱反射测量期间出现的光摄像机探针(内窥镜前端)对组织的取向的任何移动的变化得到的。该算法可以使用正被调查的组织的体外吸收谱作为先验已知的参数,沿着全光谱成像范围产生修正后的吸收和散射图像。在该强度校准算法中(在迭代/最小二乘法程序期间)使用的固定的体外吸收系数作为内部组织标准,以允许指定和分离散射幅度和吸收幅度。从而提供关于组织生理和形态属性的更鲁棒的量化数据。
如图13中所示,强度校准算法200使用正被成像的组织的波长为λ1、λ2、λ3的三个光谱图像(101)、波长为λ1、λ2、λ3的体外吸收系数(250)以及测量几何形状常数Kai和反照修正常数Ksi的随机选择的初始值(201)作为输入参数。该算法进行迭代(240和242),直到计算出的几何形状常数Kac和计算出的反照修正常数Ksc收敛。计算出的反照修正常数(Ksc)和几何形状常数(Kac)可被用于分别实时产生吸收光谱图像160和散射光谱图像162或者修正后的反照光谱图像110。该强度校准算法可以利用任何光传输模型,如扩散近似、蒙特卡罗法产生的查找表或者其它光传输模型。
在一个实施例中,计算出的反照修正常数(Ksc)和几何形状常数(Kac)被用于实时产生修正后的吸收谱图像162和散射谱图像160(图13的箭头虚线路径255)。
在另一个实施例中,该强度校准算法只沿着全光谱范围产生修正后的反照光谱图像110,而不使用任何先验信息。
图14中示出示例性的快速反演算法。快速反演算法300使用线性矩阵反演方案350以及组织吸收载色体的本征谱310和组织标准散射颗粒312作为已知标准根据吸收和散射谱图像160、162量化相关的生理和形态属性170、172。
图14a示出可供选择的快速反演算法300。快速反演算法300使用线性矩阵反演方案350和组织吸收载色体的本征谱310和组织标准散射颗粒312根据修正后的反照谱图像110量化相关的生理和形态属性130、132。
所产生的生理图像/图可以包括例如氧合血红蛋白浓度图像、脱氧血红蛋白图像、总血红蛋白浓度和/或组织水量图像。可产生的形态图像可包括散射体积图像、粘膜层厚度图像和特定的散射颗粒体积分数(如神经核体积分数)。使用线性反演方案直接根据修正后的吸收和散射图像(而不使用任何辐射传输模型)量化生理和形态组织属性是有利的,因为它可以更快速地执行快速反演算法。另外,这种线性矩阵反演方法的使用允许使用更高效的并行处理(如GPU)。
下面的数学表达式描述了在用于获得吸收谱图像的快速反演算法中使用的线性矩阵反演方案:
其中,Cm是m量化的生理属性,lcm(λn)是在λn的载色体m的本征谱,μac(λn)是在λn的相关吸收系数。
类似地,下面的矩阵描述用于获得散射谱图像的矩阵反演方案:
其中Sm是m量化的形态属性,lsm(λn)是在λn的散射颗粒m的本征谱,μsc(λn)是在λn的修正散射系数。lsm(λn)的数学公式取决于用于模拟组织散射颗粒和成分的散射颗粒模型。
如图14中所示,该快速反演算法可以将吸收和/或散射谱图像作为输入,并且通过使用线性矩阵反演方案和特定组织载色体和散射颗粒的本征谱,可以产生特定生理和/或形态属性的快速映射。
图15中示出可以被映射的生理和形态参数的例子。图15只示出了在快速多光谱成像期间获得的结果图像的一个例子,如(a)氧合图像、(b)血体积分数图像、(c)总散射颗粒体积分数图像以及(d)具体散射颗粒体积分数图像(例如,神经元体积分数)。
所获得的多个生理和形态图像可被用于癌症检测和定位以及肿瘤边缘描述,这又对治疗计划和监测有帮助。
尽管已经示出并描述了本公开的具体要素、实施例和应用,但是应当理解,本公开的范围不局限于此,因为在不偏离本公开的范围的情况下,特别是鉴于前面的教导,本领域的技术人员可以进行各种修改。因此,例如,在本文中公开的任何方法或处理中,构成该方法/处理的动作或操作可以用任何适当的顺序进行,并且不一定局限于任何具体公开的顺序。在不同的实施例中,要素和组件可被不同地配置或排列、结合和/或删除。上文描述的各种特征和处理可以相互独立地使用,或者可以用不同的方式结合。所有可能的组合和子组合都意图落在本公开的范围内。本公开中提到的“一些实施例”、“一实施例”等意思是关于该实施例描述的具体、特征、结构、步骤、处理或特性包括在至少一个实施例中。因此,在本公开中短语“在一些实施例中”、“在一实施例中”等的出现不一定都是指同一实施例,并且可以指相同或不同的实施例中的一个或多个。特别地,本文中所描述的新颖的方法和系统可体现为各种其它形式;此外,在不偏离本文中描述的本发明的精神的情况下,可以对本文中描述的实施例的形式进行各种省略、增加、替换、等效、重排和变化。
已经适当地描述了实施例的不同方面和优点。应当理解,不是根据任何具体实施例都必须实现所有这些方面或优点。因此,例如,应当认识到,可以用实现或优化一个或一组本文中教导的优点的方式执行各种实施例,而不必实现本文中教导或建议的其它方面或优点。
在本文中使用的条件用语,如“可以”、“能够”、“可”“例如”等,除非另外明确指出或者在使用的上下文内能够理解,否则一般意图表达某些实施例包括而其它实施例不包括某些特征、要素和/或步骤。因此,这种条件语言一般不意图暗示特征、要素和/或步骤是一个或多个实施例所需的,也不暗示一个或多个实施例必须包括用于在有或没有操作者素如或提示的情况下确定这些特征、要素和/或步骤是否包括在任何特定实施例中或者在任何特定实施例中进行的逻辑。没有任何单个特征或一组特征是任何特定实施例所需或不可缺少的。术语“包括”、“具有”等是同义的并且以开放的方式包含性地使用,并且不排除另外的要素、特征、动作、操作等。此外,术语“或”以其包含性的意义使用(并且不是排他的意义),使得例如当其被用于连接一列要素时,术语“或”意思是该列中的一个、一些或者所有要素。
本文中描述的实施例的示例性的计算、模拟、结果、图表、值和参数意图例示并且不意图限制所公开的实施例。可以不同于本文中描述的示例性的例子来配置和/或操作其它实施例。
Claims (60)
1.一种用于对物体多光谱反射成像的设备,所述设备包括:
光源,其能被配置为发射具有由第一多个窄波段表征的第一光谱的光,所述设备被布置为将来自所述光源的光引导到所述物体的区域上;以及
多通道成像光检测器,其被布置为对从所述物体的所述区域反射的光成像,并且被配置为提供多通道图像数据;以及
图像处理系统,其被配置为从所述多通道图像数据中提取多个反射光谱图像,所述多个反射光谱图像包括与所述多个窄波段中的每一个窄波段相对应的反射光谱图像,
其中所述图像处理系统包括强度校准模块,被配置为处理所述多个反射光谱图像以产生修正后的反照光谱图像和/或修正后的吸收和修正后的散射光谱图像,
其中,所述强度校准模块使用光传输模型从所述多个反射光谱图像计算出测量几何形状常数Ka和反照修正常数Ks。
2.根据权利要求1所述的设备,其中所述光源能被控制为改变所述光的光谱,所述设备包括控制器,所述控制器被配置为切换所述光源以发射具有由第二多个窄波段表征的第二光谱的光,所述第二光谱的所述第二多个窄波段与所述第一光谱的所述第一多个窄波段的波长出现在不同的波长处,并且所述控制器被配置为操作所述成像光检测器以在所述光源用具有所述第一光谱的光照射所述物体的所述区域的同时获得所述物体的第一多通道图像,并且被配置为操作所述成像光检测器以在所述光源用具有所述第二光谱的光照射所述物体的所述区域的同时获得所述物体的第二多通道图像。
3.根据权利要求1所述的设备,其中所述光源具有多个照射配置,在每个照射配置中,所述光源被配置为发射具有由对应的多个窄波段表征的相应光谱的光,使得对于每个不同的照射配置,所述多个窄波段出现在对应的不同一组波长处。
4.根据权利要求3所述的设备,其中所述设备包括控制器,所述控制器被配置为针对多个所选择的照射配置中的每一个照射配置重复如下操作:将所述光源切换到所选择的照射配置;以及操作所述检测器以在所述光源用具有与所选择的照射配置相对应的光谱的光照射所述物体的所述区域的同时获得对应的多通道图像数据。
5.根据权利要求1至4中任一项所述的设备,其中所述光源包括宽波段光源和包括多个滤波器的滤波器轮,所述多个滤波器中的每一个具有包括多个窄通带的相应滤波功能。
6.根据权利要求5所述的设备,其中所述宽波段光源包括氙灯。
7.根据权利要求1至4中任一项所述的设备,其中所述光源包括多个窄波段发光器。
8.根据权利要求7所述的设备,其中所述窄波段发光器包括半导体发光器。
9.根据权利要求8所述的设备,其中所述窄波段发光器包括发光二极管。
10.根据权利要求1至4中任一项所述的设备,其中所述光源包括宽波段光源和一个或多个可调谐滤波器。
11.根据权利要求10所述的设备,其中所述可调谐滤波器包括声光可调谐滤波器或者液晶可调谐滤波器。
12.根据权利要求1至4中任一项所述的设备,其中所述光源包括基于数字微镜装置的光谱可编程光源。
13.根据权利要求1至4中任一项所述的设备,其中所述多个窄波段处于包括可见光和近红外光的电磁光谱部分中。
14.根据权利要求1至4中任一项所述的设备,其中所述多个窄波段的波长在400至800nm的范围内。
15.根据权利要求1至4中任一项所述的设备,其中所述成像检测器包括多个光感测阵列,每个光感测阵列响应于相应通带中的光。
16.根据权利要求15所述的设备,其中所述多个窄波段的每个窄波段落在一个不同的所述通带内。
17.根据权利要求1至4中任一项所述的设备,其中所述检测器包括成像阵列,所述成像阵列包括被滤色器图案覆盖的光感测元件阵列。
18.根据权利要求17所述的设备,其中每个所述滤色器使来自两个或更多个所述窄波段的光通过由与所述滤色器相对应的滤波器特征所确定的量。
19.根据权利要求18所述的设备,包括包含校准信息的数据存储器,其中所述图像处理系统被配置为使用该校准信息分解所述多通道图像数据以产生与所述多个窄波段相对应的多个窄波段图像。
20.根据权利要求4所述的设备,其中所述检测器包括成像阵列,所述成像阵列包括被滤色器图案覆盖的光感测元件阵列,每个所述滤色器使来自两个或更多个所述窄波段的光通过由与所述滤色器相对应的滤波器特征确定的量,并且所述设备包括包含与每个所述照射配置相对应的校准信息的数据存储器和图像处理子系统,所述图像处理子系统被配置为使用对应的校准信息分解所述多通道图像数据以产生与所述多个窄波段相对应的多个窄波段反射图像。
21.根据权利要求17所述的设备,其中所述多个窄波段包括三个窄波段,并且所述三个窄波段包括在蓝波长范围内的第一窄波段、在绿波长范围内的第二窄波段以及在红/近红外波长范围内的第三窄波段。
22.根据权利要求1至4中任一项所述的设备,其中所述窄波段的数目等于所述多通道成像检测器的通道数目。
23.根据权利要求1所述的设备,其中所述图像处理系统被配置为基于所述修正后的反照光谱图像和/或所述修正后的吸收和修正后的散射光谱图像得到所述物体的生理图像和所述物体的形态图像中的至少一个。
24.根据权利要求23所述的设备,其中所述生理图像包括下列中的至少一个:氧合血红蛋白浓度图像、脱氧血红蛋白图像、总血红蛋白浓度图像和水量图像。
25.根据权利要求23或24所述的设备,其中所述形态图像基于下列中的至少一个:散射体积图像、粘膜层厚度图像和散射颗粒体积分数图像。
26.根据权利要求1至4中任一项所述的设备,其中所述设备被配置为内窥镜。
27.根据权利要求26所述的设备,其中所述光源处于所述内窥镜的近端,并且所述内窥镜包括光导,该光导被连接用于将来自所述光源的光传送到所述内窥镜的远端。
28.根据权利要求27所述的设备,其中所述成像检测器位于所述内窥镜的远端。
29.根据权利要求26所述的设备,其中所述光源位于所述内窥镜的远端。
30.根据权利要求29所述的设备,其中所述光源包括布置在所述成像检测器的光圈周围的多个发光二极管。
31.根据权利要求1至4中任一项所述的设备,其中所述窄波段具有20nm以下的带宽。
32.根据权利要求1至4中任一项所述的设备,其中所述设备被配置为以每秒钟24组或更多组光谱图像的速率获取所述反射光谱图像。
33.根据权利要求1至4中任一项所述的设备,能够被配置为提供白光照射配置,其中所述光源利用白光照射所述区域。
34.一种用于对物体多光谱成像的设备,所述设备包括:
光源,其用于照射物体,所述光源适于同时产生多个窄波段的光,以产生多个反射光谱图像,每个所述窄波段包含可见/近红外光范围内的不同波长,其中所述光源被配置为随着时间改变所述多个窄波段的波长以产生不同的照射光谱轮廓;
图像检测装置,其用于接收所述反射光谱图像;以及
图像处理装置,其用于处理和分析所述多个反射光谱图像并且产生修正后的反照光谱图像或者修正后的吸收和修正后的散射光谱图像,并且基于所述修正后的反照光谱图像或者所述修正后的吸收和修正后的散射光谱图像获得所述物体的至少一个生理图像和所述物体的至少一个形态图像,
其中所述图像处理装置包括强度校准模块,其被配置为使用光传输模型从所述多个反射光谱图像计算出测量几何形状常数Ka和反照修正常数Ks来获得所述修正后的反照光谱图像或所述修正后的吸收和修正后的散射光谱图像;以及快速反演模块,其用于基于所述修正后的反照光谱图像或所述修正后的吸收和修正后的散射光谱图像来量化所述至少一个生理图像和所述至少一个形态图像。
35.根据权利要求34所述的设备,其中所述光源选自宽波段光源、可编程的数字微镜光源、激光驱动的光源和发光二极管。
36.根据权利要求35所述的设备,其中所述光源包括宽波段光源,所述宽波段光源还包括具有多个滤波器的旋转式滤波器轮,每个所述滤波器同时使两个或更多个窄波段通过,每个所述窄波段在不同的波长内。
37.根据权利要求35所述的设备,包括内窥镜,其中所述光源包括位于所述内窥镜的远端的多个发光二极管,并且所述多个发光二极管被布置为以多个窄波段为所述物体的区域提供均匀的照射。
38.根据权利要求34所述的设备,其中所述不同的窄波段波长间距相等。
39.根据权利要求34所述的设备,其中所述不同窄波段波长间距不相等。
40.根据权利要求34所述的设备,其中所述多个窄波段包括在蓝波长范围内的至少一个窄波段、在绿波长范围内的至少一个窄波段以及在红/近红外波长范围内的至少一个窄波段。
41.根据权利要求34所述的设备,其中所述图像检测装置包括至少三个CCD。
42.根据权利要求34所述的设备,包括内窥镜,其中所述图像检测装置位于内窥镜的远端。
43.根据权利要求34所述的设备,其中所述图像检测装置包括拜耳滤波器马赛克彩色摄像机,其中所述拜耳滤波器马赛克摄像机被校准以获得与所述多个窄波段中的每一个窄波段的反射图像相对应的反射成像信号。
44.根据权利要求43所述的设备,包括包含校准信息的数据存储器,该校准信息包括方校准矩阵。
45.根据权利要求34所述的设备,其中所述强度校准模块使用测得的来自图像像素的反射谱和所述物体的体外光学吸收谱来修正由所述光源产生的所述多个反射光谱图像的强度。
46.根据权利要求34所述的设备,其中所述强度校准模块至少使用测量几何形状常数Ka来修正所述物体和成像装置之间的耦合角度和测量距离变化和使用反照修正常数Ks来修正测量的相对强度本质。
47.根据权利要求46所述的设备,其中所述设备被配置为将所述测量几何形状常数Ka用于确定所述修正后的反照光谱图像,并且所述设备被配置为将所述反照修正常数Ks用于使用所述物体的体外吸收谱根据反照图像确定所述修正后的吸收和修正后的散射光谱图像。
48.根据权利要求34所述的设备,其中所述快速反演模块基于线性矩阵反演模型。
49.一种多光谱成像方法,包括:
将物体的区域曝光于具有包括多个窄波段的光谱的光;
使用多通道成像检测器获取包括被曝光的物体的图像的图像数据;
从所述图像数据中提取多个反射光谱图像,所述多个反射光谱图像包括与所述多个窄波段中的每一个窄波段相对应的反射光谱图像;以及
利用强度校准模块来处理所述反射光谱图像,以获得修正后的反照光谱图像和/或修正后的吸收和修正后的散射光谱图像,
其中,所述强度校准模块使用光传输模型从所述多个反射光谱图像计算出测量几何形状常数Ka和反照修正常数Ks。
50.根据权利要求49所述的方法,包括多次重复将所述物体的所述区域曝光以及获取所述图像数据,其中所述方法包括通过改变所述多个窄波段的波段波长,针对不同的重复来改变光谱。
51.根据权利要求49或50所述的方法,其中所述窄波段在包括可见光和近红外光的光谱范围内。
52.根据权利要求49或50所述的方法,包括以24Hz以上的速率重复所述方法。
53.根据权利要求49或50所述的方法,其中将物体的区域曝光包括:使发光器发出的光通过具有与所述多个窄波段相对应的多个通带的滤波器。
54.根据权利要求50所述的方法,其中将物体的区域曝光包括使发光器发出的光通过具有与所述多个窄波段相对应的多个通带的滤波器,并且所述方法包括针对每次所述重复使所述发光器发出的光通过不同的滤波器。
55.根据权利要求54所述的方法,其中所述滤波器安装在轮的周围,并且所述方法包括转动所述轮,将所述成像检测器的操作与所述轮的转动相配合,以在光通过每个所述滤波器对所述物体进行曝光的同时使用所述成像检测器获取至少一个图像。
56.根据权利要求53所述的方法,其中从所述图像数据中提取多个反射光谱图像包括:使用校准数据处理所述图像数据,其中所述方法针对与每个不同的所述滤波器相对应的图像应用不同的校准数据。
57.根据权利要求49或50所述的方法,包括根据所述反射光谱图像合成白光反射图像。
58.根据权利要求49或50所述的方法,包括处理所述反射光谱图像以获得所述物体的生理图像和所述物体的形态图像中的一个或多个。
59.根据权利要求58所述的方法,其中所述物体包括组织,并且所述生理图像包括下列中的一个或多个:氧合血红蛋白图像、脱氧血红蛋白图像、组织水量图像和另一载色体分布的图像。
60.一种用于量化组织生理和形态信息的方法,所述方法包括以下步骤:
用多个窄波段的照明光同时照射物体,每个所述窄波段具有可见光/近红外光范围内的不同波长;
产生多个反射光谱图像;
使用从所述光谱图像的像素测得的反射光谱修正所述反射光谱图像的强度,并且获得修正后的反照光谱图像或者修正后的吸收和修正后的散射光谱图像;以及
根据所述修正后的反照光谱图像或所述修正后的吸收和修正后的散射光谱图像得到至少一个生理图像和至少一个形态图像,
其中,所述方法使用光传输模型从所述多个反射光谱图像计算出测量几何形状常数Ka和反照修正常数Ks。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US31489310P | 2010-03-17 | 2010-03-17 | |
US61/314,893 | 2010-03-17 | ||
PCT/CA2011/050148 WO2011113162A1 (en) | 2010-03-17 | 2011-03-17 | Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102893137A CN102893137A (zh) | 2013-01-23 |
CN102893137B true CN102893137B (zh) | 2017-01-11 |
Family
ID=44648397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180024411.9A Active CN102893137B (zh) | 2010-03-17 | 2011-03-17 | 用于癌症检测和定位的快速多光谱成像方法和设备及应用 |
Country Status (9)
Country | Link |
---|---|
US (2) | US9654745B2 (zh) |
EP (1) | EP2547992A4 (zh) |
JP (1) | JP2013521900A (zh) |
CN (1) | CN102893137B (zh) |
AU (1) | AU2011229113A1 (zh) |
BR (1) | BR112012023287A2 (zh) |
CA (1) | CA2793449A1 (zh) |
RU (1) | RU2012143821A (zh) |
WO (1) | WO2011113162A1 (zh) |
Families Citing this family (131)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013109966A1 (en) * | 2012-01-20 | 2013-07-25 | The Trustees Of Dartmouth College | Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance |
US10568535B2 (en) | 2008-05-22 | 2020-02-25 | The Trustees Of Dartmouth College | Surgical navigation with stereovision and associated methods |
US9101268B2 (en) | 2009-06-18 | 2015-08-11 | Endochoice Innovation Center Ltd. | Multi-camera endoscope |
WO2012077117A1 (en) | 2010-12-09 | 2012-06-14 | Peermedical Ltd. | Flexible electronic circuit board multi-camera endoscope |
US11278190B2 (en) | 2009-06-18 | 2022-03-22 | Endochoice, Inc. | Multi-viewing element endoscope |
US11547275B2 (en) | 2009-06-18 | 2023-01-10 | Endochoice, Inc. | Compact multi-viewing element endoscope system |
US9901244B2 (en) | 2009-06-18 | 2018-02-27 | Endochoice, Inc. | Circuit board assembly of a multiple viewing elements endoscope |
US8926502B2 (en) | 2011-03-07 | 2015-01-06 | Endochoice, Inc. | Multi camera endoscope having a side service channel |
US10165929B2 (en) | 2009-06-18 | 2019-01-01 | Endochoice, Inc. | Compact multi-viewing element endoscope system |
US11864734B2 (en) | 2009-06-18 | 2024-01-09 | Endochoice, Inc. | Multi-camera endoscope |
US9642513B2 (en) | 2009-06-18 | 2017-05-09 | Endochoice Inc. | Compact multi-viewing element endoscope system |
US9402533B2 (en) | 2011-03-07 | 2016-08-02 | Endochoice Innovation Center Ltd. | Endoscope circuit board assembly |
US9872609B2 (en) | 2009-06-18 | 2018-01-23 | Endochoice Innovation Center Ltd. | Multi-camera endoscope |
US9706903B2 (en) | 2009-06-18 | 2017-07-18 | Endochoice, Inc. | Multiple viewing elements endoscope system with modular imaging units |
US9713417B2 (en) | 2009-06-18 | 2017-07-25 | Endochoice, Inc. | Image capture assembly for use in a multi-viewing elements endoscope |
EP2865322B1 (en) | 2009-06-18 | 2020-07-22 | EndoChoice, Inc. | Multi-camera endoscope |
US9492063B2 (en) | 2009-06-18 | 2016-11-15 | Endochoice Innovation Center Ltd. | Multi-viewing element endoscope |
US9101287B2 (en) | 2011-03-07 | 2015-08-11 | Endochoice Innovation Center Ltd. | Multi camera endoscope assembly having multiple working channels |
JP5597021B2 (ja) * | 2010-04-15 | 2014-10-01 | オリンパス株式会社 | 画像処理装置及びプログラム |
US9277855B2 (en) * | 2010-08-10 | 2016-03-08 | Boston Scientific Scimed, Inc. | Endoscopic system for enhanced visualization |
US9560953B2 (en) | 2010-09-20 | 2017-02-07 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
EP4233680A3 (en) | 2010-09-20 | 2023-09-13 | EndoChoice, Inc. | Endoscope distal section comprising a unitary fluid channeling component |
JP5944912B2 (ja) | 2010-10-28 | 2016-07-05 | エンドチョイス イノベーション センター リミテッド | マルチセンサ内視鏡のための光学系 |
US11889986B2 (en) | 2010-12-09 | 2024-02-06 | Endochoice, Inc. | Flexible electronic circuit board for a multi-camera endoscope |
EP3522215A1 (en) | 2010-12-09 | 2019-08-07 | EndoChoice Innovation Center Ltd. | Flexible electronic circuit board for a multi-camera endoscope |
EP3228236A1 (en) | 2011-02-07 | 2017-10-11 | Endochoice Innovation Center Ltd. | Multi-element cover for a multi-camera endoscope |
JP2012217673A (ja) * | 2011-04-11 | 2012-11-12 | Fujifilm Corp | 内視鏡診断装置 |
WO2013044182A1 (en) | 2011-09-22 | 2013-03-28 | The George Washington University | Systems and methods for visualizing ablated tissue |
EP2757933B1 (en) | 2011-09-22 | 2019-02-06 | The George Washington University | Systems for visualizing ablated tissue |
JP5789232B2 (ja) * | 2011-10-12 | 2015-10-07 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CA2798729A1 (en) | 2011-12-13 | 2013-06-13 | Peermedical Ltd. | Rotatable connector for an endoscope |
EP3659491A1 (en) | 2011-12-13 | 2020-06-03 | EndoChoice Innovation Center Ltd. | Removable tip endoscope |
US11510600B2 (en) | 2012-01-04 | 2022-11-29 | The Trustees Of Dartmouth College | Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance |
CN103385693A (zh) * | 2012-05-09 | 2013-11-13 | 朱瑞龙 | 一种肿瘤成像装置 |
CN102721469B (zh) * | 2012-06-14 | 2015-05-13 | 中国科学院自动化研究所 | 双相机的多光谱成像系统和方法 |
US9560954B2 (en) | 2012-07-24 | 2017-02-07 | Endochoice, Inc. | Connector for use with endoscope |
CN102809429A (zh) * | 2012-07-26 | 2012-12-05 | 中国科学院自动化研究所 | 基于双相机的多光谱成像系统和方法 |
CN104684398A (zh) | 2012-08-31 | 2015-06-03 | 索隆-基特林癌症研究协会 | 粒子、方法以及其用途 |
EP2934600A4 (en) | 2012-12-19 | 2016-08-17 | Sloan Kettering Inst Cancer | MULTIMODAL PARTICLES, METHOD THEREFOR AND USES THEREOF |
EP2943761B1 (en) * | 2013-01-10 | 2023-11-29 | Akoya Biosciences, Inc. | Multispectral imaging system and methods |
WO2014110025A1 (en) * | 2013-01-10 | 2014-07-17 | Caliper Life Sciences, Inc. | Whole slide multispectral imaging systems and methods |
CA2900138A1 (en) * | 2013-02-01 | 2014-08-07 | Daniel L. Farkas | Method and system for characterizing tissue in three dimensions using multimode optical measurements |
JP6157135B2 (ja) * | 2013-02-07 | 2017-07-05 | オリンパス株式会社 | 光源撮像装置 |
US11564639B2 (en) | 2013-02-13 | 2023-01-31 | The Trustees Of Dartmouth College | Method and apparatus for medical imaging using differencing of multiple fluorophores |
US11937951B2 (en) | 2013-02-13 | 2024-03-26 | The Trustees Of Dartmouth College | Method and apparatus for medical imaging using differencing of multiple fluorophores |
CN105556262A (zh) * | 2013-02-14 | 2016-05-04 | 曾海山 | 用于环境光条件下的光学测量的方法和设备 |
JP6635791B2 (ja) | 2013-02-20 | 2020-01-29 | スローン − ケタリング・インスティテュート・フォー・キャンサー・リサーチ | 広視野ラマン撮像装置および関連方法 |
US20140350534A1 (en) * | 2013-02-20 | 2014-11-27 | Sloan-Kettering Institute For Cancer Research | Raman based ablation/resection systems and methods |
US9993142B2 (en) | 2013-03-28 | 2018-06-12 | Endochoice, Inc. | Fluid distribution device for a multiple viewing elements endoscope |
US9986899B2 (en) | 2013-03-28 | 2018-06-05 | Endochoice, Inc. | Manifold for a multiple viewing elements endoscope |
US10499794B2 (en) | 2013-05-09 | 2019-12-10 | Endochoice, Inc. | Operational interface in a multi-viewing element endoscope |
CN103284681A (zh) * | 2013-05-24 | 2013-09-11 | 中国科学院苏州生物医学工程技术研究所 | 一种血管内双光谱成像装置 |
CN105377112B (zh) * | 2013-07-05 | 2017-08-18 | 奥林巴斯株式会社 | 医疗显示装置以及内窥镜手术系统 |
CN103356152B (zh) * | 2013-07-15 | 2016-07-06 | 中国人民解放军第二军医大学 | 含便携式定位装置的胶囊内窥镜系统 |
CN103356154B (zh) * | 2013-07-15 | 2016-07-06 | 中国人民解放军第二军医大学 | 一种适用于消化道内的多功能胶囊内窥镜系统 |
KR101537854B1 (ko) * | 2013-09-23 | 2015-07-21 | 에스엔유 프리시젼 주식회사 | 두께 측정 장치 및 이를 이용한 두께 측정 방법 |
JP2015077335A (ja) * | 2013-10-18 | 2015-04-23 | 三菱電機エンジニアリング株式会社 | 光源装置 |
US10080504B2 (en) | 2013-11-08 | 2018-09-25 | University Of Houston System | Imaging system for intra-operative and post-operative blood perfusion monitoring |
JP6737705B2 (ja) | 2013-11-14 | 2020-08-12 | ザ・ジョージ・ワシントン・ユニバーシティThe George Washingtonuniversity | 損傷部位の深さを決定するシステムの動作方法及び心臓組織の画像を生成するシステム |
JP2017500550A (ja) | 2013-11-20 | 2017-01-05 | ザ・ジョージ・ワシントン・ユニバーシティThe George Washingtonuniversity | 心臓組織のハイパースペクトル分析のためのシステム及び方法 |
WO2015080275A1 (ja) * | 2013-11-29 | 2015-06-04 | 国立大学法人東京大学 | 画像処理装置、画像処理方法及び記録媒体 |
US20170164837A1 (en) * | 2014-02-11 | 2017-06-15 | The Florida International University Board Of Trustees | Intraoperative guidance system for tumor surgery |
US10912947B2 (en) | 2014-03-04 | 2021-02-09 | Memorial Sloan Kettering Cancer Center | Systems and methods for treatment of disease via application of mechanical force by controlled rotation of nanoparticles inside cells |
EP3120122B1 (en) * | 2014-03-21 | 2019-11-13 | HyperMed Imaging, Inc. | Compact light sensor |
JP6005303B2 (ja) * | 2014-04-08 | 2016-10-12 | オリンパス株式会社 | 蛍光観察内視鏡システム |
EP3152549B1 (en) * | 2014-06-05 | 2023-06-07 | Universität Heidelberg | Method and means for multispectral imaging |
US9968285B2 (en) * | 2014-07-25 | 2018-05-15 | Christie Digital Systems Usa, Inc. | Multispectral medical imaging devices and methods thereof |
EP3180038A4 (en) | 2014-07-28 | 2018-04-04 | Memorial Sloan-Kettering Cancer Center | Metal(loid) chalcogen nanoparticles as universal binders for medical isotopes |
US9958253B2 (en) | 2014-07-29 | 2018-05-01 | Collage Medical Imaging Ltd. | Synchronized dual mode OCT system |
CN104116482B (zh) * | 2014-08-11 | 2016-05-18 | 福建师范大学 | 一种基于内窥镜的光学图像和光谱信号检测装置 |
JP6204314B2 (ja) * | 2014-09-03 | 2017-09-27 | Hoya株式会社 | 電子内視鏡システム |
ES2569550A1 (es) * | 2014-10-10 | 2016-05-11 | Consejo Superior De Investigaciones Científicas (Csic) | Espectrofotómetro |
KR102499045B1 (ko) | 2014-11-03 | 2023-02-10 | 더 조지 워싱턴 유니버시티 | 병변 평가를 위한 시스템 및 방법 |
JP6771731B2 (ja) | 2014-11-03 | 2020-10-21 | 460メディカル・インコーポレイテッド460Medical, Inc. | 接触性評価システム及び方法 |
CN104434013A (zh) * | 2014-12-24 | 2015-03-25 | 中国科学技术大学 | 一种多模态阴道镜系统及获取多模态图像的方法 |
KR101650319B1 (ko) * | 2015-03-06 | 2016-08-24 | 에스엔유 프리시젼 주식회사 | 컬러 카메라를 이용한 두께 측정방법 및 두께 측정장치 |
WO2016147436A1 (ja) * | 2015-03-17 | 2016-09-22 | オリンパス株式会社 | 生体観察システム |
CN104887321A (zh) * | 2015-05-08 | 2015-09-09 | 安徽信美医学工程科技有限公司 | 一种便携多模式医疗显微导航装置及其控制方法 |
JP6609220B2 (ja) * | 2015-06-01 | 2019-11-20 | マハジャン ニティン | マルチモダリティ医療用可撓性ビデオ内視鏡 |
CN112969031B (zh) * | 2015-06-17 | 2022-11-15 | 松下知识产权经营株式会社 | 摄像装置 |
JP2018126174A (ja) * | 2015-06-17 | 2018-08-16 | オリンパス株式会社 | 内視鏡装置 |
US10919089B2 (en) | 2015-07-01 | 2021-02-16 | Memorial Sloan Kettering Cancer Center | Anisotropic particles, methods and uses thereof |
US10779904B2 (en) | 2015-07-19 | 2020-09-22 | 460Medical, Inc. | Systems and methods for lesion formation and assessment |
US9903757B1 (en) * | 2015-09-25 | 2018-02-27 | Hrl Laboratories, Llc | Active multi-spectral sensor |
JP6234648B1 (ja) * | 2016-01-15 | 2017-11-22 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
US10295462B1 (en) | 2016-03-02 | 2019-05-21 | Hrl Laboratories, Llc | Detection by active spatially and spectrally structured sensing and learning (DAS4L) |
JP6561000B2 (ja) * | 2016-03-09 | 2019-08-14 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2017158078A1 (en) * | 2016-03-16 | 2017-09-21 | INSERM (Institut National de la Santé et de la Recherche Médicale) | Endoscope and method for exploring a peritoneum |
WO2017168477A1 (ja) * | 2016-03-28 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 撮像装置および画像処理方法 |
US10321816B2 (en) * | 2016-06-17 | 2019-06-18 | Fujifilm Corporation | Light source device and endoscope system |
WO2018008079A1 (ja) * | 2016-07-05 | 2018-01-11 | オリンパス株式会社 | 複数の狭帯域光源を備えた照明装置 |
US10401610B2 (en) | 2016-07-15 | 2019-09-03 | Canon Usa, Inc. | Spectrally encoded probe with multiple diffraction orders |
WO2018035612A1 (en) | 2016-08-24 | 2018-03-01 | Mimosa Diagnostics Inc. | Multispectral mobile tissue assessment |
US10834377B2 (en) * | 2016-08-29 | 2020-11-10 | Faro Technologies, Inc. | Forensic three-dimensional measurement device |
US11055581B2 (en) * | 2016-10-07 | 2021-07-06 | Baylor Research Institute | Classification of polyps using learned image analysis |
DE102016119730A1 (de) * | 2016-10-17 | 2018-04-19 | Carl Zeiss Microscopy Gmbh | Optikgruppe für Detektionslicht für ein Mikroskop, Verfahren zur Mikroskopie und Mikroskop |
US10898068B2 (en) | 2016-11-01 | 2021-01-26 | Canon U.S.A., Inc. | Multi-bandwidth spectrally encoded endoscope |
US11002665B2 (en) * | 2016-11-29 | 2021-05-11 | Photothermal Spectroscopy Corp. | Method and apparatus for enhanced photo-thermal imaging and spectroscopy |
DE102016125524A1 (de) * | 2016-12-22 | 2018-06-28 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Elektronisches Mikroskop |
CN108937849A (zh) * | 2017-05-29 | 2018-12-07 | 王虎 | 一种用于肿瘤纳米靶向探针荧光成像及手术导航指示系统 |
JP7057820B2 (ja) * | 2017-07-19 | 2022-04-20 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド | ハイパースペクトルイメージングを用いた検体評価方法及び検体評価装置 |
CN111295135A (zh) * | 2017-08-28 | 2020-06-16 | 东卡罗莱娜大学 | 在内窥镜设计中使用用于血流和灌注成像以及量化的激光成像方法和系统的多光谱生理可视化(mspv) |
WO2019051591A1 (en) * | 2017-09-15 | 2019-03-21 | Kent Imaging | VISIBLE AND INFRARED HYBRID IMAGING WITH A RGB COLOR FILTER NETWORK SENSOR |
CN107764750B (zh) * | 2017-10-18 | 2021-03-16 | 西安鹿谱工控有限公司 | 一种非接触式色度检测装置及检测方法 |
CN108181642B (zh) * | 2017-11-27 | 2020-08-21 | 中核控制系统工程有限公司 | 一种基于GPU和奇异值方法的γ谱仪谱分析方法 |
DE102018108809B4 (de) * | 2018-04-13 | 2020-02-06 | Hensoldt Optronics Gmbh | Kamerasystem |
EP3801211A1 (en) | 2018-06-08 | 2021-04-14 | East Carolina University | Determining peripheral oxygen saturation (spo2) and hemoglobin concentration using multi-spectral laser imaging (msli) methods and systems |
WO2020081159A2 (en) | 2018-09-05 | 2020-04-23 | East Carolina University | Systems for detecting vascular and arterial disease in asymptomatic patients and related methods |
US10982836B2 (en) | 2018-10-31 | 2021-04-20 | Microsoft Technology Licensing, Llc | Tunable spectral illuminator for camera |
US10931894B2 (en) * | 2018-10-31 | 2021-02-23 | Microsoft Technology Licensing, Llc | Tunable spectral illuminator for camera |
CN109269643B (zh) * | 2018-11-02 | 2021-05-11 | 天津津航技术物理研究所 | 基于移动设备屏幕光源的光谱解调系统及方法 |
US10846917B2 (en) | 2019-01-03 | 2020-11-24 | Microsoft Technology Licensing, Llc | Iterating different camera representations in three-dimensional model |
US10753875B1 (en) | 2019-01-31 | 2020-08-25 | Rarecyte, Inc. | Spectral unmixing of spectroscopic emission images |
US10345237B1 (en) | 2019-01-31 | 2019-07-09 | Rarecyte, Inc. | Spectral edge detection |
CN109855735A (zh) * | 2019-02-20 | 2019-06-07 | 北京理工大学 | 一种同步控制与采集的高光谱计算成像方法 |
US20200288965A1 (en) * | 2019-03-11 | 2020-09-17 | Spring Biomed Vision Ltd. | System and method for enhanced imaging of biological tissue |
US20200294228A1 (en) * | 2019-03-13 | 2020-09-17 | East Carolina University | Non-Contact Multispectral Imaging for Blood Oxygen Level and Perfusion Measurement and Related Systems and Computer Program Products |
CA3134066A1 (en) | 2019-03-26 | 2020-10-01 | East Carolina University | Near-infrared fluorescence imaging for blood flow and perfusion visualization and related systems and computer program products |
US11612309B2 (en) | 2019-06-20 | 2023-03-28 | Cilag Gmbh International | Hyperspectral videostroboscopy of vocal cords |
EP3805838B1 (en) * | 2019-10-10 | 2023-12-06 | Leica Instruments (Singapore) Pte. Ltd. | Microscope and related apparatuses, methods and computer programs |
KR20210050967A (ko) | 2019-10-29 | 2021-05-10 | 삼성전자주식회사 | 분석 물질의 농도 추정 장치 및 방법과, 캘리브레이션 방법 |
DE102019217541A1 (de) * | 2019-11-13 | 2021-05-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Medizinische Bildgebungseinrichtung, Verfahren und Verwendung |
CN110833399B (zh) * | 2019-11-29 | 2021-08-13 | 中国科学院自动化研究所 | 近红外二区单通道分时复用成像系统及其使用方法 |
WO2021226493A1 (en) * | 2020-05-08 | 2021-11-11 | The Regents Of The University Of California | Label-free real-time hyperspectral endoscopy for molecular-guided cancer surgery |
US11245877B2 (en) * | 2020-06-11 | 2022-02-08 | Viavi Solutions Inc. | Scrolling spectral filter |
WO2022020989A1 (zh) * | 2020-07-27 | 2022-02-03 | 华为技术有限公司 | 一种滤光阵列、移动终端以及设备 |
CN114449137A (zh) * | 2020-11-02 | 2022-05-06 | 北京小米移动软件有限公司 | 滤光片结构、拍摄方法、装置、终端及存储介质 |
DE102021118559A1 (de) * | 2021-07-19 | 2023-01-19 | Senorics Gmbh | Verfahren und System zur Analyse einer Probe anhand von Daten |
CN114034642B (zh) * | 2021-12-08 | 2023-10-24 | 重庆大学 | 基于微环谐振阵列的拉曼光谱片上检测系统及方法 |
CN114532987B (zh) * | 2022-02-16 | 2023-12-19 | 北京市神经外科研究所 | 基于拉曼光谱的信息处理方法、装置及存储介质 |
WO2023224740A1 (en) * | 2022-05-17 | 2023-11-23 | Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America | Techniques for simultaneously running discrete imaging modalities |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101259010A (zh) * | 2002-07-26 | 2008-09-10 | 奥林巴斯株式会社 | 图像处理系统 |
CN100569177C (zh) * | 2003-05-08 | 2009-12-16 | 博世创医疗公司 | 同时进行实时多模式成像和它的光谱学使用 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5749830A (en) * | 1993-12-03 | 1998-05-12 | Olympus Optical Co., Ltd. | Fluorescent endoscope apparatus |
US5796512A (en) | 1996-02-16 | 1998-08-18 | Carnegie Mellon University | Subicron imaging system having an acousto-optic tunable filter |
DE19612536A1 (de) * | 1996-03-29 | 1997-10-02 | Freitag Lutz Dr | Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung |
US6081612A (en) | 1997-02-28 | 2000-06-27 | Electro Optical Sciences Inc. | Systems and methods for the multispectral imaging and characterization of skin tissue |
US5917556A (en) * | 1997-03-19 | 1999-06-29 | Eastman Kodak Company | Split white balance processing of a color image |
US6008889A (en) * | 1997-04-16 | 1999-12-28 | Zeng; Haishan | Spectrometer system for diagnosis of skin disease |
US6766184B2 (en) * | 2000-03-28 | 2004-07-20 | Board Of Regents, The University Of Texas System | Methods and apparatus for diagnostic multispectral digital imaging |
US6678398B2 (en) | 2000-09-18 | 2004-01-13 | Sti Medical Systems, Inc. | Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process |
US6826424B1 (en) * | 2000-12-19 | 2004-11-30 | Haishan Zeng | Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices |
US6697652B2 (en) * | 2001-01-19 | 2004-02-24 | Massachusetts Institute Of Technology | Fluorescence, reflectance and light scattering spectroscopy for measuring tissue |
KR100685358B1 (ko) * | 2002-07-26 | 2007-02-22 | 올림푸스 가부시키가이샤 | 화상 처리 시스템 |
US7697975B2 (en) * | 2003-06-03 | 2010-04-13 | British Colombia Cancer Agency | Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection |
US20050059894A1 (en) * | 2003-09-16 | 2005-03-17 | Haishan Zeng | Automated endoscopy device, diagnostic method, and uses |
US7321791B2 (en) * | 2003-09-23 | 2008-01-22 | Cambridge Research And Instrumentation, Inc. | Spectral imaging of deep tissue |
WO2005088264A1 (en) | 2004-03-06 | 2005-09-22 | Plain Sight Systems, Inc. | Hyper-spectral imaging methods and devices |
KR100895160B1 (ko) * | 2004-08-30 | 2009-05-04 | 올림푸스 가부시키가이샤 | 내시경 장치 |
US8602971B2 (en) | 2004-09-24 | 2013-12-10 | Vivid Medical. Inc. | Opto-Electronic illumination and vision module for endoscopy |
EP2319406A1 (en) | 2004-12-28 | 2011-05-11 | Hyperspectral Imaging, Inc | Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock |
CA2595213C (en) * | 2005-01-21 | 2014-10-28 | Perceptronix Medical Inc. | Method and apparatus for measuring cancerous changes from reflectance spectral measurements obtained during endoscopic imaging |
US20060264760A1 (en) * | 2005-02-10 | 2006-11-23 | Board Of Regents, The University Of Texas System | Near infrared transrectal probes for prostate cancer detection and prognosis |
CA2607623C (en) | 2005-05-12 | 2012-02-21 | Olympus Medical Systems Corp. | Biological observation apparatus |
KR100988113B1 (ko) | 2005-05-13 | 2010-10-18 | 올림푸스 메디칼 시스템즈 가부시키가이샤 | 생체 관측 장치 |
WO2007014212A1 (en) * | 2005-07-25 | 2007-02-01 | Massachusetts Institute Of Technology | Multi modal spectroscopy |
JP4727374B2 (ja) | 2005-09-30 | 2011-07-20 | 富士フイルム株式会社 | 電子内視鏡装置 |
JP4847250B2 (ja) | 2006-08-03 | 2011-12-28 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
WO2009018849A1 (de) | 2007-08-09 | 2009-02-12 | Siemens Aktiengesellschaft | Anordnung zur bildaufnahme von elementen |
WO2009052607A1 (en) | 2007-10-24 | 2009-04-30 | Perceptronix Medical Inc. | Method and apparatus for microvascular oxygenation imaging |
US8849380B2 (en) * | 2007-11-26 | 2014-09-30 | Canfield Scientific Inc. | Multi-spectral tissue imaging |
JP5100457B2 (ja) * | 2008-03-10 | 2012-12-19 | オリンパスメディカルシステムズ株式会社 | 内視鏡観察システム |
US20100033986A1 (en) * | 2008-08-05 | 2010-02-11 | Perceptron Inc. | Light Pipe For Imaging Head of Video Inspection Device |
WO2010019515A2 (en) | 2008-08-10 | 2010-02-18 | Board Of Regents, The University Of Texas System | Digital light processing hyperspectral imaging apparatus |
-
2011
- 2011-03-17 RU RU2012143821/28A patent/RU2012143821A/ru not_active Application Discontinuation
- 2011-03-17 AU AU2011229113A patent/AU2011229113A1/en not_active Abandoned
- 2011-03-17 EP EP11755609.2A patent/EP2547992A4/en not_active Ceased
- 2011-03-17 CA CA2793449A patent/CA2793449A1/en not_active Abandoned
- 2011-03-17 CN CN201180024411.9A patent/CN102893137B/zh active Active
- 2011-03-17 BR BR112012023287A patent/BR112012023287A2/pt not_active IP Right Cessation
- 2011-03-17 WO PCT/CA2011/050148 patent/WO2011113162A1/en active Application Filing
- 2011-03-17 US US13/635,682 patent/US9654745B2/en active Active
- 2011-03-17 JP JP2012557365A patent/JP2013521900A/ja active Pending
-
2017
- 2017-04-11 US US15/485,132 patent/US20170223316A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101259010A (zh) * | 2002-07-26 | 2008-09-10 | 奥林巴斯株式会社 | 图像处理系统 |
CN100569177C (zh) * | 2003-05-08 | 2009-12-16 | 博世创医疗公司 | 同时进行实时多模式成像和它的光谱学使用 |
Also Published As
Publication number | Publication date |
---|---|
EP2547992A1 (en) | 2013-01-23 |
BR112012023287A2 (pt) | 2017-03-21 |
JP2013521900A (ja) | 2013-06-13 |
CA2793449A1 (en) | 2011-09-22 |
US20130012794A1 (en) | 2013-01-10 |
US20170223316A1 (en) | 2017-08-03 |
AU2011229113A1 (en) | 2012-10-18 |
CN102893137A (zh) | 2013-01-23 |
WO2011113162A1 (en) | 2011-09-22 |
EP2547992A4 (en) | 2014-06-18 |
RU2012143821A (ru) | 2014-04-27 |
US9654745B2 (en) | 2017-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102893137B (zh) | 用于癌症检测和定位的快速多光谱成像方法和设备及应用 | |
CN106999021B (zh) | 用于多光谱成像的方法和部件 | |
US7544163B2 (en) | Apparatus and methods relating to expanded dynamic range imaging endoscope systems | |
US6678398B2 (en) | Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process | |
CN103732116B (zh) | 内窥镜系统、处理器设备和操作内窥镜系统的方法 | |
US7697975B2 (en) | Methods and apparatus for fluorescence imaging using multiple excitation-emission pairs and simultaneous multi-channel image detection | |
US7515952B2 (en) | System for characterization and mapping of tissue lesions | |
US20050234302A1 (en) | Apparatus and methods relating to color imaging endoscope systems | |
CN101553161A (zh) | 适用于龋齿检测的装置 | |
WO2009052607A1 (en) | Method and apparatus for microvascular oxygenation imaging | |
CA3031088A1 (en) | Medical hyperspectral imaging for evaluation of tissue and tumor | |
CN106725263A (zh) | 应用于内窥镜系统的成像方法 | |
CN106455931A (zh) | 内窥镜 | |
EP1931262B1 (en) | Disposable calibration-fiducial mark for hyperspectral imaging | |
CN100443044C (zh) | 检测及表征生物组织的设备 | |
CN204207717U (zh) | 内窥镜照射光谱选择装置及超光谱内窥镜成像系统 | |
KR101124269B1 (ko) | 객체간 알지비 색상차이를 최대화하는 내시경용 엘이디 최적 조명장치 | |
CN104352216B (zh) | 内窥镜照射光谱选择装置及超光谱内窥镜成像系统 | |
Zuzak et al. | DLP hyperspectral imaging for surgical and clinical utility | |
Uk et al. | Multispectral fluorescence organoscopes for in vivo studies of laboratory animals and their organs | |
De Roode et al. | Multispectral system evaluates treatments in dermatology | |
WO2011162721A1 (en) | Method and system for performing tissue measurements | |
Noordmans et al. | Development of a multi-spectral imaging system for optical diagnosis of malignant tissues | |
Zeng | 4 White Light Endoscopy | |
Zeng | 6 Endoscopic Reflectance and Fluorescence Spectroscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |