WO2010027291A1 - Information display method - Google Patents
Information display method Download PDFInfo
- Publication number
- WO2010027291A1 WO2010027291A1 PCT/RU2008/000587 RU2008000587W WO2010027291A1 WO 2010027291 A1 WO2010027291 A1 WO 2010027291A1 RU 2008000587 W RU2008000587 W RU 2008000587W WO 2010027291 A1 WO2010027291 A1 WO 2010027291A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- paragraph
- fact
- observed object
- observed
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
Definitions
- the invention relates to the field of information technology and computer technology, and more specifically to projection-type devices that implement the visualization of images, with the ability to indicate the properties of objects that are invisible to the naked eye on the surface of these objects.
- the observed object for example, a technical structure
- Such devices include the solutions described in RF patents ⁇ N ° 2233012 [1] and 2279110 [2]. Equally important is the way the image is displayed, for example, on a monitor screen, on the pupil of an observer, or on another surface.
- the well-known "Optical system with a display placed on the head, and a method of displaying an image) (publication of international application WO96 / 06378) [3], in which information is displayed on a user display placed on his head, and not only the image is visible in the visible part spectrum, but also the converted image from the invisible part of the spectrum.
- the disadvantage of this solution is that the user sees all the surrounding reality only on the display screen, which reduces the level of perception and, in addition, in situations of bright flashes, the picture on the display screen can be significantly distorted.
- the optical part of the system does not provide the combination of images of the object in the visible and invisible parts of the spectrum.
- a common drawback of both the first and second of the described methods is the fact that the improved image is projected within the optical system and not onto a real object, that is, the user is not able to observe the real object with its additional (hidden) ) properties "in place)) the location of this object.
- additional (hidden) ) properties "in place) we will also use the term” I accept) if this term is clearly understood in the context.
- the objective of the invention is to provide a method of displaying information in which the image obtained from the observed object in different ranges of the radiation spectrum should be distinguishable by the observer without using a separate display, while ensuring that the observed properties (signs) of the object are linked to the real manifestation of these properties within the observed object.
- the technical result of the claimed invention is the creation of a method of displaying information in which the image obtained from the observed object and converted into the visible range is projected directly onto the observed real object, providing the user with the opportunity to observe a real object with its inherent hidden properties (signs) “in place” of the placement of this object .
- a physical object can be shown with an indication of the distribution of thermal fields, i.e. infrared radiation (IR), or other fields generated by other types of radiation (for example, in the ranges: ultraviolet, radio, sound, ultrasound, infrasound) directly on the observed the object in real scale, that is, as these fields are distributed over the given object (on it itself).
- IR infrared radiation
- the problem is solved by developing an improved method for displaying information, namely, that the input receives an image of the observed object in a given wavelength range, after which the incoming image of the observed object is converted, forming a modified image of the observed object with the given parameters, and a modified projection is projected image of the observed object directly to the observed object.
- an incoming image of the object in the selected wavelength ranges is obtained, the resulting image is converted into a visible (optical) spectrum, thereby forming a “modified image of the observed object”, and a modified image of the observed object is projected directly onto the observed object itself.
- the modified image of the observed object the radiation can be adjusted during processing (conversion), for example, the desired wavelength ranges can be amplified or additional (previously recorded) data can be superimposed, forming a “mask” on the reproduced image.
- conversion processing
- additional features can be demanded, in particular, when identifying a make-up person (by applying a mask formed on the basis of a photograph available in the database) or when diagnosing a technical device (amplification of radiation from overheated nodes and material fatigue points).
- Modification has a different meaning: conversion refers to the process of converting an image received in the “invisible” spectrum into the visible spectrum, and modification refers to various operations on the resulting image, including adding, amplifying / attenuating and removing data from a digital image.
- the incoming image in the visible wavelength range is obtained using a video camera
- the radiation coming from an object in the wavelength range which differs from the visible range is received using radiation detectors of the appropriate type
- the radiation detector provides a two-dimensional or spatial picture of the radiation from the object
- the radiation detector can be a radiation receiver in the infrared, ultraviolet, radio, sound, ultrasound, infrasound ranges.
- the incoming image in the visible wave range before being projected onto an object can be (if this mode is used) converted to provide the user with additional useful information - for example, about dynamically changing the visual parameters of an object, and the conversion can preserve the brightness (contrast, color, saturation) of the image of the original object or change them in a predetermined way, and the size and shape of the projected image are identical to the size and shape of the object or scaled.
- a projector or special optics can be used, combining the optical axis of the incoming image received from the camera and the outgoing image formed by the projector (translucent mirror and / or prism).
- the projection of the outgoing image is carried out in the same direction from which the incoming image was obtained, while the image before projection onto the object can be modified by including virtual images in it according to the specified algorithm.
- the display of objects hidden behind the object, or display of object parameters represented in the invisible wavelength range, or substitution of another image for the hidden image, including the display of virtual objects can be integrated into the projected image.
- the focus can be manual or automatic, with the camera and the projector can be focused at the same or different points, and the radiation detector receives radiation from an area close to the focus point of the projector and the camcorder.
- FIG. 1 System for the preferred implementation of the method of displaying information (types 1.1 and 1.2) 1.1 - Option 1 - indication of hidden (invisible) parameters of this object on a real object
- FIG. 1 shows an example implementation of a system comprising a video camera 100, an information processing unit HO, a detector 120 radiation, the projector 130, the observed object 140, the input image 150 in the visible range, the modified image 160 at the output of the information processing software unit, the radiation 170 emanating from the object in a wave range other than the visible range, the output signal 180 of the projector, the modified image 190, projected onto the object in the visible wave range (radiation 170 converted to the visible region), the modified image element 195, indicating additional information about the observed object 140.
- This system is about One of the options for implementing the proposed method and the specialist it is clear that other options are possible specific hardware implementation of the proposed method.
- the specific hardware implementation of the proposed method depends on the specific design of the video camera, projector, radiation detector, and information processing unit.
- the video camera and the signal detector can be technically implemented as a single multifunction device.
- the information processing unit 110 is preferably implemented on the basis of a computer equipped with a processor, memory, interface units and appropriate software necessary for receiving and digitalizing input signals from a video camera and radiation detector, image processing and displaying information on a projector.
- the selection of a particular type of information processing unit is a standard engineering design task.
- the algorithm of the proposed method includes the following operations (steps): 200. Start
- a radiation detector 120 Using a radiation detector 120, a signal is received in the invisible wavelength range. This signal is converted to digital format and transmitted to the information processing software unit. In the information processing software block, the digitally presented signal is converted into the visible wave range, forming a “modified image of the observed object)), which is projected onto the object 140 using the projector 130.
- the image 150 of the object 140 in the visible wavelength range enters the video camera, where it is converted to digital format and transmitted to the information processing software unit, where the digital representation of the image is modified and projected onto the object 140 using the projector 130.
- An expert in the field of information processing understands that this latent image can be processed depending on specific needs - for example, to improve quality, highlight significant details and (or) filter out some objects, supplement the image with virtual objects, etc. In this case, any known methods of image processing are applicable - the specific approach used is not significant for the proposed method of displaying information.
- Option 1 is applicable, for example, for diagnosis in medicine, in technology, in other industrial and scientific fields.
- Option 2 can be useful in creating visual effects - in the field of entertainment (virtual masks, superimposing virtual objects on real ones), in research applications - for example, to indicate the dynamics of changes in the state of a visualized object (in the case when the parameters of the object in the invisible range do not have significant values).
- the proposed method is industrially applicable and can be used, for example, to provide increased efficiency in the study of hidden fields, detection of hidden defects (and to increase the contrast of subtle defects), in scientific work and in multimedia systems of virtual reality.
Abstract
The inventive information display method consisting in receiving at entry the image of an observed object within a specified wavelength range, involves converting the input image of an observed object in such a way that the modified image of the observed object with the specified parameters is formed and projecting the modified image of the observed object directly on the observed object.
Description
СПОСОБ ОТОБРАЖЕНИЯ ИНФОРМАЦИИ METHOD FOR DISPLAYING INFORMATION
Изобретение относится к области информационных технологий и вычислительной техники, а более конкретно к устройствам проекционного типа, реализующим визуализацию изображений, с возможностью индикации невидимых невооруженным глазом свойств объектов на поверхности данных объектов.The invention relates to the field of information technology and computer technology, and more specifically to projection-type devices that implement the visualization of images, with the ability to indicate the properties of objects that are invisible to the naked eye on the surface of these objects.
Как известно, помимо наблюдения объектов в оптическом диапазоне за счет отраженного света, широкое распространение получило и наблюдение объектов в инфракрасном спектре, излучаемом непосредственно наблюдаемым объектом, например, живым существом. На этом принципе основаны многочисленные конструкции приборов «нoчнoгo» видения, чаще называемых ноктовизорами. Кроме того, наблюдаемый объект, например, техническое сооружение, может испускать или отражать излучение в иных спектрах, например, в диапазоне ультрафиолета, радио, звуковом, ультразвуковом, инфразвуковом. Все эти виды излучения требуют преобразования в видимый диапазон для нормального восприятия наблюдателем.As you know, in addition to observing objects in the optical range due to reflected light, widespread use and observation of objects in the infrared spectrum emitted directly by the observed object, for example, a living creature. Numerous constructions of night vision devices, often called noctovisers, are based on this principle. In addition, the observed object, for example, a technical structure, can emit or reflect radiation in other spectra, for example, in the range of ultraviolet, radio, sound, ultrasound, infrasound. All these types of radiation require conversion to the visible range for normal observer perception.
К таким устройствам, в частности, можно отнести решения, описанные в патентах РФ ЖN° 2233012 [1] и 2279110 [2]. Немаловажное значение имеет и способ индикации изображения, например, на экране монитора, на зрачке наблюдателя или на другой поверхности. Известна «Oптичecкaя система с дисплеем, размещенным на голове, и способ индикации изображению) (публикация международной заявки WO96/06378) [3], в которой осуществляется отображение информации на дисплее пользователя, размещенном на его голове, причем индицируется не только изображение в видимой части спектра, но и преобразованное изображение из невидимой части спектра.
Недостатком данного решения является то, что пользователь видит всю окружающую действительность только на экране дисплея, что снижает уровень его восприятия и, кроме того, в ситуациях ярких вспышек картина на экране дисплея может быть существенно искажена. Помимо этого, оптическая часть системы не обеспечивает совмещения изображений объекта в видимой и невидимой частях спектра.Such devices, in particular, include the solutions described in RF patents ЖN ° 2233012 [1] and 2279110 [2]. Equally important is the way the image is displayed, for example, on a monitor screen, on the pupil of an observer, or on another surface. The well-known "Optical system with a display placed on the head, and a method of displaying an image) (publication of international application WO96 / 06378) [3], in which information is displayed on a user display placed on his head, and not only the image is visible in the visible part spectrum, but also the converted image from the invisible part of the spectrum. The disadvantage of this solution is that the user sees all the surrounding reality only on the display screen, which reduces the level of perception and, in addition, in situations of bright flashes, the picture on the display screen can be significantly distorted. In addition, the optical part of the system does not provide the combination of images of the object in the visible and invisible parts of the spectrum.
Наиболее близким к заявленному изобретению является «Cпapeнный оптический проекционный дисплей с расширенными возможностями отображения)) (патент США N°6,379,009) [4], в котором наблюдают объект через оптическую систему, в которой одновременно с исходной картинкой индицируется дополнительное изображение. Это изображение совмещается путем специальной обработки с основным изображением и проецируется на экране в виде, удобном для восприятия и анализа. Недостатком данного метода является то, что пользователь наблюдает данное улучшенное изображение с помощью оптической проекционной системы. Это снижает уровень восприятия обстановки пользователем, снижает оперативность принятия решений пользователем и точность анализа реальной обстановки. Кроме того, общим недостатком, как первого, так и второго из описанных способов, является тот факт, что улучшенное изображение проецируется в рамках оптической системы, а не на реальный объект, то есть пользователь не имеет возможности наблюдать реальный объект с присущими ему дополнительными (скрытыми) свойствами «пo месту)) размещения данного объекта. Далее, наряду с термином «cвoйcтвo)> мы будем также употреблять термин «пpизнaю), если данный термин однозначно понимается в контексте.
Задачей заявляемого изобретения является создание способа отображения информации, при котором изображение, получаемое от наблюдаемого объекта в различных диапазонах спектра излучения, должно быть различимо наблюдателем без применения отдельного дисплея, при этом обеспечивая привязку наблюдаемых свойств (признаков) объекта к реальному проявлению этих свойств в рамках наблюдаемого объекта.Closest to the claimed invention is a “Sparse optical projection display with advanced display capabilities)) (US Pat. No. 6,379,009) [4], in which an object is observed through an optical system in which an additional image is displayed simultaneously with the original image. This image is combined by special processing with the main image and is projected on the screen in a form convenient for perception and analysis. The disadvantage of this method is that the user observes this improved image using an optical projection system. This reduces the level of perception of the situation by the user, reduces the efficiency of decision-making by the user and the accuracy of the analysis of the real situation. In addition, a common drawback of both the first and second of the described methods is the fact that the improved image is projected within the optical system and not onto a real object, that is, the user is not able to observe the real object with its additional (hidden) ) properties "in place)) the location of this object. Further, along with the term "properties)> we will also use the term" I accept) if this term is clearly understood in the context. The objective of the invention is to provide a method of displaying information in which the image obtained from the observed object in different ranges of the radiation spectrum should be distinguishable by the observer without using a separate display, while ensuring that the observed properties (signs) of the object are linked to the real manifestation of these properties within the observed object.
Техническим результатом заявленного изобретения является создание способа отображения информации, при котором полученное от наблюдаемого объекта и преобразованное в видимый диапазон изображение проецируют непосредственно на наблюдаемый реальный объект, обеспечивая пользователю возможность наблюдать реальный объект с присущими ему скрытыми свойствами (признаками) «пo мecтy» размещения данного объекта. Например, физический объект может быть показан с индикацией распределения тепловых полей, т. е. инфракрасного излучения (ИК), или иных полей, сформированных иными видами излучения (например, в диапазонах: ультрафиолетовом, радио, звуковом, ультразвуковом, инфразвуковом) непосредственно на наблюдаемом объекте в реальном масштабе, то есть так, как эти поля распределены по данному объекту (на нем самом).The technical result of the claimed invention is the creation of a method of displaying information in which the image obtained from the observed object and converted into the visible range is projected directly onto the observed real object, providing the user with the opportunity to observe a real object with its inherent hidden properties (signs) “in place” of the placement of this object . For example, a physical object can be shown with an indication of the distribution of thermal fields, i.e. infrared radiation (IR), or other fields generated by other types of radiation (for example, in the ranges: ultraviolet, radio, sound, ultrasound, infrasound) directly on the observed the object in real scale, that is, as these fields are distributed over the given object (on it itself).
Поставленная задача решена путем разработки усовершенствованного способа отображения информации, заключающегося в том, что на входе принимают изображение наблюдаемого объекта в заданном диапазоне волн, после чего преобразуют входящее изображение наблюдаемого объекта, формируя модифицированное изображение наблюдаемого объекта с заданными параметрами, и проецируют модифицированное
изображение наблюдаемого объекта непосредственно на наблюдаемый объект.The problem is solved by developing an improved method for displaying information, namely, that the input receives an image of the observed object in a given wavelength range, after which the incoming image of the observed object is converted, forming a modified image of the observed object with the given parameters, and a modified projection is projected image of the observed object directly to the observed object.
Иными словами, получают входящее изображение объекта в выбранных диапазонах волн, преобразуют полученное изображение в видимый (оптический) спектр, формируя, таким образом, «мoдифициpoвaннoe изображение наблюдаемого oбъeктa», и проецируют модифицированное изображение наблюдаемого объекта непосредственно на сам наблюдаемый объект.In other words, an incoming image of the object in the selected wavelength ranges is obtained, the resulting image is converted into a visible (optical) spectrum, thereby forming a “modified image of the observed object”, and a modified image of the observed object is projected directly onto the observed object itself.
При этом, в случае необходимости, модифицированное изображение наблюдаемого объекта излучение может подвергаться корректировке в процессе обработки (преобразования), например, могут усиливаться желаемые диапазоны волн или накладываться дополнительные (ранее записанные) данные, формирующие «мacкy» на воспроизводимом изображении. Такие дополнительные возможности могут быть востребованы, в частности, при идентификации загримированного человека (путем наложения маски, сформированной на основе имеющейся в базе данных фотографии) или при диагностике технического устройства (усиление излучения от перегретых узлов и точек усталости материала). Как видно из сказанного, термины «пpeoбpaзoвaниe» иIn this case, if necessary, the modified image of the observed object, the radiation can be adjusted during processing (conversion), for example, the desired wavelength ranges can be amplified or additional (previously recorded) data can be superimposed, forming a “mask” on the reproduced image. Such additional features can be demanded, in particular, when identifying a make-up person (by applying a mask formed on the basis of a photograph available in the database) or when diagnosing a technical device (amplification of radiation from overheated nodes and material fatigue points). As can be seen from the foregoing, the terms "conversion" and
«мoдификaция» имеют разный смысл: под преобразованием понимается процесс перевода изображения, полученного в «нeвидимoм» спектре, в видимый спектр, а под модификацией понимаются различные операции над результирующим изображением, в том числе добавление, усиление/ослабление и изъятие данных из цифрового образа.“Modification” has a different meaning: conversion refers to the process of converting an image received in the “invisible” spectrum into the visible spectrum, and modification refers to various operations on the resulting image, including adding, amplifying / attenuating and removing data from a digital image.
В рамках частных случаев реализации данного способа, входящее изображение в видимом диапазоне волн получают с помощью видеокамеры, излучение, исходящее от объекта в диапазоне волн,
отличающемся от видимого диапазона, принимают с помощью детекторов излучения соответствующего типа, детектор излучения обеспечивает получение двумерной или пространственной картины излучения от объекта, детектор излучения может быть приемником излучения в инфракрасном, ультрафиолетовом, радио, звуковом, ультразвуковом, инфразвуковом диапазонах. Входящее изображение в видимом диапазоне волн перед проекцией на объект может быть (если данный режим используется) преобразовано для предоставления пользователю дополнительной полезной информации - например, о динамическом изменении визуальных параметров объекта, причем преобразование может сохранять яркость (контрастность, цвет, насыщенность) изображения исходного объекта или изменять их заданным образом, а размер и форма проецируемого изображения идентичны размеру и форме объекта или масштабируются. Для проецирования может быть использован проектор или специальная оптика, совмещающая оптические оси входящего изображения получаемого с камеры и исходящего изображения, формируемого проектором (полупрозрачное зеркало и/или призма). Проецирование исходящего изображения производится в том же направлении, из которого получено входящее изображение, при этом изображение перед проецированием на объект может быть модифицировано путем включения в него виртуальных изображений по заданному алгоритму. В частности, в проецируемое изображение может быть встроено отображение предметов, скрытых за объектом, или отображение параметров объекта, представленных в невидимом диапазоне волн, или подстановка вместо скрытого изображения другого изображения, в том числе отображения виртуальных объектов. При проецировании фокусировка может быть ручной или автоматической, причем камера и
проектор могут быть сфокусированы в одну и ту же или разные точки, а детектор излучения принимает излучение из области, близкой к точке фокусировки проектора и видеокамеры.In the particular cases of the implementation of this method, the incoming image in the visible wavelength range is obtained using a video camera, the radiation coming from an object in the wavelength range which differs from the visible range, is received using radiation detectors of the appropriate type, the radiation detector provides a two-dimensional or spatial picture of the radiation from the object, the radiation detector can be a radiation receiver in the infrared, ultraviolet, radio, sound, ultrasound, infrasound ranges. The incoming image in the visible wave range before being projected onto an object can be (if this mode is used) converted to provide the user with additional useful information - for example, about dynamically changing the visual parameters of an object, and the conversion can preserve the brightness (contrast, color, saturation) of the image of the original object or change them in a predetermined way, and the size and shape of the projected image are identical to the size and shape of the object or scaled. For projection, a projector or special optics can be used, combining the optical axis of the incoming image received from the camera and the outgoing image formed by the projector (translucent mirror and / or prism). The projection of the outgoing image is carried out in the same direction from which the incoming image was obtained, while the image before projection onto the object can be modified by including virtual images in it according to the specified algorithm. In particular, the display of objects hidden behind the object, or display of object parameters represented in the invisible wavelength range, or substitution of another image for the hidden image, including the display of virtual objects, can be integrated into the projected image. When projecting, the focus can be manual or automatic, with the camera and the projector can be focused at the same or different points, and the radiation detector receives radiation from an area close to the focus point of the projector and the camcorder.
Сущность заявляемого изобретения поясняется с помощью приведенных далее графических материалов на примере одного из вариантов практической реализации предлагаемого способа в рамках системы, содержащей аппаратные средства, необходимые для получения входящего изображения объекта в видимом диапазоне волн, приема излучения, исходящего от объекта в диапазоне волн, отличающемся от видимого диапазона, преобразования данного излучения, исходящее в видимый диапазон волн и формирования «мoдифициpoвaннoгo изображения наблюдаемого oбъeктa», проецирования модифицированного изображения наблюдаемого объекта на сам объект, а также включающей в себя необходимые алгоритмические и программные решения, котороые осуществляют совокупность действий над материальными объектами (аппаратными средствами), необходимые для реализации предложенного способа.The essence of the claimed invention is illustrated using the following graphic materials on the example of one of the options for the practical implementation of the proposed method in a system containing the hardware necessary to obtain an incoming image of an object in the visible wavelength range, receiving radiation coming from the object in a wavelength other than visible range, the conversion of this radiation emanating into the visible wavelength range and the formation of a “modified image of the observed object”, citing a modified image of the observed object on the object itself, as well as including the necessary algorithmic and software solutions that carry out a set of actions on material objects (hardware) necessary to implement the proposed method.
Фиг. 1. Система для предпочтительной реализации способа отображения информации (вид 1.1 и 1.2) 1.1 - Вариант 1 - е индикацией на реальном объекте изображения скрытых (невидимых) параметров данного объектаFIG. 1. System for the preferred implementation of the method of displaying information (types 1.1 and 1.2) 1.1 - Option 1 - indication of hidden (invisible) parameters of this object on a real object
1.2 - Вариант 2 - е индикацией на реальном объекте преобразованного входного изображения данного объекта Фиг. 2. Блок-схема алгоритма реализации способа (для варианта индикации на реальном объекте скрытого невидимого изображения)1.2 - Option 2 - e, by displaying on a real object the converted input image of this object; 2. The block diagram of the implementation algorithm of the method (for the option of displaying a hidden invisible image on a real object)
На Фиг. 1 показаны примеры реализации системы, содержащей видеокамеру 100, блок НО обработки информации, детектор 120
излучения, проектор 130, наблюдаемый объект 140, входное изображение 150 в видимом диапазоне, модифицированное изображение 160 на выходе блока ПО обработки информации, излучение 170, исходящее от объекта в диапазоне волн, отличающемся от видимого диапазона, выходной сигнал 180 проектора, модифицированное изображение 190, проецируемое на объект в видимом диапазоне волн (преобразованное в видимую область излучение 170), элемент 195 модифицированного изображения, индицирующий дополнительную информацию о наблюдаемом объекте 140. Данная система является одним из вариантов реализации предложенного метода и специалисту ясно, что возможны и другие варианты конкретной аппаратной реализации предложенного метода. В частности, конкретная аппаратная реализация предложенного метода зависит от конкретного исполнения видокамеры, проектора, детектора излучения и блока обработки информации. Например, в предпочтительном варианте аппаратной реализации видеокамера и детектор сигналов могут быть технически реализованы в виде одного многофункционального устройства.In FIG. 1 shows an example implementation of a system comprising a video camera 100, an information processing unit HO, a detector 120 radiation, the projector 130, the observed object 140, the input image 150 in the visible range, the modified image 160 at the output of the information processing software unit, the radiation 170 emanating from the object in a wave range other than the visible range, the output signal 180 of the projector, the modified image 190, projected onto the object in the visible wave range (radiation 170 converted to the visible region), the modified image element 195, indicating additional information about the observed object 140. This system is about One of the options for implementing the proposed method and the specialist it is clear that other options are possible specific hardware implementation of the proposed method. In particular, the specific hardware implementation of the proposed method depends on the specific design of the video camera, projector, radiation detector, and information processing unit. For example, in a preferred embodiment of the hardware implementation, the video camera and the signal detector can be technically implemented as a single multifunction device.
Блок 110 обработки информации в предпочтительном варианте реализуют на основе компьютера, оснащенного процессором, памятью, интерфейсными блоками и соответствующим программным обеспечением, необходимым для приема и преобразования в цифровую форму входных сигналов от видеокамеры и детектора излучений, обработки изображений и вывода отображаемой информации на проектор. Выбор конкретного вида блока обработки информации является стандартной задачей инженерного проектирования.The information processing unit 110 is preferably implemented on the basis of a computer equipped with a processor, memory, interface units and appropriate software necessary for receiving and digitalizing input signals from a video camera and radiation detector, image processing and displaying information on a projector. The selection of a particular type of information processing unit is a standard engineering design task.
Алгоритм заявляемого способа (Фиг. 2) включает выполнение следующих операций (шагов):
200. НачалоThe algorithm of the proposed method (Fig. 2) includes the following operations (steps): 200. Start
201. Принимают излучение, исходящее от объекта в диапазоне волн, отличающемся от видимого диапазона;201. Accept radiation emanating from the object in a wave range different from the visible range;
202. Преобразуют излучение, исходящее от объекта в диапазоне волн, отличающемся от видимого диапазона, в видимый диапазон волн, формируя изображение параметров объекта, ранее невидимых - «cкpытoe изображение))202. Convert the radiation emanating from the object in a wave range other than the visible range into the visible wave range, forming an image of the parameters of the object, previously invisible - "hidden image))
203. Осуществляют дополнительную модификацию скрытого изображения; формируют модифицированное изображение; 204. Проецируют модифицированное изображение объекта на сам объект;203. Carry out an additional modification of the latent image; form a modified image; 204. A modified image of the object is projected onto the object itself;
205. Окончание.205. The end.
Таким образом, индикация на реальном объекте скрытых параметров, присущих данному объекту, осуществляется в соответствии с алгоритмом, представленным на фиг. 2.Thus, the indication on the real object of the hidden parameters inherent in this object is carried out in accordance with the algorithm shown in FIG. 2.
С помощью детектора 120 излучения принимают сигнал в невидимом диапазоне волн. Данный сигнал преобразуют в цифровой формат и передают в блок ПО обработки информации. В блоке ПО обработки информации представленный в цифровом формате сигнал преобразуют в видимый диапазон волн, формируя «мoдифициpoвaннoe изображение наблюдаемого объекта)), которое с помощью проектора 130 проецируют на объект 140.Using a radiation detector 120, a signal is received in the invisible wavelength range. This signal is converted to digital format and transmitted to the information processing software unit. In the information processing software block, the digitally presented signal is converted into the visible wave range, forming a “modified image of the observed object)), which is projected onto the object 140 using the projector 130.
При использовании варианта 2 изображение 150 объекта 140 в видимом диапазоне волн поступает в видеокамеру, где его преобразуют в цифровой формат и передают в блок ПО обработки информации, где цифровое представление изображения модифицируют и с помощью проектора 130 проецируют на объект 140.
Специалисту в области обработки информации понятно, что данное скрытое изображение можно обработать в зависимости от конкретных потребностей - например, повысить качество, выделить существенные детали и (или) отфильтровать некоторые объекты, дополнить изображение виртуальными объектами и т.п. В данном случае применимы любые известные способы обработки изображений - конкретный применяемый подход не имеет существенного значения для предлагаемого способа отображения информации.When using option 2, the image 150 of the object 140 in the visible wavelength range enters the video camera, where it is converted to digital format and transmitted to the information processing software unit, where the digital representation of the image is modified and projected onto the object 140 using the projector 130. An expert in the field of information processing understands that this latent image can be processed depending on specific needs - for example, to improve quality, highlight significant details and (or) filter out some objects, supplement the image with virtual objects, etc. In this case, any known methods of image processing are applicable - the specific approach used is not significant for the proposed method of displaying information.
Существенным является тот факт, что полученное скрытое и, в случае необходимости, модифицированное изображение с помощью проектора накладывают на сам объект и, таким образом, на самом этом физическом объекте индицируют те свойства, присущие данному объекту, наблюдение которых в видимом диапазоне было ранее недоступно пользователю, не применяющему предлагаемый способ. В зависимости от конкретного применения, один из вышеизложенных вариантов является наиболее подходящим. Вариант 1 применим, например, для диагностики в медицине, в технике, в других промышленных и научных областях. Вариант 2 может быть полезен при создании визуальных эффектов - в сфере развлечений (виртуальные маски, наложение виртуальных объектов на реальные), в исследовательских применениях - например, для индикации динамики изменения состояния визуализируемого объекта (в случае, когда параметры объекта в невидимом диапазоне не имеют существенного значения). Таким образом, предлагаемый способ является промышленно применимым и может быть использован, например, для обеспечения повышенной эффективности исследования скрытых полей, обнаружения скрытых дефектов (и повышения контрастности малозаметных
дефектов), в научной работе и в мультимедийных системах виртуальной реальности.It is significant that the resulting latent and, if necessary, modified image with the help of a projector is superimposed on the object itself and, thus, on this physical object itself are displayed those properties inherent in this object, the observation of which in the visible range was previously inaccessible to the user not applying the proposed method. Depending on the specific application, one of the above options is the most suitable. Option 1 is applicable, for example, for diagnosis in medicine, in technology, in other industrial and scientific fields. Option 2 can be useful in creating visual effects - in the field of entertainment (virtual masks, superimposing virtual objects on real ones), in research applications - for example, to indicate the dynamics of changes in the state of a visualized object (in the case when the parameters of the object in the invisible range do not have significant values). Thus, the proposed method is industrially applicable and can be used, for example, to provide increased efficiency in the study of hidden fields, detection of hidden defects (and to increase the contrast of subtle defects), in scientific work and in multimedia systems of virtual reality.
Следует особо подчеркнуть, что хотя данное изобретение представлено путем раскрытия в описании варианта конкретной реализации, ясно, что эквиваленты и модификации конкретной реализации также должны рассматриваться как конкретное воплощение данного изобретения, которое включает все такие модификации и эквиваленты и ограничено лишь объемом предлагаемой формулы изобретения.
It should be emphasized that although the invention is presented by disclosing in the description a variant of a particular implementation, it is clear that equivalents and modifications of a particular implementation should also be construed as a specific embodiment of the invention, which includes all such modifications and equivalents and is limited only by the scope of the claims.
Claims
1. Способ отображения информации, заключающийся в том, что на входе принимают изображение наблюдаемого объекта в заданном диапазоне волн, отл и ч аю щ и йся тем , что1. The method of displaying information, which consists in the fact that the input receives an image of the observed object in a given wavelength range, distinguished by the fact that
- преобразуют входящее изображение наблюдаемого объекта, формируя модифицированное изображение наблюдаемого объекта с заданными параметрами;- transform the input image of the observed object, forming a modified image of the observed object with the specified parameters;
- проецируют модифицированное изображение наблюдаемого объекта непосредственно на наблюдаемый объект.- project a modified image of the observed object directly onto the observed object.
2. Способ по пункту 1, отл и чаю щ и йся тем , что входящее изображение в видимом диапазоне волн получают с помощью видеокамеры.2. The method according to paragraph 1, characterized in that the incoming image in the visible wavelength range is obtained using a video camera.
3. Способ по п. 1, отл и чаю щ и йся тем , что излучение, исходящее от наблюдаемого объекта в диапазоне волн, отличающемся от видимого диапазона, преобразуют в модифицированное изображение наблюдаемого объекта в видимом диапазоне волн.3. The method according to claim 1, characterized in that the radiation emanating from the observed object in a wave range other than the visible range is converted into a modified image of the observed object in the visible wave range.
4. Способ по пункту 1, отл и чаю щ ийся т ем , что излучение, исходящее от объекта в диапазоне волн, отличающемся от видимого диапазона, принимают с помощью детекторов излучения, адаптированных к работе в данном диапазоне волн.4. The method according to paragraph 1, distinguished by the fact that radiation emanating from an object in a wave range other than the visible range is received using radiation detectors adapted to operate in this wave range.
5. Способ по п. 4, отл и чаю щ и йся т ем , что получение двумерной или пространственной картины излучения от наблюдаемого объекта осуществляют с помощью детектора излучения.5. The method of claim 4, wherein the two-dimensional or spatial pattern of radiation from the observed object is obtained using a radiation detector.
6. Способ по п. 1, о тл и чающ ийся т ем , что модифицированное изображение вычисляют путем введения фиксированной или изменяемой по заданному алгоритму задержки по времени между получением входящего изображения и формированием исходящего изображения.6. The method of claim 1, wherein the modified image is calculated by introducing fixed or variable according to a given algorithm time delay between receiving an incoming image and the formation of an outgoing image.
7. Способ по пункту 1, отл и ч аю щ и йся т ем , что входящее изображение получают непрерывно или через заданные промежутки времени7. The method according to paragraph 1, distinguished by the fact that the incoming image is received continuously or at predetermined intervals
8. Способ по пункту 1, о тл и ч аю щ и йся т ем , что входящее изображение получают камерой или иным детектором, выполненными с возможностью перемещения и позволяющими получить изображение наблюдаемого объекта.8. The method according to paragraph 1, which requires that the incoming image is obtained by a camera or other detector configured to move and to obtain an image of the observed object.
9. Способ по пункту 1, о тл и ч аю щ и йся т ем , что проецирование модифицированного изображения на объект обеспечивает подсветку объекта по заданному алгоритму.9. The method according to paragraph 1, according to which the projection of a modified image onto an object provides illumination of the object according to a predetermined algorithm.
10. Способ по пункту 1, о тл и ч а ю щ и йся т ем , что в преобразованном изображении наблюдаемого объекта обеспечивают заданное соотношение размеров исходного наблюдаемого объекта.10. The method according to paragraph 1, with the exception that in the converted image of the observed object, a predetermined aspect ratio of the initial observed object is provided.
11. Способ по пункту 1, отл и чаю щ и йся т ем , что преобразование осуществляют путем поворота изображения объекта.11. The method according to paragraph 1, distinguished by the fact that the conversion is carried out by rotating the image of the object.
12. Способ по пункту 1, о тл и ч аю щ и йся т ем , что преобразование осуществляют путем центрально симметричного преобразования.12. The method according to paragraph 1, with the exclusion that the conversion is carried out by a centrally symmetric transformation.
13. Способ по пункту 1, о тл и ч аю щ и йся т ем , что преобразование осуществляют симметрично по заданной оси13. The method according to paragraph 1, with respect to the fact that the conversion is carried out symmetrically on a given axis
14. Способ по пункту 1, о тл и ч а ю щ и йся т ем , что в процессе преобразование изображения наблюдаемого объекта такие параметры, как яркость, контрастность, цвет и насыщенность исходного изображения изменяют по заданному алгоритму, в том числе путем сдвигания спектра. 14. The method according to paragraph 1, including the fact that during the conversion of the image of the observed object, parameters such as brightness, contrast, color and the saturation of the original image is changed according to a given algorithm, including by shifting the spectrum.
15. Способ по пункту 1, о тл и чаю щ и й ся т ем , что размер и форму проецируемого изображения изменяют заданным образом15. The method according to paragraph 1, with respect to the fact that the size and shape of the projected image is changed in a predetermined manner
16. Способ по пункту 1, отл и ч аю щ и й ся т ем , что проецирование модифицированного наблюдаемого изображения производят в том же направлении, из которого получено входящее изображение16. The method according to paragraph 1, distinguished by the fact that the projection of the modified observed image is produced in the same direction from which the incoming image is obtained
17. Способ по п. 1, отл и ч аю щ и йся т ем , что модифицированное изображение наблюдаемого объекта формируют путем включения в него виртуальных изображений по заданному алгоритму17. The method according to p. 1, distinguished by the fact that a modified image of the observed object is formed by including virtual images in it according to a given algorithm
18. Способ по п. 1, о тл и ч аю щ и йся т ем , что в состав модифицированного изображения объекта включают отображение предметов, скрытых за объектом18. The method of claim 1, wherein the composition of the modified image of the object includes displaying objects hidden behind the object
19. Способ по п. 1, о тл и чаю щ и й ся т ем , что в качестве модифицированного изображения используют произвольное изображение, в том числе изображение виртуальных объектов. 19. The method according to claim 1, with the exclusion that an arbitrary image is used as a modified image, including an image of virtual objects.
20. Способ по пункту 1, о тл и чаю щ и йся т ем , что для проецирования используют проектор20. The method according to claim 1, with respect to the fact that a projector is used for projection
21. Способ по пункту 1, отл и ч аю щ и й ся т ем , что для проецирования используют оптику, совмещающую оптические оси входящего изображения, получаемого с камеры, и исходящего изображения, формируемого проектором. 21. The method according to paragraph 1, distinguished by the fact that for projection, optics are used combining the optical axes of the incoming image received from the camera and the outgoing image formed by the projector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2008/000587 WO2010027291A1 (en) | 2008-09-08 | 2008-09-08 | Information display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/RU2008/000587 WO2010027291A1 (en) | 2008-09-08 | 2008-09-08 | Information display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2010027291A1 true WO2010027291A1 (en) | 2010-03-11 |
Family
ID=41797306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2008/000587 WO2010027291A1 (en) | 2008-09-08 | 2008-09-08 | Information display method |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2010027291A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2675057C1 (en) * | 2017-08-15 | 2018-12-14 | Общество с ограниченной ответственностью "Инжиниринговая Компания "Пульсар Ойл" | Method of identification and visualization of engineering communications in space |
| US11127212B1 (en) * | 2017-08-24 | 2021-09-21 | Sean Asher Wilens | Method of projecting virtual reality imagery for augmenting real world objects and surfaces |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6379009B1 (en) * | 1996-04-24 | 2002-04-30 | James L. Fergason | Conjugate optics projection display with image enhancement |
| RU2298294C2 (en) * | 2001-06-05 | 2007-04-27 | Риэктрикс Системз, Инк. | Interactive video display system |
| US20080198459A1 (en) * | 2007-01-29 | 2008-08-21 | Fergason Patent Properties, Llc | Conjugate optics projection display system and method having improved resolution |
-
2008
- 2008-09-08 WO PCT/RU2008/000587 patent/WO2010027291A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6379009B1 (en) * | 1996-04-24 | 2002-04-30 | James L. Fergason | Conjugate optics projection display with image enhancement |
| RU2298294C2 (en) * | 2001-06-05 | 2007-04-27 | Риэктрикс Системз, Инк. | Interactive video display system |
| US20080198459A1 (en) * | 2007-01-29 | 2008-08-21 | Fergason Patent Properties, Llc | Conjugate optics projection display system and method having improved resolution |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2675057C1 (en) * | 2017-08-15 | 2018-12-14 | Общество с ограниченной ответственностью "Инжиниринговая Компания "Пульсар Ойл" | Method of identification and visualization of engineering communications in space |
| US11127212B1 (en) * | 2017-08-24 | 2021-09-21 | Sean Asher Wilens | Method of projecting virtual reality imagery for augmenting real world objects and surfaces |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11835702B2 (en) | Medical image processing apparatus, medical image processing method, and medical observation system | |
| US10638080B2 (en) | Systems and method for augmented reality ophthalmic surgical microscope projection | |
| JP3618381B2 (en) | Visual information system and image display method | |
| US9609206B2 (en) | Image processing apparatus, method for controlling image processing apparatus and storage medium | |
| CN104079839B (en) | Device and method for the multispectral imaging using parallax correction | |
| JP2005227950A (en) | Image processor and method, program and recording medium | |
| US11531151B2 (en) | Imaging apparatus and image generating method that detects an orientation of an imaging section and generates an image corresponding to a polarization direction corresponding to the orientation the imaging section | |
| JP2009210840A (en) | Stereoscopic image display device and method, and program | |
| WO2017168986A1 (en) | Control device, endoscope image pickup device, control method, program, and endoscope system | |
| US9282881B2 (en) | 3D image shooting apparatus and endoscope | |
| JP2012145840A (en) | Image pickup apparatus | |
| JP2020508496A (en) | Microscope device for capturing and displaying a three-dimensional image of a sample | |
| GB2557437A (en) | Display control apparatus and method of controlling display control apparatus | |
| JP2015119277A (en) | Display apparatus, display method, and display program | |
| US7042421B2 (en) | Method for advanced imaging in augmented reality | |
| CN111856751B (en) | Head mounted display with low light operation | |
| JP2011217202A (en) | Image capturing apparatus | |
| WO2010027291A1 (en) | Information display method | |
| JP2011182026A (en) | Image processing apparatus, image display system, and image extracting device | |
| US20220148128A1 (en) | Image processing apparatus, image processing method, and program | |
| WO2016136071A1 (en) | Imaging device, actuation method for imaging device | |
| CN105306809A (en) | Image capturing apparatus and control method of image capturing apparatus | |
| EP2928179B1 (en) | Depth of field indication using focus-peaking picture markers | |
| JP2015149611A (en) | Photographing apparatus, photographing support method, and photographing support program | |
| KR102288528B1 (en) | Apparatus and Method for Creating Augmented Reality Image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 08876887 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 08876887 Country of ref document: EP Kind code of ref document: A1 |