WO2004051391A2 - Method and device for capturing the movement of a solid using at least one camera and one angular sensor - Google Patents

Method and device for capturing the movement of a solid using at least one camera and one angular sensor Download PDF

Info

Publication number
WO2004051391A2
WO2004051391A2 PCT/FR2003/003484 FR0303484W WO2004051391A2 WO 2004051391 A2 WO2004051391 A2 WO 2004051391A2 FR 0303484 W FR0303484 W FR 0303484W WO 2004051391 A2 WO2004051391 A2 WO 2004051391A2
Authority
WO
WIPO (PCT)
Prior art keywords
solid
sensor
rotation
image
translation
Prior art date
Application number
PCT/FR2003/003484
Other languages
French (fr)
Other versions
WO2004051391A3 (en
Inventor
Dominique David
Original Assignee
Commissariat A L'energie Atomique
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat A L'energie Atomique filed Critical Commissariat A L'energie Atomique
Priority to AU2003294084A priority Critical patent/AU2003294084A1/en
Publication of WO2004051391A2 publication Critical patent/WO2004051391A2/en
Publication of WO2004051391A3 publication Critical patent/WO2004051391A3/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • the present invention relates to a method and a device making it possible to capture (“sensing”) - it is also said to measure - the movement of an object or, more precisely, of a solid.
  • the invention applies to any field where there is a need to capture a movement, from the simple attitude station to miniature capture systems with six degrees of freedom.
  • the invention applies for example to the following fields:
  • Intersense called "Inertiacube” (registered trademark). This The system uses nine sensors, namely three accelerometers, three magnetometers and three gyrometers.
  • EP 1 089 215 A “Optical sensing and control of movements using multiple passive sensors”. This document describes a technique that uses only cameras to reconstruct the six parameters of a movement.
  • This technique requires complex algorithms to correct a systematic drift during the measurements.
  • the object of the present invention is to remedy the above drawbacks.
  • translation measurements without integration, carried out are combined. with passive optical means, and rotation measurements also without integration, carried out with appropriate sensors. No integration is thus necessary.
  • one or more video cameras and one or more sensors, such as accelerometers or magnetometers are associated, the measurements made with these sensors are used as corrective measurements and the latter are applied. to the measurements made with the cameras.
  • a multimodal system comprising accelerometers and / or magnetometers, is particularly well suited to restoring the angles of rotation of a solid around its center of gravity.
  • a video-based system is capable of easily estimating translational movements, at least qualitatively even quantitatively.
  • the present invention takes advantage of these complementarities to propose a device making it possible to capture the rotations and translations of a solid, with a view to restoring these rotations and translations.
  • This known device implements a technique making it possible to restore the third dimension in a scene filmed by a video camera. We use a single camera that we move to generate a succession of different points of view of the same scene.
  • the camera can be equipped with a motion capture system. This gives a device which resembles that of the present invention but, in no case, the image output of the camera is combined with the output of the capture system, unlike the present invention.
  • the output of this system is used, in the algorithms, to restore the third dimension in the scene seen by the camera and not to restore the six degrees of freedom of movement of the camera itself, the content of the image in this case being also unimportant.
  • the present invention relates to a method for measuring the movement of a solid, this method being characterized in that:
  • At least one first sensor capable of observing a scene is made rigidly integral with the solid and to provide an image thereof and at least one second sensor capable of measuring a rotation
  • images are acquired at successive times, which delimit time intervals, these time intervals being less than a predetermined value, chosen so that two consecutive images have a common scene part and , for each time interval, we determine, using at least the second sensor, the rotation of the first sensor, and therefore of the solid, between the first and second instants which delimit this time interval, and we determine the translation of the solid between these first and second instants, from the first and second images respectively acquired at the first and second instants.
  • the rotation of the first sensor is determined using the second sensor and the first sensor.
  • the rotation is applied to the first image, to obtain a first transformed image, or the reverse rotation to the second image, to obtain a second transformed image, and
  • the translation of the solid is then determined according to the first transformed image and the second image or according to the first image and the second transformed image.
  • the predetermined value is also chosen so as to be able to neglect the rotation of the solid between the first and second instants and the translation of the solid is determined as a function of the first and second images, neglecting this rotation to do this.
  • first sensors and several second sensors are made rigidly integral with the solid.
  • the present invention also relates to a device for measuring the movement of a solid, this device being characterized in that it comprises: - at least a first sensor, capable of observing a scene and providing an image of it, and at least a second sensor capable of measuring a rotation, these first and second sensors being made rigidly integral with the solid, with a view to acquiring, using the first sensor, images at successive instants, which delimit time intervals , these time intervals being less than a predetermined value, chosen so that two consecutive images have a common scene part.
  • the device which is the subject of the invention may further comprise means for processing the signals supplied by the first and second sensors, these processing means being capable of determining, for each time interval, using the signals supplied by the second sensor, the rotation of the first sensor, and therefore of the solid, between the first and second instants which delimit this time interval, and the translation of the solid between these first and second instants, from the first and second images acquired respectively at the first and second instants.
  • the processing means before determining the translation, are able to: apply the rotation to the first image, to obtain a first transformed image, or the reverse rotation to the second image, to obtain a second transformed image, and - then determine the translation of the solid as a function of the first transformed image and of the second image or as a function of the first image and of the second transformed image.
  • the predetermined value is also chosen so as to be able to neglect the rotation of the solid between the first and second instants and the processing means are capable of determining the translation of the solid from first and second images, neglecting this rotation to do this.
  • the device which is the subject of the invention may comprise several first sensors and several second sensors.
  • each first sensor is a camera.
  • each second sensor is preferably chosen from magnetometers and accelerometers.
  • a device according to the invention can be designed, provided with video cameras and angular sensors in sufficient number so that the device can continue to operate even if one of its sensors is defective or if the one of its cameras is obstructed.
  • - Figure 1 is a schematic perspective view of a first particular embodiment of the device object of the invention
  • - Figure 2 is a schematic perspective view of a second particular embodiment of this device.
  • one or more video cameras are used which operate in the visible or infrared range.
  • the number of pixels in each camera can be very small. It is worth for example 32x32.
  • one or more angular position sensors, or angular sensors are used, each of these sensors being capable of providing information on inclination with respect to at least one reference axis.
  • Each angular sensor is for example an accelerometer or a magnetometer, or even a gyrometer.
  • the reference axis is for example a vertical axis, in the case of an accelerometer, or the direction of magnetic north in the case of a magnetometer.
  • This angular sensor which is made rigidly integral with the video camera, therefore makes it possible to know the orientation of the latter relative to this axis.
  • the determination of the rotation can also be carried out by using, in addition to information coming from the angular sensor, that coming from the video camera.
  • This calculation is then adapted, as will be seen below, to take into account the additional data constituted by the knowledge of the orientation or orientations of the video camera.
  • the image supplied by this video camera can be subjected to a prior orientation, the value of which is deduced from the rotation indicated by the angular sensor, before this image is subjected to the correlation mentioned above.
  • a fifth video camera is also provided, it is arranged so that its optical axis is parallel to Y.
  • a sixth video camera is also used, it is arranged so that its optical axis is parallel to Z.
  • Figure 1 is a schematic perspective view of an example of the device object of one invention.
  • the device of FIG. 1 is intended to measure, or capture, the movement of a solid 2.
  • the device comprises a video camera 4, an angular sensor 6, which is an accelerometer or a magnetometer, and electronic means 8 provided for memorize and process the information or signals supplied by the video camera 4 and by the angular sensor 6 and to memorize the results of the treatment.
  • This video camera and this angular sensor are fixed to the solid 2 whose movement is to be measured.
  • the electronic means 8 may or may not be integral with this solid 2.
  • the video camera operates in the visible range or in the infrared range. At a given instant, it provides an image of a scene 10, that is to say of a part of the environment of the solid 2, which is in the field of this video camera 4. With the aid of the latter, images are recorded at successive instants. It is assumed that these instants are close enough that part of the scene recorded in one image is also found in the following image. More precisely, the successive instants delimit time intervals and the duration of each of these is less than a predetermined value, chosen so that two consecutive images have a common scene part. This choice depends on the maximum speed that the solid 2 is capable of reaching, the depth of field of the scene observed and the optical characteristics of the camera.
  • a value of 20 ms or 40 ms is chosen, corresponding to the standard rate of acquisition of a camera, for a maximum speed of lm / s, for a depth of field of a few meters and for a focal length of a few millimeters.
  • the present invention overcomes these drawbacks as will be understood in the light of the following.
  • the video camera 4 For each time interval [tl; t2] delimited by instants tl and t2, the video camera 4 provides at the instant tl (respectively t2) an image il (respectively i2) and the angular sensor 6 provides an angle al (respectively a2).
  • This angle is the angle formed, at this instant, between the axis of sensitivity of the sensor and a reference direction, namely the vertical direction, in the case where the sensor is an accelerometer, and the direction of magnetic north when it it is a magnetometer.
  • this movement is determined in the following way by the electronic means 8.
  • these electronic means 8 determine the rotation of the video camera 4, and therefore that of the solid 2, between the instants tl and t2, from the measurements provided by the angular sensor 6: it is a rotation whose angle is a2 - al.
  • these means 8 determine a transformed image, resulting from the angle rotation a2 - al of the image il, so that this transformed image is "aligned" with the image i2, that is to say - say made parallel to the latter.
  • the means 8 determine a transformed image by applying in this case a rotation of angle al - a2 to the image i2 to further obtain an alignment of the image il and of this transformed image.
  • the electronic means 8 carry out a conventional correlation to determine the translation of the solid 2 between the instants t1 and t2.
  • the device uses only components which are available at low cost.
  • the method does not require any mathematical integration, that is to say that it does not work from the first or second derivatives of the trajectory of the solid, derivatives which must then be integrated, which is a source known to drift.
  • the device of FIG. 1 allows the quantitative determination, in any time interval considered, of the translation of the solid, parallel to a plane which is perpendicular to the optical axis of the camera 4, and of the rotation of this solid around this axis.
  • This device comprises only one video camera so that only two components of the translation vector can be easily measured in the time interval considered, namely the projections of this vector in the image plane of the video camera. .
  • the third component is theoretically also accessible with this same camera but this requires signal processing which is complex and not very robust.
  • the angular sensor of the device in FIG. 1 only makes it possible to determine two angles of rotation of the optical axis X of the video camera 4 (uni-axis sensor), whence only a partial determination of the rotation of this camera, and therefore of solid 2, during the time interval considered.
  • the movement of the solid 2 is then measured in the manner described below.
  • the image il (respectively t2) is acquired at the instant tl (respectively i2) and the angle al or bl or cl (respectively a2 or b2 or c2) between the sensitivity axis associated with this camera and the reference axis.
  • the solid 12 has the shape of a cube and six video cameras 18a, 18b, 20a, 20b, 22a and 22b) are respectively fixed on the six faces of this cube.
  • the latter carry two cameras whose optical axes coincide with the x or y or z axis associated with these faces.
  • the x, y and z axes are respectively associated with the pairs 18a-18b, 20a-20b and 22a-22b of video cameras.
  • angular sensors are fixed on the solid 12, for example an accelerometer 24 having three axes of sensitivity and a magnetometer 26 also having three axes of sensitivity.
  • the advantage of using more than three video cameras, namely six cameras in the example of FIG. 2 is as follows: the system then becomes redundant and, therefore, even more robust.
  • the device in FIG. 2 also comprises electronic storage and processing means 28, capable of storing and processing signals supplied by the video cameras and the angular sensors and of storing the results of the processing.
  • electronic storage and processing means 28 capable of storing and processing signals supplied by the video cameras and the angular sensors and of storing the results of the processing.
  • the angular sensors (that is to say the tri-axis accelerometer 24 and the tri-axis magnetometer 26) indicate the rotation around the x axis.
  • This treatment can of course be applied (neglect of rotation) for all the cameras with which the solid 12 is provided.
  • the angular sensors 24 and 26 are fixed on the same face of the cube. However, these angular sensors, which are mechanically attached to the video cameras, could be distributed over the cube.
  • the device of Figure 2 has various advantages.
  • the device in FIG. 2 is more robust, that is to say better withstands measurement noise.

Abstract

The invention concerns a method and a device for capturing the movement of a solid using at least one camera and one angular sensor. The invention, which is applicable in particular to video games, is characterized in that it consists in: equipping the solid (2) with at least one first sensor (4) for observing a scene and providing an image thereof and at least a second sensor (6) for measuring a rotation; acquiring, by means of the first sensor, images at successive times, which delimit time intervals for each of which the rotation of the first sensor is determined by means of the second sensor and the translation of said solid from said images.

Description

PROCEDE ET DISPOSITIF DE CAPTURE DU MOUVEMENT D'UN SOLIDE, UTILISANT AU MOINS UNE CAMERA ET UN CAPTEUR METHOD AND DEVICE FOR CAPTURING THE MOTION OF A SOLID, USING AT LEAST ONE CAMERA AND ONE SENSOR
ANGULAIREANGULAR
DESCRIPTIONDESCRIPTION
DOMAINE TECHNIQUETECHNICAL AREA
La présente invention concerne un procédé et un dispositif permettant de capturer (« sensing ») - on dit aussi mesurer - le mouvement d'un objet ou, plus précisément, d'un solide.The present invention relates to a method and a device making it possible to capture (“sensing”) - it is also said to measure - the movement of an object or, more precisely, of a solid.
L'invention s'applique à tout domaine où l'on a besoin de capturer un mouvement, depuis la simple centrale d'attitude jusqu'aux systèmes miniatures de capture à six degrés de liberté. L'invention s'applique par exemple aux domaines suivants :The invention applies to any field where there is a need to capture a movement, from the simple attitude station to miniature capture systems with six degrees of freedom. The invention applies for example to the following fields:
- navigation multimédia,- multimedia navigation,
- jeux vidéo, conception assistée par ordinateur (« computer aided design ») et conception en milieu industriel,- video games, computer aided design and industrial design,
- périphériques informatiques,- computer peripherals,
- objets communicants, et- communicating objects, and
- santé (en particulier la chirurgie et le maintien à domicile) .- health (in particular surgery and home care).
ETAT DE LA TECHNIQUE ANTERIEURESTATE OF THE PRIOR ART
Jusqu'à présent, personne n'a été capable de concevoir un système de capture de mouvement qui soit à la fois miniature et versatile. On sait que les professionnels utilisent des techniques de capture du genre magnétique ou optique. Les techniques réservées au grand public doivent être, quant à elles, peu coûteuses et conduisent actuellement soit à l' accélérométrie soit à la mesure en trois dimensions à partir de séquences vidéo.So far, no one has been able to design a motion capture system that is both miniature and versatile. We know that professionals use magnetic or optical capture techniques. As for the techniques reserved for the general public, they must be inexpensive and currently lead either to accelerometry or to three-dimensional measurement from video sequences.
Aucune de ces méthodes n'est satisfaisante : elles sont toutes difficiles à maîtriser du point de vue technique et la vidéo nécessite une grande puissance de calcul et une mise en œuvre complexe.None of these methods is satisfactory: they are all difficult to master from a technical point of view and video requires great computing power and complex implementation.
Plus précisément, dans le domaine de la capture du mouvement à six degré de liberté, les systèmes professionnels les plus performants font appel à des méthodes actives, nécessitant d'équiper le volume de mesure, par exemple une pièce, soit de caméras (pour les méthodes optiques actives) soit de générateurs de champ magnétique. Ces techniques sont chères, incompatibles avec une démocratisation de la capture du mouvement, dont les applications sont pourtant nombreuses. De plus, elles nécessitent des experts pour leur mise en œuvre . De nombreuses recherches sont en cours pour remédier à ces inconvénients et proposer des systèmes moins onéreux, fiables et faciles à utiliser.More precisely, in the field of motion capture with six degrees of freedom, the most efficient professional systems call on active methods, requiring equipping the measurement volume, for example a room, or with cameras (for active optical methods) or magnetic field generators. These techniques are expensive, incompatible with a democratization of the capture of the movement, whose applications are however numerous. In addition, they require experts for their implementation. A lot of research is underway to remedy these drawbacks and to propose systems that are less expensive, reliable and easy to use.
Pour l'instant, les produits qui résultent de ces recherches sont rares. On peut néanmoins citer, parmi ces produits, le système de la SociétéFor the moment, the products that result from this research are rare. Nonetheless, one can cite, among these products, the Company's system
Intersense, appelé « Inertiacube » (marque déposée) . Ce système utilise neuf capteurs (« sensors » ) , à savoir trois accéléromètres, trois magnêtomètres et trois gyromètres .Intersense, called "Inertiacube" (registered trademark). This The system uses nine sensors, namely three accelerometers, three magnetometers and three gyrometers.
Cependant, ce système ne donne pas satisfaction car il fonctionne sur un principe d'intégration des signaux. Or, on sait que les méthodes d' intégration sont extrêmement délicates à maîtriser car elles sont classiquement trop sensibles au bruit de mesure . À l'usage, le système Inertiacube (marque déposée) montre ce handicap à travers une dérive sensible de la mesure, corrigée par recalage environ toutes les secondes. Ce système s'avère ainsi difficilement utilisable car il est n'est pas assez fiable.However, this system is not satisfactory because it works on a principle of signal integration. However, we know that integration methods are extremely difficult to master because they are classically too sensitive to measurement noise. In use, the Inertiacube system (registered trademark) shows this handicap through a significant drift in the measurement, corrected by readjusting approximately every second. This system is therefore difficult to use because it is not reliable enough.
On se reportera en outre au document suivant :We also refer to the following document:
[1] EP 1 089 215 A, « Optical sensing and control of movements using multiple passive sensors ». Ce document décrit une technique qui met en œuvre uniquement des caméras pour reconstituer les six paramètres d'un mouvement.[1] EP 1 089 215 A, “Optical sensing and control of movements using multiple passive sensors”. This document describes a technique that uses only cameras to reconstruct the six parameters of a movement.
Cette technique nécessite des algorithmes complexes pour corriger une dérive systématique au cours des mesures.This technique requires complex algorithms to correct a systematic drift during the measurements.
EXPOSÉ DE L'INVENTIONSTATEMENT OF THE INVENTION
La présente invention a pour but de remédier aux inconvénients précédents . Selon un aspect de l'invention, on combine des mesures de translation sans intégration, effectuées avec des moyens optiques passifs, et des mesures de rotation également sans intégration, effectuées avec des capteurs appropriés. Aucune intégration n'est ainsi nécessaire . Selon un autre aspect de l'invention, on associe une ou plusieurs caméras vidéo et un ou plusieurs capteurs, du genre des accéléromètres ou des magnêtomètres, on utilise les mesures effectuées avec ces capteurs en tant que mesures correctrices et l'on applique ces dernières aux mesures effectuées avec les caméras .The object of the present invention is to remedy the above drawbacks. According to one aspect of the invention, translation measurements without integration, carried out, are combined. with passive optical means, and rotation measurements also without integration, carried out with appropriate sensors. No integration is thus necessary. According to another aspect of the invention, one or more video cameras and one or more sensors, such as accelerometers or magnetometers, are associated, the measurements made with these sensors are used as corrective measurements and the latter are applied. to the measurements made with the cameras.
Il convient de noter qu'un système multimodal, comprenant des accéléromètres et/ou des magnêtomètres, est particulièrement bien adapté à la restitution des angles de rotation d'un solide autour de son centre de gravité. Néanmoins, il est plus difficile de mettre en œuvre un tel système dans l'intention de restituer les translations de ce solide.It should be noted that a multimodal system, comprising accelerometers and / or magnetometers, is particularly well suited to restoring the angles of rotation of a solid around its center of gravity. However, it is more difficult to implement such a system with the intention of restoring the translations of this solid.
Au contraire, un système fondé sur la vidéo est apte à estimer facilement des mouvements de translation, du moins de façon qualitative voire de façon quantitative.On the contrary, a video-based system is capable of easily estimating translational movements, at least qualitatively even quantitatively.
La présente invention tire parti de ces complémentarités pour proposer un dispositif permettant de capturer les rotations et les translations d'un solide, en vue de restituer ces rotations et translations .The present invention takes advantage of these complementarities to propose a device making it possible to capture the rotations and translations of a solid, with a view to restoring these rotations and translations.
Il convient de distinguer le dispositif objet de l'invention d'un dispositif connu, dont la constitution ressemble à la sienne mais dont les objectifs sont totalement différents. Ce dispositif connu met en œuvre une technique permettant de restituer la troisième dimension dans une scène filmée par une caméra vidéo. On utilise une seule caméra que l'on déplace pour engendrer une succession de points de vue différents d'une même scène.It is advisable to distinguish the device object of the invention from a known device, whose constitution resembles its own but whose objectives are totally different. This known device implements a technique making it possible to restore the third dimension in a scene filmed by a video camera. We use a single camera that we move to generate a succession of different points of view of the same scene.
Il existe des logiciels contenant des algorithmes qui prennent en compte ces différents points de vue pour restituer cette troisième dimension de façon totale ou partielle. A titre d'exemple, laThere are software packages containing algorithms which take into account these different points of view to restore this third dimension in whole or in part. For example, the
Société Realviz commercialise de tels logiciels.Realviz company markets such software.
Dans certaines réalisations, la caméra peut être équipée d'un système de capture du mouvement. On obtient alors un dispositif qui ressemble à celui de la présente invention mais, en aucun cas, la sortie-image de la caméra n'est combinée à la sortie du système de capture, contrairement à la présente invention.In some embodiments, the camera can be equipped with a motion capture system. This gives a device which resembles that of the present invention but, in no case, the image output of the camera is combined with the output of the capture system, unlike the present invention.
La sortie de ce système est utilisée, dans les algorithmes, pour restituer la troisième dimension dans la scène vue par la caméra et non pas pour restituer les six degrés de liberté du mouvement de la caméra elle - même, le contenu de l'image dans ce cas étant d'ailleurs sans importance.The output of this system is used, in the algorithms, to restore the third dimension in the scene seen by the camera and not to restore the six degrees of freedom of movement of the camera itself, the content of the image in this case being also unimportant.
Les objectifs de ce dispositif connu sont donc totalement différents de ceux de l'invention.The objectives of this known device are therefore completely different from those of the invention.
De façon précise, la présente invention concerne un procédé de mesure du mouvement d'un solide, ce procédé étant caractérisé en ce que :Specifically, the present invention relates to a method for measuring the movement of a solid, this method being characterized in that:
- on rend rigidement solidaires du solide au moins un premier capteur apte à observer une scène et à fournir une image de celle-ci et au moins un deuxième capteur apte à mesurer une rotation,- at least one first sensor capable of observing a scene is made rigidly integral with the solid and to provide an image thereof and at least one second sensor capable of measuring a rotation,
- on acquiert, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune et, pour chaque intervalle de temps, on détermine, a l'aide au moins du deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et on détermine la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants .- using the first sensor, images are acquired at successive times, which delimit time intervals, these time intervals being less than a predetermined value, chosen so that two consecutive images have a common scene part and , for each time interval, we determine, using at least the second sensor, the rotation of the first sensor, and therefore of the solid, between the first and second instants which delimit this time interval, and we determine the translation of the solid between these first and second instants, from the first and second images respectively acquired at the first and second instants.
Selon un mode de mise en œuvre particulier de l'invention, la rotation du premier capteur est déterminée à 1 ' aide du deuxième capteur et du premier capteur.According to a particular embodiment of the invention, the rotation of the first sensor is determined using the second sensor and the first sensor.
Selon un premier mode de mise en œuvre particulier du procédé objet de l'invention,According to a first particular mode of implementation of the method which is the subject of the invention,
- avant de déterminer la translation, on applique la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et- before determining the translation, the rotation is applied to the first image, to obtain a first transformed image, or the reverse rotation to the second image, to obtain a second transformed image, and
- on détermine ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première image et de la deuxième image transformée. Selon un deuxième mode de mise en œuvre particulier du procédé objet de l' invention, la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide entre les premier et deuxième instants et l'on détermine la translation du solide en fonction des première et deuxième images, en négligeant, pour ce faire, cette rotation.- The translation of the solid is then determined according to the first transformed image and the second image or according to the first image and the second transformed image. According to a second particular embodiment of the method which is the subject of the invention, the predetermined value is also chosen so as to be able to neglect the rotation of the solid between the first and second instants and the translation of the solid is determined as a function of the first and second images, neglecting this rotation to do this.
Selon un mode de mise en œuvre préféré du procédé objet de l'invention, on rend rigidement solidaires du solide plusieurs premiers capteurs et plusieurs deuxièmes capteurs.According to a preferred embodiment of the process which is the subject of the invention, several first sensors and several second sensors are made rigidly integral with the solid.
La présente invention concerne aussi un dispositif de mesure du mouvement d'un solide, ce dispositif étant caractérisé en ce qu'il comprend : - au moins un premier capteur, apte à observer une scène et à fournir une image de celle-ci, et au moins un deuxième capteur apte à mesurer une rotation, ces premier et deuxième capteurs étant rendus rigidement solidaires du solide, en vue d'acquérir, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune.The present invention also relates to a device for measuring the movement of a solid, this device being characterized in that it comprises: - at least a first sensor, capable of observing a scene and providing an image of it, and at least a second sensor capable of measuring a rotation, these first and second sensors being made rigidly integral with the solid, with a view to acquiring, using the first sensor, images at successive instants, which delimit time intervals , these time intervals being less than a predetermined value, chosen so that two consecutive images have a common scene part.
Le dispositif objet de l'invention peut comprendre en outre des moyens de traitement des signaux fournis par les premier et deuxième capteurs, ces moyens de traitement étant aptes à déterminer, pour chaque intervalle de temps, à l'aide des signaux fournis par le deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants .The device which is the subject of the invention may further comprise means for processing the signals supplied by the first and second sensors, these processing means being capable of determining, for each time interval, using the signals supplied by the second sensor, the rotation of the first sensor, and therefore of the solid, between the first and second instants which delimit this time interval, and the translation of the solid between these first and second instants, from the first and second images acquired respectively at the first and second instants.
Selon un premier mode de réalisation particulier du dispositif objet de l'invention, avant de déterminer la translation, les moyens de traitement sont aptes à : appliquer la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et - déterminer ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première image et de la deuxième image transformée.According to a first particular embodiment of the device which is the subject of the invention, before determining the translation, the processing means are able to: apply the rotation to the first image, to obtain a first transformed image, or the reverse rotation to the second image, to obtain a second transformed image, and - then determine the translation of the solid as a function of the first transformed image and of the second image or as a function of the first image and of the second transformed image.
Selon un deuxième mode de réalisation particulier du dispositif objet de l'invention, la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide entre les premier et deuxième instants et les moyens de traitement sont aptes à déterminer la translation du solide à partir des première et deuxième images, en négligeant, pour ce faire, cette rotation.According to a second particular embodiment of the device which is the subject of the invention, the predetermined value is also chosen so as to be able to neglect the rotation of the solid between the first and second instants and the processing means are capable of determining the translation of the solid from first and second images, neglecting this rotation to do this.
Le dispositif objet de l'invention peut comprendre plusieurs premiers capteurs et plusieurs deuxièmes capteurs . De préférence, chaque premier capteur est une caméra. En outre, chaque deuxième capteur est de préférence choisi parmi les magnêtomètres et les accéléromètres .The device which is the subject of the invention may comprise several first sensors and several second sensors. Preferably, each first sensor is a camera. In addition, each second sensor is preferably chosen from magnetometers and accelerometers.
Il convient de noter que l'on peut concevoir un dispositif conforme à l'invention, pourvu de caméras vidéo et de capteurs angulaires en nombre suffisant pour que le dispositif puisse continuer à fonctionner même si l'un de ses capteurs est déficient ou si l'une de ses caméras est obstruée.It should be noted that a device according to the invention can be designed, provided with video cameras and angular sensors in sufficient number so that the device can continue to operate even if one of its sensors is defective or if the one of its cameras is obstructed.
BRÈVE DESCRIPTION DES DESSINSBRIEF DESCRIPTION OF THE DRAWINGS
La présente invention sera mieux comprise à la lecture de la description d'exemples de réalisation donnés ci-après, à titre purement indicatif et nullement limitatif, en faisant référence aux dessins annexés, sur lesquels :The present invention will be better understood on reading the description of exemplary embodiments given below, by way of purely indicative and in no way limiting, with reference to the appended drawings, in which:
- la figure 1 est une vue en perspective schématique d'un premier mode de réalisation particulier du dispositif objet de l'invention, et - la figure 2 est une vue en perspective schématique d'un deuxième mode de réalisation particulier de ce dispositif.- Figure 1 is a schematic perspective view of a first particular embodiment of the device object of the invention, and - Figure 2 is a schematic perspective view of a second particular embodiment of this device.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERSDETAILED PRESENTATION OF PARTICULAR EMBODIMENTS
Dans des exemples de l'invention, on utilise une ou plusieurs caméras vidéo qui fonctionnent dans le domaine visible ou infrarouge. Le nombre de pixels de chaque caméra peut être très faible. Il vaut par exemple 32x32. En outre dans ces exemples, on utilise un ou plusieurs capteurs de positions angulaires, ou capteurs angulaires, chacun de ces capteurs étant capable de fournir une information d'inclinaison par rapport à au moins un axe de référence .In examples of the invention, one or more video cameras are used which operate in the visible or infrared range. The number of pixels in each camera can be very small. It is worth for example 32x32. Furthermore, in these examples, one or more angular position sensors, or angular sensors, are used, each of these sensors being capable of providing information on inclination with respect to at least one reference axis.
Chaque capteur angulaire est par exemple un acceleromètre ou un magnétomètre, voire un gyromètre. L'axe de référence est par exemple un axe vertical, dans le cas d'un acceleromètre, ou la direction du nord magnétique dans le cas d'un magnétomètre.Each angular sensor is for example an accelerometer or a magnetometer, or even a gyrometer. The reference axis is for example a vertical axis, in the case of an accelerometer, or the direction of magnetic north in the case of a magnetometer.
Ce capteur angulaire, qui est rendu rigidement solidaire de la caméra vidéo, permet donc de connaître l'orientation de cette dernière par rapport à cet axe . La détermination de la rotation peut être aussi réalisée en utilisant, en plus des informations provenant du capteur angulaire, celles provenant de la caméra vidéo.This angular sensor, which is made rigidly integral with the video camera, therefore makes it possible to know the orientation of the latter relative to this axis. The determination of the rotation can also be carried out by using, in addition to information coming from the angular sensor, that coming from the video camera.
Si l'on utilise plusieurs capteurs angulaires à un seul axe de sensibilité (capteurs uni- axes) ou un capteur angulaire à plusieurs axes de sensibilité (capteur multi-axes) , on dispose de plusieurs axes de sensibilité et l'on peut alors connaître les orientations respectives des divers axes de sensibilité par rapport à l'axe de référence mentionné plus haut.If you use several angular sensors with a single sensitivity axis (single-axis sensors) or an angular sensor with several sensitivity axes (multi-axis sensor), you have several sensitivity axes and you can then find out the respective orientations of the various axes of sensitivity with respect to the reference axis mentioned above.
Si l'on utilise un capteur (acceleromètre ou magnétomètre) à trois axes de sensibilité orthogonaux (capteur tri-axe) , on est alors capable de connaître les trois angles d'Euler associés au solide portant la caméra vidéo. Il faut remarquer que dans certaines applications, il n'est pas nécessaire de connaître tous les degrés de liberté : certains d'entre eux peuvent être figés par hypothèse ou compris dans une plage de valeurs réduite. L'invention pourra alors être simplifiée en utilisant un nombre restreint de capteurs .If we use a sensor (accelerometer or magnetometer) with three orthogonal sensitivity axes (tri-axis sensor), we are then able to know the three Euler angles associated with the solid carrying the video camera. It should be noted that in certain applications, it is not necessary to know all the degrees of freedom: some of them can be fixed by assumption or included / understood in a reduced range of values. The invention can then be simplified by using a limited number of sensors.
On peut mettre en œuvre un calcul fondé sur la corrélation qui permet de calculer la direction de translation du solide (auquel sont fixés le ou les capteurs angulaires et la ou les caméras vidéo) , voire la valeur de cette translation dans certains cas (à savoir en environnement calibré par exemple par l'adjonction de mires dans la scène observée). Ce calcul est alors adapté, comme on le verra plus loin, pour prendre en compte la donnée supplémentaire constituée par la connaissance de l'orientation ou des orientations de la caméra vidéo.One can implement a calculation based on the correlation which makes it possible to calculate the direction of translation of the solid (to which are fixed the angular sensor (s) and the video camera (s)), or even the value of this translation in certain cases (namely in a calibrated environment, for example by adding sights to the scene observed). This calculation is then adapted, as will be seen below, to take into account the additional data constituted by the knowledge of the orientation or orientations of the video camera.
Par exemple, l'image fournie par cette caméra vidéo peut subir une orientation préalable, dont la valeur est déduite de la rotation indiquée par le capteur angulaire, avant que cette image ne soit soumise à la corrélation mentionnée plus haut.For example, the image supplied by this video camera can be subjected to a prior orientation, the value of which is deduced from the rotation indicated by the angular sensor, before this image is subjected to the correlation mentioned above.
Dans un exemple de l'invention, apte à fournir un grand nombre d'informations, jusqu'à trois valeurs de translation et trois valeurs de rotation, on utilise :In an example of the invention, capable of providing a large number of pieces of information, up to three translation values and three rotation values, we use:
- un acceleromètre tri-axe,- a tri-axis accelerometer,
- un magnétomètre tri-axe et - de une à six caméras vidéo dont les axes optiques respectifs sont orthogonaux. Dans ce cas, les trois axes de rotation de la caméra (ou de chaque caméra) sont pris en compte dans l'algorithme de corrélation entre images successives . Des informations quantitatives sont également accessibles dans le cas de cet exemple.- a tri-axis magnetometer and - from one to six video cameras whose respective optical axes are orthogonal. In this case, the three axes of rotation of the camera (or of each camera) are taken into account in the correlation algorithm between successive images. Quantitative information is also available in the case of this example.
Précisons ce que l'on entend par "axes optiques orthogonaux" .Let us specify what is meant by "orthogonal optical axes".
Cette notion n'a de sens que si l'on utilise au moins deux caméras vidéo dont les axes optiques, notés X et Y, sont alors orthogonaux.This notion only has meaning if we use at least two video cameras whose optical axes, denoted X and Y, are then orthogonal.
Si l'on ajoute une troisième caméra vidéo, on la dispose de façon que son axe optique Z soit orthogonal à X et Y. Si l'on utilise en outre une quatrième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à X.If we add a third video camera, we arrange it so that its optical axis Z is orthogonal to X and Y. If we also use a fourth video camera, we arrange it so that its optical axis is parallel to X.
Si l'on prévoit aussi une cinquième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à Y.If a fifth video camera is also provided, it is arranged so that its optical axis is parallel to Y.
Si l'on utilise de plus une sixième caméra vidéo, on la dispose de façon que son axe optique soit parallèle à Z.If a sixth video camera is also used, it is arranged so that its optical axis is parallel to Z.
La figure 1 est une vue en perspective schématique d'un exemple du dispositif objet de 1 ' invention.Figure 1 is a schematic perspective view of an example of the device object of one invention.
Le dispositif de la figure 1 est destiné à mesurer, ou capturer, le mouvement d'un solide 2.The device of FIG. 1 is intended to measure, or capture, the movement of a solid 2.
Le dispositif comprend une caméra vidéo 4, un capteur angulaire 6, qui est un acceleromètre ou un magnétomètre, et des moyens électroniques 8 prévus pour mémoriser et traiter les informations ou signaux fournis par la caméra vidéo 4 et par le capteur angulaire 6 et pour mémoriser les résultats du traitement . Cette caméra vidéo et ce capteur angulaire sont fixés au solide 2 dont on veut mesurer le mouvement . Les moyens électroniques 8 peuvent être solidaires, ou non, de ce solide 2.The device comprises a video camera 4, an angular sensor 6, which is an accelerometer or a magnetometer, and electronic means 8 provided for memorize and process the information or signals supplied by the video camera 4 and by the angular sensor 6 and to memorize the results of the treatment. This video camera and this angular sensor are fixed to the solid 2 whose movement is to be measured. The electronic means 8 may or may not be integral with this solid 2.
La caméra vidéo, dont l'axe est noté X sur la figure 1, fonctionne dans le domaine visible ou dans le domaine infrarouge. A un instant donné, elle fournit une image d'une scène 10, c'est-à-dire d'une partie de l'environnement du solide 2, qui se trouve dans le champ de cette caméra vidéo 4. A l'aide de cette dernière, on enregistre des images à des instants successifs. On suppose que ces instants sont suffisamment rapprochés pour qu'une partie de la scène enregistrée dans une image se retrouve aussi dans l'image suivante. Plus précisément, les instants successifs délimitent des intervalles de temps et la durée de chacun de ces derniers est inférieure à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune. Ce choix dépend de la vitesse maximale que le solide 2 est susceptible d'atteindre, de la profondeur de champ de la scène observée et des caractéristiques optiques de la caméra.The video camera, the axis of which is denoted X in FIG. 1, operates in the visible range or in the infrared range. At a given instant, it provides an image of a scene 10, that is to say of a part of the environment of the solid 2, which is in the field of this video camera 4. With the aid of the latter, images are recorded at successive instants. It is assumed that these instants are close enough that part of the scene recorded in one image is also found in the following image. More precisely, the successive instants delimit time intervals and the duration of each of these is less than a predetermined value, chosen so that two consecutive images have a common scene part. This choice depends on the maximum speed that the solid 2 is capable of reaching, the depth of field of the scene observed and the optical characteristics of the camera.
A titre purement indicatif et nullement limitatif, on choisit une valeur de 20ms ou 40ms, correspondant à la cadence standard d'acquisition d'une caméra, pour une vitesse maximale de lm/s, pour une profondeur de champ de quelques mètres et pour une focale de quelques millimètres.As a purely indicative and in no way limitative, a value of 20 ms or 40 ms is chosen, corresponding to the standard rate of acquisition of a camera, for a maximum speed of lm / s, for a depth of field of a few meters and for a focal length of a few millimeters.
On connaît, en particulier par le document [1] , des techniques permettant de retrouver le mouvement de la caméra vidéo . Lorsque ce mouvement inclut une rotation, ces techniques deviennent beaucoup plus complexes du point de vue des calculs et simultanément moins "robustes" c'est-à-dire moins résistantes aux bruits des mesures.Are known, in particular from document [1], techniques for recovering the movement of the video camera. When this movement includes a rotation, these techniques become much more complex from the computational point of view and simultaneously less "robust", that is to say less resistant to measurement noise.
La présente invention permet de remédier à ces inconvénients comme on le comprendra à la lumière de ce qui suit.The present invention overcomes these drawbacks as will be understood in the light of the following.
Avec le dispositif de la figure 1, le mouvement du solide est mesuré de la façon suivante.With the device of FIG. 1, the movement of the solid is measured in the following manner.
Pour chaque intervalle de temps [tl;t2] délimité par des instants tl et t2, la caméra vidéo 4 fournit à l'instant tl (respectivement t2) une image il (respectivement i2) et le capteur angulaire 6 fournit un angle al (respectivement a2) .For each time interval [tl; t2] delimited by instants tl and t2, the video camera 4 provides at the instant tl (respectively t2) an image il (respectively i2) and the angular sensor 6 provides an angle al (respectively a2).
Cet angle est l'angle formé, à cet instant, entre l'axe de sensibilité du capteur et une direction de référence, à savoir la direction verticale, dans le cas où le capteur est un acceleromètre, et la direction du nord magnétique lorsque il s'agit d'un magnétomètre.This angle is the angle formed, at this instant, between the axis of sensitivity of the sensor and a reference direction, namely the vertical direction, in the case where the sensor is an accelerometer, and the direction of magnetic north when it it is a magnetometer.
On sait qu'entre les instants tl et t2 le mouvement du solide 2 se décompose en une translation et une rotation. Conformément à l'invention, ce mouvement est déterminé de la façon suivante par les moyens électroniques 8. Dans une première étape, ces moyens électroniques 8 déterminent la rotation de la caméra vidéo 4, et donc celle du solide 2, entre les instants tl et t2, à partir des mesures fournies par le capteur angulaire 6 : il s'agit d'une rotation dont l'angle vaut a2 - al .We know that between instants tl and t2 the movement of solid 2 decomposes into a translation and a rotation. According to the invention, this movement is determined in the following way by the electronic means 8. In a first step, these electronic means 8 determine the rotation of the video camera 4, and therefore that of the solid 2, between the instants tl and t2, from the measurements provided by the angular sensor 6: it is a rotation whose angle is a2 - al.
Dans une deuxième étape, ces moyens 8 déterminent une image transformée, résultant de la rotation d'angle a2 - al de l'image il, de sorte que cette image transformée est "alignée" avec l'image i2, c'est-à-dire rendue parallèle à cette dernière.In a second step, these means 8 determine a transformed image, resulting from the angle rotation a2 - al of the image il, so that this transformed image is "aligned" with the image i2, that is to say - say made parallel to the latter.
En variante, les moyens 8 déterminent une image transformée en appliquant dans ce cas une rotation d'angle al - a2 à l'image i2 pour obtenir encore un alignement de l'image il et de cette image transformée .As a variant, the means 8 determine a transformed image by applying in this case a rotation of angle al - a2 to the image i2 to further obtain an alignment of the image il and of this transformed image.
Dans une troisième étape, à partir des images ainsi alignées, les moyens électroniques 8 effectuent une corrélation classique pour déterminer la translation du solide 2 entre les instants tl et t2.In a third step, from the images thus aligned, the electronic means 8 carry out a conventional correlation to determine the translation of the solid 2 between the instants t1 and t2.
On connaît ainsi le mouvement (translation et rotation) du solide 2 entre ces instants.We thus know the movement (translation and rotation) of the solid 2 between these instants.
En répétant les étapes mentionnées ci- dessus, on peut déterminer et mémoriser le mouvement du solide 2 pendant chaque intervalle de temps considéré et donc le mouvement de ce solide 2 entre l'instant initial et l'instant final de son déplacement.By repeating the steps mentioned above, it is possible to determine and store the movement of the solid 2 during each time interval considered and therefore the movement of this solid 2 between the initial instant and the final instant of its displacement.
On indique ci-après les avantages du procédé et du dispositif qui ont été décrits en faisant référence a la figure 1. D'une part, les algorithmes sont simplifiés et consomment moins de puissance de calcul que dans 1 ' art antérieur.The advantages of the method and of the device which have been described with reference to FIG. 1 are indicated below. On the one hand, the algorithms are simplified and consume less computing power than in the prior art.
D'autre part, le dispositif utilise seulement des composants qui sont disponibles à faible coût.On the other hand, the device uses only components which are available at low cost.
En outre, le procédé ne nécessite aucune intégration mathématique, c'est-à-dire qu'il ne fonctionne pas à partir des dérivées première ou seconde de la trajectoire du solide, dérivées qu'il faut ensuite intégrer, ce qui est une source connue de dérive.In addition, the method does not require any mathematical integration, that is to say that it does not work from the first or second derivatives of the trajectory of the solid, derivatives which must then be integrated, which is a source known to drift.
Ce procédé est donc très résistant aux bruits de la mesure, ce qui est un avantage déterminant par rapport aux techniques connues.This process is therefore very resistant to measurement noises, which is a decisive advantage compared to known techniques.
Dans une variante du procédé de mesure du mouvement d'un solide, que l'on a expliqué ci-dessus, il est possible d'utiliser une corrélation encore plus rapide pour retrouver la translation du solide entre les instants tl et t2.In a variant of the method for measuring the movement of a solid, which has been explained above, it is possible to use an even faster correlation to recover the translation of the solid between the times t1 and t2.
Pour ce faire, on remplace la corrélation bidimensionnelle classique, qui sert à déterminer la translation du solide, dans un plan perpendiculaire à l'axe optique X de la caméra, par deux corrélations unidimensionnelles des projections des deux images il et i2 d'abord sur un axe XI puis sur un axe X2 , XI et X2 étant deux axes perpendiculaires du plan mentionné ci-dessus (qui est perpendiculaire à l'axe X).To do this, we replace the conventional two-dimensional correlation, which is used to determine the translation of the solid, in a plane perpendicular to the optical axis X of the camera, by two one-dimensional correlations of the projections of the two images il and i2 first on an axis XI then on an axis X2, XI and X2 being two axes perpendicular to the plane mentioned above (which is perpendicular to the axis X).
Le dispositif de la figure 1 permet la détermination quantitative, dans tout intervalle de temps considéré, de la translation du solide, parallèlement à un plan qui est perpendiculaire à l'axe optique de la caméra 4, et de la rotation de ce solide autour de cet axe .The device of FIG. 1 allows the quantitative determination, in any time interval considered, of the translation of the solid, parallel to a plane which is perpendicular to the optical axis of the camera 4, and of the rotation of this solid around this axis.
Ce dispositif ne comporte qu'une caméra vidéo de sorte que l'on ne peut mesurer facilement que deux composantes du vecteur de translation dans l'intervalle de temps considéré, à savoir les projections de ce vecteur dans le plan-image de la caméra vidéo.This device comprises only one video camera so that only two components of the translation vector can be easily measured in the time interval considered, namely the projections of this vector in the image plane of the video camera. .
La troisième composante est théoriquement aussi accessible avec cette même caméra mais cela requiert des traitements du signal qui sont complexes et peu robustes.The third component is theoretically also accessible with this same camera but this requires signal processing which is complex and not very robust.
Pour mesurer complètement et de façon robuste la translation du solide, il faut fixer sur ce dernier, en plus de la caméra vidéo 4, au moins une voire deux autres caméras vidéo 4a et 4b dont les axes optiques respectifs Y et Z définissent un trièdre trirectangle avec l'axe X, afin d'obtenir les trois composantes du vecteur de translation dans l'intervalle de temps considéré.To completely and robustly measure the translation of the solid, it is necessary to fix on the latter, in addition to the video camera 4, at least one or even two other video cameras 4a and 4b whose respective optical axes Y and Z define a trirectangle trihedron with the X axis, in order to obtain the three components of the translation vector in the time interval considered.
De même, le capteur angulaire du dispositif de la figure 1, permet seulement de déterminer deux angles de rotation de l'axe optique X de la caméra vidéo 4 (capteur uni-axe) , d'où une détermination seulement partielle de la rotation de cette caméra, et donc du solide 2, pendant l'intervalle de temps considéré.Likewise, the angular sensor of the device in FIG. 1 only makes it possible to determine two angles of rotation of the optical axis X of the video camera 4 (uni-axis sensor), whence only a partial determination of the rotation of this camera, and therefore of solid 2, during the time interval considered.
Pour mesurer complètement la rotation du solide, il faut utiliser au moins un capteur angulaire tri-axe 7 (ou au moins trois capteurs angulaires uni-axes) , à la place du capteur uni-axe 6, afin d'obtenir trois angles de rotation du solide 2 pendant l'intervalle de temps considéré et pouvoir faire la rotation d'image mentionnée plus haut pour chaque caméra vidéo utilisée.To fully measure the rotation of the solid, you must use at least one tri-axis angular sensor 7 (or at least three uni-axis angular sensors), instead of the uni-axis sensor 6, in order to obtain three angles of rotation solid 2 during the time considered and be able to rotate the image mentioned above for each video camera used.
Le mouvement du solide 2 est alors mesuré de la façon exposée ci-après. Pour chaque intervalle de temps [tl;t2] et chacune des trois caméras vidéo, on acquiert à l'instant tl (respectivement t2) l'image il (respectivement i2) et l'angle al ou bl ou cl (respectivement a2 ou b2 ou c2) entre l'axe de sensibilité associé à cette caméra et l'axe de référence.The movement of the solid 2 is then measured in the manner described below. For each time interval [tl; t2] and each of the three video cameras, the image il (respectively t2) is acquired at the instant tl (respectively i2) and the angle al or bl or cl (respectively a2 or b2 or c2) between the sensitivity axis associated with this camera and the reference axis.
On détermine alors les trois angles de rotation de cette caméra (première étape) , on applique successivement les trois rotations correspondantes à l'image il ou les rotations inverses à l'image i2 (deuxième étape) et, ces images étant alorsWe then determine the three angles of rotation of this camera (first step), we successively apply the three rotations corresponding to the image it or the inverse rotations to the image i2 (second step) and, these images then being
« alignées -» , on effectue une corrélation classique pour déterminer la composante du vecteur de translation, qui est associée à la caméra considérée"Aligned -", a conventional correlation is carried out to determine the component of the translation vector, which is associated with the camera considered
(troisième étape) . On détermine ainsi qualitativement la translation (c'est-à-dire les trois composantes du vecteur de translation) et quantitativement la rotation du solide 2 pour chaque intervalle de temps et donc pour la réunion de ces intervalles. Les trois caméras vidéo mentionnées plus haut peuvent être respectivement fixées sur les trois faces d'un trièdre, dans le cas où le solide comporte un tel trièdre.(third step) . One thus determines qualitatively the translation (ie the three components of the vector of translation) and quantitatively the rotation of the solid 2 for each time interval and therefore for the meeting of these intervals. The three video cameras mentioned above can be fixed respectively on the three faces of a trihedron, in the case where the solid comprises such a trihedron.
Dans l'exemple de la figure 2, le solide 12 a la forme d'un cube et six caméras vidéo 18a, 18b, 20a, 20b, 22a et 22b) sont respectivement fixées sur les six faces de ce cube.In the example of FIG. 2, the solid 12 has the shape of a cube and six video cameras 18a, 18b, 20a, 20b, 22a and 22b) are respectively fixed on the six faces of this cube.
On note x, y et z des axes du cube, tels que chacun de ces axes passe par les centres de deux faces opposées du cube et soit perpendiculaire à ces deux faces .We denote x, y and z axes of the cube, such that each of these axes passes through the centers of two opposite faces of the cube and is perpendicular to these two faces.
Ces dernières portent deux des caméras dont les axes optiques coïncident avec l'axe x ou y ou z associé à ces faces. Comme on le voit, les axes x, y et z sont respectivement associés aux couples 18a-18b, 20a-20b et 22a-22b de caméras vidéo.The latter carry two cameras whose optical axes coincide with the x or y or z axis associated with these faces. As can be seen, the x, y and z axes are respectively associated with the pairs 18a-18b, 20a-20b and 22a-22b of video cameras.
En outre, on fixe plusieurs capteurs angulaires sur le solide 12, par exemple un acceleromètre 24 ayant trois axes de sensibilité et un magnétomètre 26 ayant aussi trois axes de sensibilité.In addition, several angular sensors are fixed on the solid 12, for example an accelerometer 24 having three axes of sensitivity and a magnetometer 26 also having three axes of sensitivity.
L'intérêt d'utiliser à la fois cet acceleromètre et ce magnétomètre est le suivant : on peut ainsi accéder à la mesure des trois degrés de liberté de rotation du solide de manière robuste et peu coûteuse.The advantage of using both this accelerometer and this magnetometer is as follows: it is thus possible to access the measurement of the three degrees of freedom of rotation of the solid in a robust and inexpensive manner.
De même, l'intérêt d'utiliser plus de trois caméras vidéo, à savoir six caméras dans l'exemple de la figure 2, est le suivant : le système devient alors redondant et, de ce fait, encore plus robuste.Similarly, the advantage of using more than three video cameras, namely six cameras in the example of FIG. 2, is as follows: the system then becomes redundant and, therefore, even more robust.
On précise que le dispositif de la figure 2 comprend encore des moyens électroniques de mémorisation et de traitement 28, aptes à mémoriser et traiter des signaux fournis par les caméras vidéo et les capteurs angulaires et à mémoriser les résultats du traitement. Considérons maintenant un autre exemple de 1 ' invention.It should be noted that the device in FIG. 2 also comprises electronic storage and processing means 28, capable of storing and processing signals supplied by the video cameras and the angular sensors and of storing the results of the processing. Now consider another example of the invention.
Supposons que le solide 12 (figure 2) , dont on veut restituer le mouvement, soit affecté d'un mouvement de rotation autour de l'axe x (voir la figureSuppose that the solid 12 (figure 2), whose movement we want to restore, is affected by a rotational movement around the x axis (see figure
2) , ce mouvement de rotation étant superposé à une translation selon l'axe y (figure 2).2), this rotational movement being superimposed on a translation along the y axis (Figure 2).
Les capteurs angulaires (c'est-à dire 1 'acceleromètre tri-axe 24 et le magnétomètre tri-axe 26) indiquent la rotation autour de l'axe x.The angular sensors (that is to say the tri-axis accelerometer 24 and the tri-axis magnetometer 26) indicate the rotation around the x axis.
Si cette rotation est faible - ce qui est toujours possible en choisissant un intervalle de temps suffisamment petit entre deux mesures consécutives - l'une des caméras vidéo dont l'axe optique coïncide avec l'axe z (figure 2) voit essentiellement la translation imposée au solide 12.If this rotation is low - which is always possible by choosing a sufficiently small time interval between two consecutive measurements - one of the video cameras whose optical axis coincides with the z axis (Figure 2) essentially sees the imposed translation solid 12.
Il n'est alors même plus nécessaire d'effectuer la rotation de l'image observée selon cet axe optique (deuxième étape dans l'algorithme mentionné plus haut) . Les images fournies par cette caméra permettent d'obtenir directement la composante de translation correspondante.It is then no longer even necessary to rotate the image observed along this optical axis (second step in the algorithm mentioned above). The images provided by this camera make it possible to directly obtain the corresponding translation component.
On peut bien entendu appliquer ce traitement (négligence des rotations) pour toutes les caméras dont est pourvu le solide 12.This treatment can of course be applied (neglect of rotation) for all the cameras with which the solid 12 is provided.
Dans l'exemple de la figure 2, les capteurs angulaires 24 et 26 sont fixés sur la même face du cube. Cependant, ces capteurs angulaires, qui sont mécaniquement solidaires des caméras vidéo, pourraient être répartis sur le cube. Le dispositif de la figure 2 présente divers avantages .In the example of FIG. 2, the angular sensors 24 and 26 are fixed on the same face of the cube. However, these angular sensors, which are mechanically attached to the video cameras, could be distributed over the cube. The device of Figure 2 has various advantages.
Par rapport à un dispositif sur lequel on fixe seulement des caméras vidéo, le dispositif de la figure 2 est plus robuste c'est-à-dire résiste mieux aux bruits des mesures .Compared to a device on which only video cameras are fixed, the device in FIG. 2 is more robust, that is to say better withstands measurement noise.
En effet, une rotation par exemple autour de l'axe x se traduit par des translations apparentes sur les caméras dont les axes optiques coïncident respectivement avec les axes y et z. Il faut donc être à même de distinguer s'il s'agit d'une vraie translation ou d'une rotation. Cela se traduit par une complexification algorithmique, alors que l'un quelconque des capteurs angulaires fixés au solide 12 fournit cette information.Indeed, a rotation for example around the x axis results in apparent translations on the cameras whose optical axes coincide respectively with the y and z axes. We must therefore be able to distinguish whether it is a real translation or a rotation. This results in an algorithmic complexification, while any of the angular sensors fixed to the solid 12 provides this information.
De plus, la redondance des informations fournies par plusieurs capteurs de natures différentes se traduit par une robustesse accrue. Ce point est capital pour la réalisation d'un dispositif destiné au grand public, qui doit fonctionner dans des environnements très variables. In addition, the redundancy of the information provided by several sensors of different natures results in increased robustness. This point is crucial for the creation of a device intended for the general public, which must operate in very variable environments.

Claims

REVENDICATIONS
1. Procédé de mesure du mouvement d'un solide (2, 12), ce procédé étant caractérisé en ce que :1. Method for measuring the movement of a solid (2, 12), this method being characterized in that:
- on rend rigidement solidaires du solide au moins un premier capteur (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) apte à observer une scène et à fournir une image de celle-ci et au moins un deuxième capteur (6, 7, 24, 26) apte à mesurer une rotation,- at least one first sensor (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) is rigidly secured to the solid, capable of observing a scene and providing an image of it and at least a second sensor (6, 7, 24, 26) capable of measuring a rotation,
- on acquiert, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune et, pour chaque intervalle de temps, on détermine, à l'aide au moins du deuxième capteur, la rotation du premier capteur, et donc du solide, entre les premier et deuxième instants qui délimitent cet intervalle de temps, et on détermine la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants.- using the first sensor, images are acquired at successive times, which delimit time intervals, these time intervals being less than a predetermined value, chosen so that two consecutive images have a common scene part and , for each time interval, we determine, using at least the second sensor, the rotation of the first sensor, and therefore of the solid, between the first and second instants which delimit this time interval, and we determine the translation of the solid between these first and second instants, from the first and second images respectively acquired at the first and second instants.
2. Procédé selon la revendication 1, dans lequel la rotation du premier capteur est déterminée à l'aide du deuxième capteur et du premier capteur.2. Method according to claim 1, in which the rotation of the first sensor is determined using the second sensor and the first sensor.
3. Procédé selon l'une quelconque des revendication 1 et 2, dans lequel - avant de déterminer la translation, on applique la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et3. Method according to any one of claims 1 and 2, wherein - before determining the translation, the rotation is applied to the first image, to obtain a first transformed image, or the reverse rotation to the second image, to obtain a second transformed image, and
- on détermine ensuite la translation du solide (2, 12) en fonction de la première image transformée et de la deuxième image ou en fonction de la première image et de la deuxième image transformée.- The translation of the solid (2, 12) is then determined according to the first transformed image and the second image or according to the first image and the second transformed image.
4. Procédé selon l'une quelconque des revendications 1 et 2, dans lequel la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide (2, 12) entre les premier et deuxième instants et l'on détermine la translation du solide en fonction des première et deuxième images, en négligeant, pour ce faire, cette rotation.4. Method according to any one of claims 1 and 2, wherein the predetermined value is also chosen to be able to neglect the rotation of the solid (2, 12) between the first and second instants and the translation of the solid is determined. depending on the first and second images, neglecting this rotation to do this.
5. Procédé selon l'une quelconque des revendications 1 à 4, dans lequel on rend rigidement solidaires du solide (2, 12) plusieurs premiers capteurs (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) et plusieurs deuxièmes capteurs (7, 24, 26). 5. Method according to any one of claims 1 to 4, in which several first sensors (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) are rigidly secured to the solid (2, 12) and several second sensors (7, 24, 26).
6. Dispositif de mesure du mouvement d'un solide (2, 12) , ce dispositif étant caractérisé en ce qu'il comprend :6. Device for measuring the movement of a solid (2, 12), this device being characterized in that it comprises:
- au moins un premier capteur (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) , apte à observer une scène et à fournir une image de celle-ci, et - au moins un deuxième capteur (6, 7, 24, 26) apte à mesurer une rotation, ces premier et deuxième capteurs étant rendus rigidement solidaires du solide, en vue d'acquérir, à l'aide du premier capteur, des images à des instants successifs, qui délimitent des intervalles de temps, ces intervalles de temps étant inférieurs à une valeur prédéterminée, choisie pour que deux images consécutives aient une partie de scène commune . - at least a first sensor (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b), capable of observing a scene and providing an image of it, and - At least one second sensor (6, 7, 24, 26) capable of measuring a rotation, these first and second sensors being made rigidly secured to the solid, with a view to acquiring, using the first sensor, images to successive instants, which delimit time intervals, these time intervals being less than a predetermined value, chosen so that two consecutive images have a common scene part.
7. Dispositif selon la revendication 6, comprenant en outre des moyens de traitement (8, 28) des signaux fournis par les premier et deuxième capteurs, ces moyens de traitement étant aptes à déterminer, pour chaque intervalle de temps, à l'aide des signaux fournis par le deuxième capteur, la rotation du premier capteur, et donc du solide (2, 12), entre les premier et deuxième instants qui délimitent cet intervalle de temps, et la translation du solide entre ces premier et deuxième instants, à partir des première et deuxième images respectivement acquises aux premier et deuxième instants .7. Device according to claim 6, further comprising means for processing (8, 28) the signals supplied by the first and second sensors, these processing means being able to determine, for each time interval, using the signals provided by the second sensor, the rotation of the first sensor, and therefore of the solid (2, 12), between the first and second instants which delimit this time interval, and the translation of the solid between these first and second instants, from first and second images respectively acquired at the first and second instants.
8. Dispositif selon la revendication 7, dans lequel, avant de déterminer la translation, les moyens de traitement (8, 28) sont aptes à : appliquer la rotation à la première image, pour obtenir une première image transformée, ou la rotation inverse à la deuxième image, pour obtenir une deuxième image transformée, et - déterminer ensuite la translation du solide en fonction de la première image transformée et de la deuxième image ou en fonction de la première image et de la deuxième image transformée.8. Device according to claim 7, in which, before determining the translation, the processing means (8, 28) are able to: apply the rotation to the first image, to obtain a first transformed image, or the reverse rotation to the second image, to obtain a second transformed image, and - then determine the translation of the solid as a function of the first transformed image and of the second image or as a function of the first image and the second transformed image.
9. Dispositif selon la revendication 7, dans lequel la valeur prédéterminée est en outre choisie pour pouvoir négliger la rotation du solide (2, 12) entre les premier et deuxième instants et les moyens de traitement sont aptes à déterminer la translation du solide à partir des première et deuxième images, en négligeant, pour ce faire, cette rotation.9. Device according to claim 7, in which the predetermined value is also chosen so as to be able to neglect the rotation of the solid (2, 12) between the first and second instants and the processing means are capable of determining the translation of the solid from first and second images, neglecting this rotation to do this.
10. Dispositif selon l'une quelconque des revendications 6 à 9, comprenant plusieurs premiers capteurs (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) et plusieurs deuxièmes capteurs (7, 24, 26).10. Device according to any one of claims 6 to 9, comprising several first sensors (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) and several second sensors (7, 24, 26).
11. Dispositif selon l'une quelconque des revendications 6 à 10, dans lequel chaque premier capteur (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) est une caméra.11. Device according to any one of claims 6 to 10, in which each first sensor (4, 4a, 4b, 18a, 18b, 20a, 20b, 22a, 22b) is a camera.
12. Dispositif selon l'une quelconque des revendications 6 à 11, dans lequel chaque deuxième capteur (6, 7, 24, 26) est choisi parmi les magnêtomètres et les accéléromètres. 12. Device according to any one of claims 6 to 11, in which each second sensor (6, 7, 24, 26) is chosen from magnetometers and accelerometers.
PCT/FR2003/003484 2002-11-27 2003-11-25 Method and device for capturing the movement of a solid using at least one camera and one angular sensor WO2004051391A2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2003294084A AU2003294084A1 (en) 2002-11-27 2003-11-25 Method and device for capturing the movement of a solid using at least one camera and one angular sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0214883A FR2847689B1 (en) 2002-11-27 2002-11-27 METHOD AND DEVICE FOR CAPTURING THE MOVEMENT OF A SOLID USING AT LEAST ONE CAMERA AND AN ANGULAR SENSOR
FR02/14883 2002-11-27

Publications (2)

Publication Number Publication Date
WO2004051391A2 true WO2004051391A2 (en) 2004-06-17
WO2004051391A3 WO2004051391A3 (en) 2004-07-15

Family

ID=32241670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2003/003484 WO2004051391A2 (en) 2002-11-27 2003-11-25 Method and device for capturing the movement of a solid using at least one camera and one angular sensor

Country Status (3)

Country Link
AU (1) AU2003294084A1 (en)
FR (1) FR2847689B1 (en)
WO (1) WO2004051391A2 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1759746A2 (en) * 2005-09-01 2007-03-07 Nintendo Co., Ltd. Information processing system and program
EP1839714A2 (en) 2006-03-28 2007-10-03 Nintendo Co., Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
EP1854518A2 (en) 2005-08-22 2007-11-14 Nintendo Co., Limited Game operating device
WO2007138245A1 (en) * 2006-06-01 2007-12-06 New Concept Gaming Limited Game controller
US7786976B2 (en) 2006-03-09 2010-08-31 Nintendo Co., Ltd. Coordinate calculating apparatus and coordinate calculating program
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8907889B2 (en) 2005-01-12 2014-12-09 Thinkoptics, Inc. Handheld vision based absolute pointing system
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US9039533B2 (en) 2003-03-25 2015-05-26 Creative Kingdoms, Llc Wireless interactive game having both physical and virtual elements
US9044671B2 (en) 2005-08-24 2015-06-02 Nintendo Co., Ltd. Game controller and game system
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US9616334B2 (en) 2002-04-05 2017-04-11 Mq Gaming, Llc Multi-platform gaming system using RFID-tagged toys
US9675878B2 (en) 2004-09-29 2017-06-13 Mq Gaming, Llc System and method for playing a virtual game by sensing physical movements
US9713766B2 (en) 2000-02-22 2017-07-25 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9731194B2 (en) 1999-02-26 2017-08-15 Mq Gaming, Llc Multi-platform gaming systems and methods
US9931578B2 (en) 2000-10-20 2018-04-03 Mq Gaming, Llc Toy incorporating RFID tag
US9993724B2 (en) 2003-03-25 2018-06-12 Mq Gaming, Llc Interactive gaming toy
US10010790B2 (en) 2002-04-05 2018-07-03 Mq Gaming, Llc System and method for playing an interactive game

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2864225B1 (en) 2003-12-22 2006-07-21 Commissariat Energie Atomique METHOD FOR MEASURING THE MOVEMENT OF A SOLID, USING AN ABSOLUTE MEASUREMENT ASSOCIATED WITH A DOUBLE INTEGRATION MEASUREMENT
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4151982B2 (en) 2006-03-10 2008-09-17 任天堂株式会社 Motion discrimination device and motion discrimination program
JP5127242B2 (en) 2007-01-19 2013-01-23 任天堂株式会社 Acceleration data processing program and game program
JP5224832B2 (en) 2008-01-21 2013-07-03 任天堂株式会社 Information processing program and information processing apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
EP1089215A1 (en) * 1999-09-14 2001-04-04 Mitsubishi Denki Kabushiki Kaisha Optical sensing and control of movements using multiple passive sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
EP1089215A1 (en) * 1999-09-14 2001-04-04 Mitsubishi Denki Kabushiki Kaisha Optical sensing and control of movements using multiple passive sensors

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AZUMA R ET AL: "Tracking in unprepared environments for augmented reality systems" COMPUTERS AND GRAPHICS, PERGAMON PRESS LTD. OXFORD, GB, vol. 23, no. 6, décembre 1999 (1999-12), pages 787-793, XP004187823 ISSN: 0097-8493 *
YOU S ET AL: "HYBRID INERTIAL AND VISION TRACKING FOR AUGMENTED REALITY REGISTRATION" PROCEEDINGS IEEE 1999 VIRTUAL REALITY. HOUSTON, TX, MARCH 13 - 17, 1999, PROCEEDINGS IEEE VIRTUAL REALITY.(VR), NEW YORK, NY: IEEE, US, 13 mars 1999 (1999-03-13), pages 260-267, XP000887668 ISBN: 0-7803-5559-9 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10300374B2 (en) 1999-02-26 2019-05-28 Mq Gaming, Llc Multi-platform gaming systems and methods
US9731194B2 (en) 1999-02-26 2017-08-15 Mq Gaming, Llc Multi-platform gaming systems and methods
US9861887B1 (en) 1999-02-26 2018-01-09 Mq Gaming, Llc Multi-platform gaming systems and methods
US10188953B2 (en) 2000-02-22 2019-01-29 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US10307671B2 (en) 2000-02-22 2019-06-04 Mq Gaming, Llc Interactive entertainment system
US9713766B2 (en) 2000-02-22 2017-07-25 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9814973B2 (en) 2000-02-22 2017-11-14 Mq Gaming, Llc Interactive entertainment system
US10307683B2 (en) 2000-10-20 2019-06-04 Mq Gaming, Llc Toy incorporating RFID tag
US9931578B2 (en) 2000-10-20 2018-04-03 Mq Gaming, Llc Toy incorporating RFID tag
US10758818B2 (en) 2001-02-22 2020-09-01 Mq Gaming, Llc Wireless entertainment device, system, and method
US9737797B2 (en) 2001-02-22 2017-08-22 Mq Gaming, Llc Wireless entertainment device, system, and method
US10179283B2 (en) 2001-02-22 2019-01-15 Mq Gaming, Llc Wireless entertainment device, system, and method
US10507387B2 (en) 2002-04-05 2019-12-17 Mq Gaming, Llc System and method for playing an interactive game
US10010790B2 (en) 2002-04-05 2018-07-03 Mq Gaming, Llc System and method for playing an interactive game
US9616334B2 (en) 2002-04-05 2017-04-11 Mq Gaming, Llc Multi-platform gaming system using RFID-tagged toys
US11278796B2 (en) 2002-04-05 2022-03-22 Mq Gaming, Llc Methods and systems for providing personalized interactive entertainment
US10478719B2 (en) 2002-04-05 2019-11-19 Mq Gaming, Llc Methods and systems for providing personalized interactive entertainment
US9707478B2 (en) 2003-03-25 2017-07-18 Mq Gaming, Llc Motion-sensitive controller and associated gaming applications
US9770652B2 (en) 2003-03-25 2017-09-26 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US11052309B2 (en) 2003-03-25 2021-07-06 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US10583357B2 (en) 2003-03-25 2020-03-10 Mq Gaming, Llc Interactive gaming toy
US9039533B2 (en) 2003-03-25 2015-05-26 Creative Kingdoms, Llc Wireless interactive game having both physical and virtual elements
US10369463B2 (en) 2003-03-25 2019-08-06 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US10022624B2 (en) 2003-03-25 2018-07-17 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US9993724B2 (en) 2003-03-25 2018-06-12 Mq Gaming, Llc Interactive gaming toy
US9675878B2 (en) 2004-09-29 2017-06-13 Mq Gaming, Llc System and method for playing a virtual game by sensing physical movements
US8907889B2 (en) 2005-01-12 2014-12-09 Thinkoptics, Inc. Handheld vision based absolute pointing system
US9700806B2 (en) 2005-08-22 2017-07-11 Nintendo Co., Ltd. Game operating device
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US7931535B2 (en) 2005-08-22 2011-04-26 Nintendo Co., Ltd. Game operating device
US10661183B2 (en) 2005-08-22 2020-05-26 Nintendo Co., Ltd. Game operating device
EP1854518A2 (en) 2005-08-22 2007-11-14 Nintendo Co., Limited Game operating device
US10238978B2 (en) 2005-08-22 2019-03-26 Nintendo Co., Ltd. Game operating device
US10155170B2 (en) 2005-08-22 2018-12-18 Nintendo Co., Ltd. Game operating device with holding portion detachably holding an electronic device
US10137365B2 (en) 2005-08-24 2018-11-27 Nintendo Co., Ltd. Game controller and game system
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US11027190B2 (en) 2005-08-24 2021-06-08 Nintendo Co., Ltd. Game controller and game system
US9044671B2 (en) 2005-08-24 2015-06-02 Nintendo Co., Ltd. Game controller and game system
EP1759746A3 (en) * 2005-09-01 2008-09-24 Nintendo Co., Ltd. Information processing system and program
EP2078547A1 (en) * 2005-09-01 2009-07-15 Nintendo Co., Ltd. Information processing system and program
EP2075042A3 (en) * 2005-09-01 2009-07-08 Nintendo Co., Ltd. Information processing system and program
EP1759746A2 (en) * 2005-09-01 2007-03-07 Nintendo Co., Ltd. Information processing system and program
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7786976B2 (en) 2006-03-09 2010-08-31 Nintendo Co., Ltd. Coordinate calculating apparatus and coordinate calculating program
EP1964595A1 (en) * 2006-03-28 2008-09-03 Nintendo Co., Limited Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
EP1839714A3 (en) * 2006-03-28 2007-12-12 Nintendo Co., Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
US7877224B2 (en) 2006-03-28 2011-01-25 Nintendo Co, Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
EP1967239A1 (en) 2006-03-28 2008-09-10 Nintendo Co., Limited Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
JP2007263648A (en) * 2006-03-28 2007-10-11 Nintendo Co Ltd Inclination calculator, inclination calculation program, game system, and game program
US8473245B2 (en) 2006-03-28 2013-06-25 Nintendo Co., Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
US8041536B2 (en) 2006-03-28 2011-10-18 Nintendo Co., Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
EP1839714A2 (en) 2006-03-28 2007-10-03 Nintendo Co., Ltd. Inclination calculation apparatus and inclination calculation program, and game apparatus and game program
WO2007138245A1 (en) * 2006-06-01 2007-12-06 New Concept Gaming Limited Game controller
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance

Also Published As

Publication number Publication date
FR2847689A1 (en) 2004-05-28
AU2003294084A1 (en) 2004-06-23
WO2004051391A3 (en) 2004-07-15
FR2847689B1 (en) 2005-01-21
AU2003294084A8 (en) 2004-06-23

Similar Documents

Publication Publication Date Title
WO2004051391A2 (en) Method and device for capturing the movement of a solid using at least one camera and one angular sensor
EP1984696B1 (en) Motion capture device and associated method
EP1990138B1 (en) Treatment method for capturing the movement of an articulated structure
EP2718670B1 (en) Simplified method for estimating the orientation of an object, and attitude sensor implementing such a method
EP1492998B1 (en) Device for rotational motion capture of a solid
EP2459966B1 (en) Method for estimating the direction of a moving solid
EP2428934B1 (en) Method for estimating the movement of a carrier in relation to an environment and calculation device for a navigation system
FR2950713A1 (en) SYSTEM AND METHOD FOR RECOGNIZING GESTURES
WO2010007160A1 (en) Method for the improved estimation of an object orientation and attitude control unit implementing said method
FR2960082A1 (en) METHOD AND SYSTEM FOR MERGING DATA FROM IMAGE SENSORS AND MOTION OR POSITION SENSORS
EP2400460A1 (en) Method for assessing the horizontal speed of a drone, particularly of a drone capable of hovering on automatic pilot
EP1969314A2 (en) Method for estimating movement of a solid
WO2014166986A1 (en) Method for estimating the angular deviation of a mobile element relative to a reference direction
Ham et al. Hand waving away scale
EP2268999A1 (en) System and method for determining parameters representing orientation of a solid in movement subject to two vector fields
WO2005064271A1 (en) Method of sensing the motion of a solid, using an absolute measurement that is associated with a measurement calculated by double integration
EP3881222A1 (en) Method for automatically detecting facial impersonation
EP0423026B1 (en) Method for the simultaneous evaluation of the relative positions of a plurality of beacons
EP3655725A1 (en) Method for estimating the movement of an object moving in a magnetic field environment
FR2999699A1 (en) METHOD FOR DETERMINING THE INCLINATION OF AN OBJECT
WO2018011497A1 (en) On-board system and method for capture and 3d/360° reproduction of the movement of an operator in the environment of same
FR2960634A1 (en) DEVICE AND METHOD FOR DETERMINING DEPTH INFORMATION FROM AN OPTICAL SENSOR LIKELY TO BE MOVED
FR2981149A1 (en) Aircraft, has attitude measurement device including optical sensor that captures images of stars, where attitude measurement device measures attitude of aircraft at both day and night from images taken by sensor
EP2234003B1 (en) Method for identifying a single axis of rotation of a rotation movement
FR3116334A1 (en) Method for aligning a plurality of inertial and/or magnetic sensors and device allowing the implementation of such a method

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP