WO2015150036A1 - Method and device for contactless input of characters - Google Patents

Method and device for contactless input of characters Download PDF

Info

Publication number
WO2015150036A1
WO2015150036A1 PCT/EP2015/055112 EP2015055112W WO2015150036A1 WO 2015150036 A1 WO2015150036 A1 WO 2015150036A1 EP 2015055112 W EP2015055112 W EP 2015055112W WO 2015150036 A1 WO2015150036 A1 WO 2015150036A1
Authority
WO
WIPO (PCT)
Prior art keywords
points
trajectory
subset
input
characters
Prior art date
Application number
PCT/EP2015/055112
Other languages
German (de)
French (fr)
Inventor
Bernhard Schild
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Publication of WO2015150036A1 publication Critical patent/WO2015150036A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the invention relates to a method and apparatus for contactless input of characters character.
  • the invention further relates to a vehicle, in particular a passenger car or a commercial vehicle, which is equipped with such a device.
  • Systems for vehicles eg. B. driver assistance systems, Naviga ⁇ information systems, communication systems, audio systems, Bordcom ⁇ computer or comfort systems for adjusting an air conditioner, a seat, a mirror or the like, usually comprise an input unit through which a user may enter commands for controlling the system.
  • Known input units are, for example, keyboards or touch screens. These generally have the disadvantage that a user, typically the driver of the vehicle, can not use them without turning their attention away from traffic. For example, the user needs to look at the touch screen to select a button displayed on the touch screen with the finger. This can affect traffic safety and ease of use.
  • contrast input units represent that allow the user to sign commands, particularly commands in the form of writing, without contact, that enter by writing "in the air". For such an input loading ⁇ user's attention does not have the same degree away from the traffic, as is the case with the input from keyboards or Sen ⁇ sorstorypine. a method and a device for contactless input of character, for example, in the publication DE 10 2007 045 967 AI described.
  • the position and movement of a hand or a finger of a person in the form of position data are detected by means of a plurality of spaced-apart optoelectronic sensors; by means of evaluation of the position data, write track data for a write track corresponding to the movement of the hand or the finger is calculated; Finally, the write track data by means of a handwriting recognition in corresponding characters converted character.
  • the input device according to DE 10 2007 045 967 AI requires the positioning of the input object, for. As the finger, within an input range specified by the sensor, ie, the finger has to float within a certain distance above the sensors.
  • the present invention is therefore based on the object to develop a method and apparatus for non-contact inputting characters that guarantees the best possible reliable detection or identification of the typed character.
  • the method should make it possible to make the input as possible without changing the body ⁇ attitude alone by suitable positioning of the input object in three-dimensional space.
  • an apparatus for carrying out the method comprising one or more cameras for acquiring image data and a re ⁇ chentician connected to the camera or cameras for evaluating the image data and for identifying the characters character.
  • the arithmetic unit is in particular configured to perform all those method steps that do not relate to the acquisition of the image data by means of the camera or the cameras.
  • the arithmetic unit can z.
  • a microprocessor or an FPGA If only one camera is provided, it may, for. B. act to a stereo camera.
  • the camera is or the Cameras are preferably set up to record at least 10, at least 20, at least 50, or at least 100 frames per second, depending on the type of font to be recognized.
  • a vehicle for. As a car or a commercial vehicle, which has said device or which is equipped with this. Normally, at least the camera or at least the cameras are arranged in the vehicle interior ⁇ .
  • the invention is based on the recognition that the user signs in non-contact inputting writing, so in particular ⁇ sondere to enter the font character "in the air" and at a distance from a physical surface, usually writes on one or along a virtual input surface, Typically, the trajectory of the input object may therefore be divided into three sections, where the first section comprises moving the input object from outside the virtual input area to the virtual one
  • the second section includes moving the input object within the virtual input area or along the virtual input area to input the
  • the third section comprises moving the input object out of the virtual input area or away from the virtual input area.
  • the first and third From ⁇ section of the trajectory of the second section particularly with regard to the movement direction and / or with respect to the direction of acceleration of the input object in the respective section.
  • the movement of the input object is normally primarily along the ge ⁇ called first direction.
  • the movement is usually not primarily along the first Direction, but along the virtual input surface. This is expressed by the fact that the absolute value of the first value for the points of the subset lying in the second section is smaller than the threshold value.
  • the second section thus comprises or is given by the said subset of the plurality of points of the trajectory.
  • Font characters have been identified, they can, for. As a command for controlling a driver assistance system or the like. The command can then be forwarded to the system to control the system.
  • the input object with which the writing characters are entered is typically a hand or a finger of the user, in particular a fingertip.
  • the input object may also be an input device that the user holds in his hand, e.g. As a rod or pin.
  • the user is typically a driver or passenger of a vehicle, e.g. As a car or a commercial vehicle. Usually, non-contact input is therefore made when the user sits on a driver's seat or on a passenger seat of the vehicle. At the entered
  • the position of the reference point is determined, z.
  • the head and / or the trunk and / or a shoulder and / or an upper arm or a forearm of Be ⁇ user be.
  • These body parts can usually be detected by means of known image or pattern recognition methods with good Ge ⁇ accuracy.
  • the position and / or the orientation of the driver's seat or the passenger seat can be used in particular, since the user is normally in a defined orientation relative to the driver's seat or the passenger seat, when he sits on this.
  • the position of the reference point can then normally also be determined with good accuracy.
  • the reference point can, for. B. in the region of a shoulder, an elbow or the chest of the user.
  • the first direction may in particular be given by a straight line which is determined by the position of the respective one
  • the camera or cameras are preferably arranged to be stationary in the vehicle interior, and have relative to the beginning Fahrzeu ⁇ space a defined alignment.
  • the position / off ⁇ direction of the at least one body part, the position of the reference point and the positions of the plurality of points of the trajectory of the input object are therefore advantageously each represented by three-dimensional coordinates in a vehicle ⁇ fixed coordinate system.
  • a second value of a second component of the speed and / or acceleration of the input object may also be determined along a second direction different from the first direction, wherein the threshold value for each of the plurality of points depending on the second value.
  • the threshold may each be equal to the absolute value of the second value multiplied by a constant, where the constant is a positive real number. But it is also everyone else functional relationship between the threshold and the second value conceivable.
  • the threshold value may also be given for all points of the trajectory by a constant value. In this case, therefore, that portion of the trajectory than that of entering the
  • the first direction and the second direction are orthogonal to each other.
  • the second direction at each point of the trajectory may be given by a projection of the velocity and / or acceleration of the input object at that point to a tangent plane that is orthogonal to the first direction.
  • the input characters can be easily identified by means of known sub-set (second) portion of the trajectory using known text recognition
  • the first three-dimensional track of the positions of the points of the trajectory is reduced to a two-track or on the input surface, simplifying sign the Ides ⁇ tify scripture.
  • the mapping of the trace of the subset on the input surface can, for.
  • Example be a projection of the trace of the subset on the input surface.
  • the input surface may be a flat, ie, not curved, plane.
  • the input surface can also be curved, z. Spherical, cylindrical, parabolic, hyperbolic or similar.
  • the position and / or orientation of the input area may be selected to minimize a (real-valued) function of the distances of the positions of the points of the subset from the input area.
  • the orientation of the input surface may be selected so that the average distance of the positions of the points of the subset of the A ⁇ display area minimal.
  • the virtual input surface can thus be placed in the space such that the positions of the points of the subset cling optimally to this plane.
  • the input area can additionally be determined based on the position of the reference point.
  • the input surface may be the surface of a sphere or a section of this surface.
  • the sphere center can then be given by the position of the reference point.
  • the radius of this sphere may be selected depending on the distances of the positions of the points of the subset from the position of the reference point. For example, the radius may be equal to the average distance between the Po ⁇ sitions of the points of the subset of the reference point.
  • the identification of the characters can be further simplified in that the first image of the track of the subset in or on the curved Ein ⁇ gabe Chemistry first by means of another image for He ⁇ testify a second image in or on a flat Input level is displayed.
  • this illustration then includes a transformation of curvilinear coordinates (z. B. Polarkoor ⁇ ordinates) on Cartesian coordinates.
  • the second subtrack track image usually has a lower degree of distortion. Identifying the sign text can then be ⁇ means known per script recognition methods or Mustererkennungsver ⁇ drive be made on the basis of the second image.
  • the basic idea of this embodiment is therefore, preferably, to determine adhoc a virtual two-dimensional (optionally curved) ⁇
  • a display area in three-dimensional space the relevant for the evaluation of the character entering the font by the input object is used to generate trajectories.
  • this input surface which is preferably determined simultaneously jektorienerkennung with ordered incremental, once hands before ⁇
  • known methods for two-dimensional handwriting recognition can be used (preferably are here both the spatially adjacent to one another taking place input as well as the continuous overwriting of character at to look at the same place).
  • the determination of the virtual input area makes use of the fact that the person entering, such as a motorist, places this input in his seat without changing his posture. It is thus preferred not only the geometric shape of a trajectory, but also their dynamic formation evaluated. Capturing the trajectory and identifying the
  • Character-and all necessary for further Ver ⁇ method steps are preferably carried out in real time.
  • FIGS. 2a - c schematically illustrates a top view of the vehicle in ⁇ nenraum from FIGS. la - b, wherein the Ste ⁇ reoarra a passage extending along a spherical ⁇ A display area of the second segment of the trajectory made by the user
  • FIGS. 3a - b shows schematically a plan view of the vehicle in ⁇ nenraum from FIGS. 1 and 2, wherein the Ste ⁇ reoarra a turn extending along a radial direction of the third section of the trajectory made by the user A ⁇ display object detected, wherein the third portion not sign kor respondiert with the inputting font ⁇ ;
  • FIG. 4a shows positions of a plurality of points of the trajectory from FIGS. 1-3, wherein a subset of the plurality of dots whose positions are arranged along the spherical input surface corresponds to the inputting of characters; 4b shows an image of a first image, with which the im
  • FIG. 4a is projected onto the two-dimensional spherical input surface; 4c shows an image of a second image, with which the subset of FIG. 4a arranged in the three-dimensional vehicle interior is imaged onto a flat input plane, and FIG. 5 shows a graph in which, for the points of the trajectory from FIGS. 1 - 3 the absolute value of the velocity of the input object along a tangential axis tion against the absolute value of the velocity of the input object along a radial direction ⁇ is supported, wherein for the points of the subset of Fig. 4a, the tangential velocity is greater than the radial velocity.
  • the Fign. 1-3 schematically show a plan view of a vehicle interior 1 of a passenger car not explicitly shown here.
  • a stereo camera 10 is fixed relative to the vehicle interior 1.
  • the stereo camera 10 is connected via a data line with a computing unit 12 having a microprocessor and a data memory.
  • the stereo ⁇ camera 10 can capture image data at a rate of at least 20 frames per second.
  • On a driver's seat (not shown) arranged in the vehicle interior 1 sits a user 2, who is a driver of the passenger car.
  • a head 3, a shoulder area with a reference point 6, an arm 4 and a finger 5 of the user 2 are shown.
  • the stereo camera 10 is aligned with the driver's seat and takes pictures of the user 2, which are evaluated by means of the arithmetic unit 12.
  • the arithmetic unit 12 is adapted, each arranged in the vehicle in ⁇ nenraum 1 and to assign detected by the stereo camera 10 object or object point whose position in the passenger compartment 1, wherein the position is given respectively by coordinates in a vehicle-fixed three-dimensional right-handed Cartesian coordinate system.
  • the arithmetic unit 12 is adapted to each image captured by the stereo camera 10 to assign a ⁇ recording time point. In this manner, the arithmetic unit 12 can reconstruct ⁇ trajectories of objects based on the captured by the stereo camera 10 image data moving in the vehicle interior.
  • Such trajectories are respectively given by a plurality of dots (ie, a time) each comprises a Po ⁇ sition of the respective object and a time value.
  • the positions of the points of the trajectory form a trace of the trajectory.
  • the computing unit 12 is further adapted to associate with each point of the trajectory of an object using common techniques, such as interpolation and differen tiation ⁇ or discrete differentiation of a three-dimensional velocity vector, a three-dimensional vector Accelerati ⁇ supply and possibly other higher derivatives.
  • FIGS. 1-3 show schematically how the user 2 writes one or more characters in the air by means of his finger 5. Recurring features are designated by the same reference numerals.
  • the finger 5 is an embodiment of an input object, which the user 2 uses to sign berüh ⁇ approximately loose inputting or writing.
  • the user 2 moves his finger 5 through the vehicle interior 1, wherein the stereo camera 10 detects a trajectory of the finger 5 and forwards the recorded image data to the arithmetic unit 12 for evaluation. This is set up to identify the characters written by the user 2 in the air using the trajectory of the finger 5.
  • Script character is the large print-H, which receives a modified form with the connecting lines.
  • the handwriting connoisseur must be trained on the shape of the letter with ligatures. This also applies to characters that are entered in cursive, z. For example, if an i-point must be attached. These ligatures belong from the perspective of the handwriting recognizer then to the respective character.
  • ligatures are generated between the characters, z. B. when the characters are individually (eg in print) hin ⁇ terrent or one above the other input, the ligatures must be recognized and removed by a Segment michsrea of the manuscript recognizer.
  • Additional ligatures between words entered in handwriting must also be recognized and separated by segmentation. be removed.
  • recognition of words entered in handwriting can be statistical
  • Voice information is taken into account, as it is known ⁇ example of dictation.
  • FIGS. la - b Snapshots of a first and a third portion of the trajectory of the finger 5, each of which does not correspond to the input of characters, are shown in FIGS. la - b (first section) and 3a - b (third section).
  • the user moves the finger 2 5 mainly along a radial direction away from the body 7 (first cut from ⁇ , Figures la -. B) or towards the body (third section, Figs. 3 a - b).
  • a direction of movement or acceleration ⁇ direction of the finger 5 is shown in Figs. 1 - 3 are each represented by an arrow 11.
  • the Fign. 2a - c show snapshots of a second portion of the trajectory of the finger 5, which corresponds with the sign berüh ⁇ approximately loose inputting font.
  • the user moves the finger 5 mainly along a section of an approximately spherical virtual input surface 9 (dashed), ie in each case predominantly along or in the direction of a radial direction 7 orthogonal tangential plane 8.
  • the center of the spherical virtual input surface 9 is through given the reference point 6 in the region of the right shoulder of the user 2.
  • the radius of the sphere ent ⁇ speaks an average distance between the fingers 5 and the reference point 6 in the region of the user's right shoulder 2 at a slightly angled position of the arm 4 of the user 2.
  • the section of the virtual input surface 9 is represented by a circular arc.
  • the arrangement of the virtual input surface 9 in the vehicle interior 1 is continuously redetermined and updated during the input of the character character by the user.
  • the input surface 9 may also be otherwise curved or flat, ie not curved.
  • the sign with the inputting of the font corresponding second portion of the trajectory of the finger 5 is identified by the BEWE ⁇ supply direction of the finger 5 with respect to the body of the user 2, in particular relative to the reference point. 6 Therefore, the position of the reference point 6 so its three-dimensional coor dinates ⁇ in the fixed vehicle coordinate system is in a first method step first determined.
  • one or more images of the user 2 are recorded at ⁇ next.
  • ⁇ z. B. arrangements of the head 3, a trunk and the arm 4 of the user 2 are detected and determined in the vehicle-fixed coordinate ⁇ system. Based on the arrangements of these body parts in the vehicle interior 1 can then z. B. the reference point 6 in the shoulder region of the user 2 are determined. This can for example be chosen so that it coincides approximately with the shoulder joint. Alternatively, another point can be chosen as a reference point, z. It is also conceivable that the position of the Be ⁇ zugsains 6 is constantly updated to account for a movement of the user 2 in the vehicle interior 1 in non-contact writing invoice.
  • the detection of the trajectory of the finger starts 5.
  • the fingers 5, can be identified and then tracked in the sequence of captured by the stereo camera 10 images using known image and / or Mustererken ⁇ planning algorithms , Pre preferably the position of the finger 5, so the three-dimensional coordinates in the vehicle-fixed coordinate system ⁇ , and the recording time will be determined for each of the taken by the stereo camera 10 ⁇ images.
  • the radial direction 7 is determined for each of these points.
  • the radial direction 7 is in each case given by a straight line, which is defined by the position of the respective point of the trajectory and by the position of the reference point 6. Then, in the present example, the radial Geschwin ⁇ speed of the finger 5 is determined, ie the speed of the finger 5 along the radial direction 7. In addition, for each point of the trajectory for which the radial velocity was determined, the tangential velocity of the finger 5 in determined this point. It is the component of the velocity vector, which is perpendicular to the radial direction 7, so that the vector sum of the radial Ge ⁇ speed and the tangential speed again results in the three-dimensional velocity vector of the finger 5 in the respective point.
  • the tangential velocity is therefore equal to the projection of the three-dimensional VELOCITY ⁇ keitsvektors in or on a tangent 8, which is in each case perpendicular to the radial direction. 7
  • the radial and the tangential acceleration can also be determined in this method step. It is also conceivable that the radial and the tangential component of higher temporal derivatives of the trajectory of the finger 5 are determined, for. B. the third time derivative.
  • the threshold value for each dot is respectively set equal to the absolute value of the tangential velocity of the Ge ⁇ finger 5 in the respective point.
  • the threshold may be the same constant speed value for all points. Likewise, the threshold may depend in a different way from the tangential Ge ⁇ speed. As can also turn the radial / tangential acceleration or higher time from ⁇ lines are set previously described, instead of the radial / tangential velocity.
  • the threshold value is thus in each case selected such that the radial velocity / Be ⁇ acceleration of the finger 5 is just less than the threshold then, when the speed / acceleration of the finger 5 is aligned mainly perpendicularly to the radial direction. 7 This is typically the case when the user 2 moves the finger 5 to input the characters, ie normally along the input surface 9.
  • the Aus ⁇ direction of the already described input surface 9 determined, namely on the basis of the identified up to this point points of the subset.
  • z. B. for each newly identified point of the subset again determines the average distance of the positions of the points of the subset to the reference point 6. This mean distance is then set equal to the radius of the spherical virtual input surface 9. If the input surface is not a sphere in modified embodiments, the orientation of the input surface 9 can be updated in another way. If the input surface 9 z. B. selected as a level, so their alignment with each newly identified point of the subset z. B.
  • Fig. 4a shows schematically the spherical input surface 9 of Figs. 2 and 3 and the trace of the finger.
  • the filled-in positions 21 to 26 should be the positions of those points of the trajectory that have been identified as belonging to the subset or to the second section of the trajectory.
  • the unfilled positions 31 to 34 are positions of those points of the trajectory that do not belong to the subset.
  • the positions 21 to 26 are the points of the subset, for the product described in this embodiment, the absolute value of the radi ⁇ alen velocity of the finger 5 is smaller than the Abso ⁇ lutbetrag the tangential velocity, precisely those positions which are arranged substantially along the spherical virtual input surface 9.
  • the absolute value of the tangential velocity v t is plotted against the absolute value of the radial velocity v r of the finger 5 for the positions 21 to 26 of the points of the subset and for the positions 31 to 34 of the remaining points of the trajectory.
  • the positions of the previously identified points of the subset are then preferably imaged onto the input surface 9 for each newly identified point of the subset. Typically, they are each projected perpendicular to the input surface 9. You can, however, z. B. also be projected along a predetermined direction on the input surface 9. With this projection of the trace of the subset onto the input surface 9, a first image of the trace of the subset on the input surface 9 is created
  • Subset given three-dimensional second section of Tra ⁇ jectorie reduced to a two-dimensional section The image of a vertical projection of the positions 21 to 26 from FIG. 4a onto the spherical virtual input surface 9 from FIGS. Figures 2, 3 and 4a are shown schematically in Figure 4b, with the images of positions 21 to 26 in Figure 4b being designated by the reference numerals 21 'to 26'. If the input surface 9 is planar, ie not curved, the characters entered up to this time can be identified by means of known pattern recognition methods or character recognition methods on the basis of the first image of the trace of the subset.
  • the input surface 9 is curved as in FIG. 4b, it is advantageous to image the image of the projection from the curved input surface 9 (see FIG. 4b) onto a flat input plane 13 through another image. This is shown schematically in Fig. 4c. It is also conceivable to omit the intermediate step of the projection shown in Fig. 4b on the curved input surface 9 and to image the trace of the subset (eg the positions 21 to 26 in Fig. 4a) directly on the flat input plane 13 (Fig. 4c). Usually, however, the information about the orientation of the curved input surface 9 in the driving ⁇ convincing interior 1 is necessary.
  • the contactless typed characters can then be identified by means of be ⁇ known method in a simple manner.
  • the images of the positions 21 to 26 of Fig. 4a in or on the flat input surface 13 are designated in Fig. 4c by the reference numerals 21 '' to 26 ''.

Abstract

A method is disclosed for the contactless input of characters, comprising the following: • camera-based recording of the position of a body part (3, 4) of a user (2) and determining of the position (6) of a reference point in relation to the position of the body part (3, 4); • camera-based recording of a trajectory of an input object (5), wherein the trajectory is given by a plurality of points, each of which comprises a position of the input object (5) and a time; • for each of the plurality of points of the trajectory: • a first direction (7) is determined in relation to the positions of each of the points and in relation to the position (6) of the reference point and • a first value of a first component of a speed and/or acceleration of the input object along the first direction (7) is detected; • characters are identified on the basis of a subset of the plurality of points, wherein the subset is chosen in such a way that an absolute magnitude of the first value for the points of the subset is smaller than a threshold value.

Description

Beschreibung description
Verfahren und Vorrichtung zum berührungslosen Eingeben von Schrift zeichen Method and device for contactless input of characters
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum berührungslosen Eingeben von Schrift zeichen . Die Erfindung betrifft ferner ein Fahrzeug, insbesondere einen Pkw oder ein Nutzfahrzeug, das mit einer derartigen Vorrichtung ausgestattet ist. The invention relates to a method and apparatus for contactless input of characters character. The invention further relates to a vehicle, in particular a passenger car or a commercial vehicle, which is equipped with such a device.
Systeme für Fahrzeuge, z. B. Fahrerassistenzsysteme, Naviga¬ tionssysteme, Kommunikationssysteme, Audiosysteme, Bordcom¬ puter oder KomfortSysteme zum Einstellen einer Klimaanlage, eines Sitzes, eines Spiegels oder dergleichen, weisen gewöhnlich eine Eingabeeinheit auf, über die ein Benutzer Befehle zum Steuern des Systems eingeben kann. Bekannte Eingabeeinheiten sind beispielsweise Tastaturen oder Sensorbildschirme. Diese haben im Allgemeinen den Nachteil, dass ein Benutzer, typi- scherweise der Fahrer des Fahrzeugs, sie nicht benutzen kann, ohne seine Aufmerksamkeit vom Verkehr abzuwenden. Zum Beispiel muss der Benutzer seinen Blick auf den Sensorbildschirm richten, um ein auf dem Sensorbildschirm angezeigtes Schaltfeld mit dem Finger auszuwählen. Dies kann die Verkehrssicherheit und die Benutzerfreundlichkeit beeinträchtigen. Systems for vehicles, eg. B. driver assistance systems, Naviga ¬ information systems, communication systems, audio systems, Bordcom ¬ computer or comfort systems for adjusting an air conditioner, a seat, a mirror or the like, usually comprise an input unit through which a user may enter commands for controlling the system. Known input units are, for example, keyboards or touch screens. These generally have the disadvantage that a user, typically the driver of the vehicle, can not use them without turning their attention away from traffic. For example, the user needs to look at the touch screen to select a button displayed on the touch screen with the finger. This can affect traffic safety and ease of use.
Eine Verbesserung stellen demgegenüber Eingabeeinheiten dar, die es dem Benutzer ermöglichen, Befehle, insbesondere Befehle in Form von Schrift zeichen, berührungslos, d. h. durch Schreiben„in der Luft" einzugeben. Für eine derartige Eingabe muss der Be¬ nutzer seine Aufmerksamkeit nicht in demselben Maße vom Verkehr abwenden, wie dies bei der Eingabe über Tastaturen oder Sen¬ sorbildschirme der Fall ist. Ein Verfahren und eine Vorrichtung zur berührungslosen Eingabe von Schrift zeichen wird beispielsweise in der Druckschrift DE 10 2007 045 967 AI beschrieben. Gemäß diesem Verfahren werden mittels mehrerer zueinander beabstandeter optoelektronischer Sensoren Position und Bewegung einer Hand oder eines Fingers einer Person in Form von Positionsdaten erfasst; mittels Auswertung der Positionsdaten werden Schreibspurdaten für eine Schreibspur berechnet, die zur Bewegung der Hand oder des Fingers korrespondiert; schließlich werden die Schreibspurdaten mittels einer Handschriftenerkennung in entsprechende Schrift zeichen gewandelt . An improvement provide contrast input units represent that allow the user to sign commands, particularly commands in the form of writing, without contact, that enter by writing "in the air". For such an input loading ¬ user's attention does not have the same degree away from the traffic, as is the case with the input from keyboards or Sen ¬ sorbildschirme. a method and a device for contactless input of character, for example, in the publication DE 10 2007 045 967 AI described. According to this method, the position and movement of a hand or a finger of a person in the form of position data are detected by means of a plurality of spaced-apart optoelectronic sensors; by means of evaluation of the position data, write track data for a write track corresponding to the movement of the hand or the finger is calculated; Finally, the write track data by means of a handwriting recognition in corresponding characters converted character.
Bei derartigen Verfahren wird eine zuverlässige Erkennung oder Identifikation der eingegebenen Schrift zeichen jedoch oft da¬ durch erschwert oder verhindert, dass die zur Durchführung des Verfahrens vorgesehene Eingabevorrichtung nicht oder nur in ungenügendem Maße eingerichtet ist zu erkennen, welcher Teil der Schreibspurdaten tatsächlich eingegebene Schrift zeichen re¬ präsentieren soll. Ferner verlangt die Eingabevorrichtung gemäß DE 10 2007 045 967 AI die Positionierung des Eingabeobjektes, z. B. des Fingers, innerhalb eines von dem Sensor vorgegebenen Eingabebereiches, d. h., der Finger hat innerhalb eines gewissen Abstandes über den Sensoren zu schweben. In such methods, a reliable detection or identification of writing entered but signs often there ¬ by difficult or prevent the intended for performing the method input device is not, or set to a significant extent to recognize which part of the trace data actually entered font character re ¬ present. Furthermore, the input device according to DE 10 2007 045 967 AI requires the positioning of the input object, for. As the finger, within an input range specified by the sensor, ie, the finger has to float within a certain distance above the sensors.
Der vorliegenden Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zum berührungslosen Eingeben von Schrift zeichen zu entwickeln, das bzw. die eine möglichst zu verlässige Erkennung oder Identifikation der eingegebenen Schrift zeichen gewährleistet. Außerdem soll das Verfahren es ermöglichen, die Eingabe möglichst ohne Änderung der Körper¬ haltung allein durch geeignete Positionierung des Eingabeob- jektes im dreidimensionalen Raum zu tätigen. The present invention is therefore based on the object to develop a method and apparatus for non-contact inputting characters that guarantees the best possible reliable detection or identification of the typed character. In addition, the method should make it possible to make the input as possible without changing the body ¬ attitude alone by suitable positioning of the input object in three-dimensional space.
Diese Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1 sowie durch eine Vorrichtung und ein Fahrzeug gemäß den ne¬ bengeordneten Ansprüchen. Spezielle Ausführungsformen sind in den abhängigen Ansprüchen beschrieben. Vorgeschlagen wird also ein Verfahren zum berührungslosen Eingeben von Schrift zeichen durch einen Benutzer mittels eines Eingabeobjekts, umfassend die Schritte: This object is achieved by a method according to claim 1 and by a device and a vehicle according to the ne ¬ bengeordneten claims. Specific embodiments are described in the dependent claims. So proposed is a method for non-contact input typefaces by a user by means of an input object, comprising the steps:
kamerabasiertes Erfassen einer Position und/oder einer Ausrichtung wenigstens eines Körperteils des Benutzers und camera-based detection of a position and / or an orientation of at least a body part of the user and
Bestimmen einer Position eines Bezugspunktes abhängig von derDetermining a position of a reference point depending on the
Position und/oder der Ausrichtung des wenigstens einenPosition and / or the orientation of the at least one
Körperteils ; Body part;
kamerabasiertes Erfassen einer Trajektorie des Eingabeob- jekts, wobei die Trajektorie durch eine Mehrzahl von Punkten gegeben ist, die jeweils eine Position des Eingabeobjekts und einen Zeitpunkt umfassen;  camera-based detection of a trajectory of the input object, the trajectory being given by a plurality of points each comprising a position of the input object and a time;
für jeden der Mehrzahl von Punkten der Trajektorie:  for each of the plurality of points of the trajectory:
o Ermitteln einer ersten Richtung abhängig von der Position des jeweiligen Punktes und abhängig von der Position des o Determining a first direction depending on the position of the respective point and depending on the position of the point
Bezugspunktes sowie Reference point as well
o Ermitteln eines ersten Wertes einer ersten Komponente einer Geschwindigkeit des Eingabeobjekts und/oder einer Be¬ schleunigung des Eingabeobjekts, vorzugsweise in dem jeweiligen Punkt, entlang der ersten Richtung; determining a first value of a first component of a velocity of the input object and / or of a sweep of the input object, preferably in the respective point, along the first direction;
Identifizieren von Schrift zeichen anhand der Positionen einer Teilmenge der Mehrzahl von Punkten, wobei die Teilmenge derart gewählt wird, dass ein Absolutbetrag des ersten Wertes für die Punkte der Teilmenge kleiner ist als ein Schwellwert.  Identifying characters based on the positions of a subset of the plurality of points, wherein the subset is selected such that an absolute value of the first value for the points of the subset is smaller than a threshold value.
Vorgeschlagen wird außerdem eine Vorrichtung zum Durchführen des Verfahrens, umfassend eine oder mehrere Kameras zum Erfassen von Bilddaten sowie eine mit der oder den Kameras verbundene Re¬ cheneinheit zum Auswerten der Bilddaten und zum Identifizieren der Schrift zeichen . Also proposed is an apparatus for carrying out the method, comprising one or more cameras for acquiring image data and a re ¬ cheneinheit connected to the camera or cameras for evaluating the image data and for identifying the characters character.
Die Recheneinheit ist insbesondere eingerichtet, all diejenigen Verfahrensschritte durchzuführen, die sich nicht auf das Er¬ fassen der Bilddaten mittels der Kamera oder der Kameras be- ziehen. Die Recheneinheit kann z. B. ein Mikroprozessor oder ein FPGA sein. Sofern nur eine Kamera vorgesehen ist, kann es sich z. B. um eine Stereokamera handeln. Die Kamera ist bzw. die Kameras sind vorzugsweise eingerichtet, abhängig von der Art der zu erkennenden Schrift zeichen wenigstens 10, wenigstens 20, wenigstens 50 oder wenigstens 100 Bilder pro Sekunde aufzunehmen. Vorgeschlagen wird zudem ein Fahrzeug, z. B. ein Pkw oder ein Nutzfahrzeug, das die genannte Vorrichtung aufweist bzw. das mit dieser ausgestattet ist. Normalerweise ist wenigstens die Kamera bzw. sind wenigstens die Kameras im Fahrzeuginnenraum ange¬ ordnet . The arithmetic unit is in particular configured to perform all those method steps that do not relate to the acquisition of the image data by means of the camera or the cameras. The arithmetic unit can z. As a microprocessor or an FPGA. If only one camera is provided, it may, for. B. act to a stereo camera. The camera is or the Cameras are preferably set up to record at least 10, at least 20, at least 50, or at least 100 frames per second, depending on the type of font to be recognized. Also proposed is a vehicle, for. As a car or a commercial vehicle, which has said device or which is equipped with this. Normally, at least the camera or at least the cameras are arranged in the vehicle interior ¬ .
Der Erfindung liegt die Erkenntnis zugrunde, dass der Benutzer beim berührungslosen Eingeben von Schrift zeichen, also insbe¬ sondere zum Eingeben der Schrift zeichen„in der Luft" und in einem Abstand von einer physikalischen Oberfläche, gewöhnlich auf einer oder entlang einer virtuellen Eingabefläche schreibt, die normalerweise im Abstand von einigen Dezimetern vom Körper des Benutzers angeordnet ist. Typischerweise kann die Trajektorie des Eingabeobjekts daher in drei Abschnitte unterteilt werden. Dabei umfasst der erste Abschnitt das Bewegen des Eingabeobjekts von außerhalb der virtuellen Eingabefläche zur virtuellenThe invention is based on the recognition that the user signs in non-contact inputting writing, so in particular ¬ sondere to enter the font character "in the air" and at a distance from a physical surface, usually writes on one or along a virtual input surface, Typically, the trajectory of the input object may therefore be divided into three sections, where the first section comprises moving the input object from outside the virtual input area to the virtual one
Eingabefläche; der zweite Abschnitt umfasst das Bewegen des Eingabeobjekts innerhalb der virtuellen Eingabefläche oder entlang der virtuellen Eingabefläche zum Eingeben der Input surface; the second section includes moving the input object within the virtual input area or along the virtual input area to input the
Schrift zeichen; und der dritte Abschnitt umfasst das Bewegen des Eingabeobjekts aus der virtuellen Eingabefläche heraus oder von der virtuellen Eingabefläche hinweg. Für das Erkennen oder Identifizieren der eingegebenen Schrift zeichen ist dann nur der zweite Abschnitt der Trajektorie relevant. Üblicherweise unterscheiden sich der erste und der dritte Ab¬ schnitt der Trajektorie von dem zweiten Abschnitt insbesondere hinsichtlich der Bewegungsrichtung und/oder hinsichtlich der Beschleunigungsrichtung des Eingabeobjekts in dem jeweiligen Abschnitt. Im ersten und dritten Abschnitt erfolgt die Bewegung des Eingabeobjekts normalerweise vornehmlich entlang der ge¬ nannten ersten Richtung. Im zweiten Abschnitt dagegen erfolgt die Bewegung normalerweise vornehmlich nicht entlang der ersten Richtung, sondern entlang der virtuellen Eingabefläche. Dies kommt dadurch zum Ausdruck, dass der Absolutbetrag des ersten Wertes für die Punkte der Teilmenge, die im zweiten Abschnitt liegen, kleiner ist als der Schwellwert. Der zweite Abschnitt umfasst also die genannte Teilmenge der Mehrzahl von Punkten der Trajektorie oder ist durch diese gegeben. Wenn diese für das Identifizieren der Schrift zeichen relevante Teilmenge der Mehrzahl von Punkten der Trajektorie bestimmt worden ist, kann das Identifizieren der Schrift zeichen unter Verwendung bekannter Verfahren zur Handschrifterkennung vorgenommen werden. Indem gemäß dem hier vorgeschlagenen Verfahren derjenige Abschnitt der Trajektorie identifiziert wird, der die eingegebenen Schrift¬ zeichen umfasst, kann die Zuverlässigkeit der Identifikation oder Erkennung der eingegebenen Schrift zeichen gegenüber be- kannten Verfahren entscheidend verbessert werden. Wenn dieTypeface; and the third section comprises moving the input object out of the virtual input area or away from the virtual input area. For recognizing or identifying the input characters only the second section of the trajectory is then relevant. Usually differ, the first and third From ¬ section of the trajectory of the second section particularly with regard to the movement direction and / or with respect to the direction of acceleration of the input object in the respective section. In the first and third sections, the movement of the input object is normally primarily along the ge ¬ called first direction. In contrast, in the second section, the movement is usually not primarily along the first Direction, but along the virtual input surface. This is expressed by the fact that the absolute value of the first value for the points of the subset lying in the second section is smaller than the threshold value. The second section thus comprises or is given by the said subset of the plurality of points of the trajectory. Once this subset of the plurality of points of the trajectory relevant to the identification of the characters has been determined, the identification of the characters can be made using known methods for handwriting recognition. By that portion of the trajectory is identified according to the method proposed here, which includes the input font ¬ sign, the reliability of the identification or recognition of the signature input can sign be significantly improved compared to known processes. If the
Schrift zeichen identifiziert worden sind, können sie z. B. einem Befehl zum Steuern eines Fahrerassistenzsystems oder dergleichen zugeordnet werden. Der Befehl kann dann zum Steuern des Systems an das System weitergeleitet werden. Font characters have been identified, they can, for. As a command for controlling a driver assistance system or the like. The command can then be forwarded to the system to control the system.
Das Eingabeobjekt, mit dem die Schrift zeichen eingegeben werden, ist typischerweise eine Hand oder ein Finger des Benutzers, insbesondere eine Fingerkuppe. Das Eingabeobjekt kann jedoch auch ein Eingabegerät sein, das der Benutzer in der Hand hält, z. B. ein Stab oder Stift. Der Benutzer ist typischerweise ein Fahrer oder Beifahrer eines Fahrzeugs, z. B. eines Pkw oder eines Nutzfahrzeugs. Gewöhnlich erfolgt das berührungslose Eingeben daher, wenn der Benutzer auf einem Fahrersitz bzw. auf einem Beifahrersitz des Fahrzeugs sitzt. Bei den eingegebenen The input object with which the writing characters are entered is typically a hand or a finger of the user, in particular a fingertip. However, the input object may also be an input device that the user holds in his hand, e.g. As a rod or pin. The user is typically a driver or passenger of a vehicle, e.g. As a car or a commercial vehicle. Usually, non-contact input is therefore made when the user sits on a driver's seat or on a passenger seat of the vehicle. At the entered
Schrift zeichen kann es sich um in Druck- oder Schreibbuchstaben geschriebene alphanumerische Zeichen oder Worte handeln, ge¬ gebenenfalls jedoch z. B. auch um Striche, Kurven, geometrische Figuren oder Kombinationen von diesen. Das genannte wenigstens eine Körperteil, von dessen Position und/oder Ausrichtung ausgehend die Position des Bezugspunktes bestimmt wird, kann z. B. der Kopf und/oder der Rumpf und/oder eine Schulter und/oder ein Oberarm oder ein Unterarm des Be¬ nutzers sein. Diese Körperteile können gewöhnlich mittels bekannter Bild- oder Mustererkennungsverfahren mit guter Ge¬ nauigkeit erkannt werden. Dazu kann insbesondere auch die Position und/oder die Ausrichtung des Fahrersitzes oder des Beifahrersitzes herangezogen werden, da der Benutzer sich normalerweise in einer definierten Ausrichtung relativ zum Fahrersitz bzw. zum Beifahrersitz befindet, wenn er auf diesem sitzt. Ausgehend von der so erfassten Position und/oder Aus- richtung des wenigstens einen Körperteils kann die Position des Bezugspunktes dann normalerweise ebenfalls mit guter Genauigkeit bestimmt werden. Der Bezugspunkt kann z. B. im Bereich einer Schulter, eines Ellenbogens oder des Brustkorbs des Benutzers angeordnet sein. Die erste Richtung kann insbesondere durch eine Gerade gegeben sein, die durch die Position des jeweiligenHowever, it may be written in printing or writing letters alphanumeric characters or words character font, ge ¬ optionally z. As well as strokes, curves, geometric figures or combinations of these. Said at least one body part, from whose position and / or orientation, the position of the reference point is determined, z. As the head and / or the trunk and / or a shoulder and / or an upper arm or a forearm of Be ¬ user be. These body parts can usually be detected by means of known image or pattern recognition methods with good Ge ¬ accuracy. For this purpose, the position and / or the orientation of the driver's seat or the passenger seat can be used in particular, since the user is normally in a defined orientation relative to the driver's seat or the passenger seat, when he sits on this. On the basis of the position and / or orientation of the at least one body part thus detected, the position of the reference point can then normally also be determined with good accuracy. The reference point can, for. B. in the region of a shoulder, an elbow or the chest of the user. The first direction may in particular be given by a straight line which is determined by the position of the respective one
Punktes der Trajektorie und durch die Position des Bezugspunktes festgelegt ist. Point of the trajectory and determined by the position of the reference point.
Die Kamera bzw. die Kameras sind vorzugsweise ortsfest im Fahrzeuginnenraum angeordnet und haben relativ zum Fahrzeu¬ ginnenraum eine definierte Ausrichtung. Die Position/Aus¬ richtung des wenigstens einen Körperteils, die Position des Bezugspunktes und die Positionen der Mehrzahl von Punkten der Trajektorie des Eingabeobjekts werden daher vorteilhafterweise jeweils durch dreidimensionale Koordinaten in einem fahrzeug¬ festen Koordinatensystem angegeben. The camera or cameras are preferably arranged to be stationary in the vehicle interior, and have relative to the beginning Fahrzeu ¬ space a defined alignment. The position / off ¬ direction of the at least one body part, the position of the reference point and the positions of the plurality of points of the trajectory of the input object are therefore advantageously each represented by three-dimensional coordinates in a vehicle ¬ fixed coordinate system.
Bei einer speziellen Ausführungsform des Verfahrens kann für jeden der Mehrzahl von Punkten der Trajektorie ferner ein zweiter Wert einer zweiten Komponente der Geschwindigkeit und/oder der Beschleunigung des Eingabeobjekts entlang einer von der ersten Richtung verschiedenen zweiten Richtung ermittelt werden, wobei der Schwellwert für jeden der Mehrzahl von Punkten abhängig von dem zweiten Wert bestimmt werden kann. Zum Beispiel kann der Schwellwert jeweils gleich dem Absolutbetrag des zweiten Wertes multipliziert mit einer Konstanten sein, wobei die Konstante eine positive reelle Zahl ist. Es ist jedoch auch jeder andere funktionale Zusammenhang zwischen dem Schwellwert und dem zweiten Wert denkbar. Bei einer anderen Ausführungsform kann der Schwellwert auch für alle Punkte der Trajektorie durch einen konstanten Wert gegeben sein. In diesem Fall wird also derjenige Abschnitt der Trajektorie als der mit dem Eingeben der In a specific embodiment of the method, for each of the plurality of points of the trajectory, a second value of a second component of the speed and / or acceleration of the input object may also be determined along a second direction different from the first direction, wherein the threshold value for each of the plurality of points depending on the second value. For example, the threshold may each be equal to the absolute value of the second value multiplied by a constant, where the constant is a positive real number. But it is also everyone else functional relationship between the threshold and the second value conceivable. In another embodiment, the threshold value may also be given for all points of the trajectory by a constant value. In this case, therefore, that portion of the trajectory than that of entering the
Schrift zeichen korrespondierende (zweite) Abschnitt identifi¬ ziert, in dem die Geschwindigkeit und/oder die Beschleunigung des Eingabeobjekts entlang der ersten Richtung kleiner ist als der vorgegebene konstante Wert. Font sign corresponding (second) section identifi ¬ ed in which the speed and / or acceleration of the input object along the first direction is smaller than the predetermined constant value.
Typischerweise sind die erste Richtung und die zweite Richtung orthogonal zueinander. Zum Beispiel kann die zweite Richtung im jeweiligen Punkt der Trajektorie durch eine Projektion der Geschwindigkeit und/oder der Beschleunigung des Eingabeobjekts in diesem Punkt auf eine Tangentialebene gegeben sein, die orthogonal zur ersten Richtung ist. Typically, the first direction and the second direction are orthogonal to each other. For example, the second direction at each point of the trajectory may be given by a projection of the velocity and / or acceleration of the input object at that point to a tangent plane that is orthogonal to the first direction.
Damit die eingegebenen Schrift zeichen anhand des durch die Teilmenge gegebenen (zweiten) Abschnittes der Trajektorie auf einfache Weise mittels bekannter Schrifterkennungsverfahren identifiziert werden können, ist es vorteilhaft, anhand der Positionen der Punkte der Teilmenge zunächst die Anordnung oder Ausrichtung der bereits genannten Eingabefläche zu ermitteln und die Positionen der Punkte der Teilmenge sodann zum Erzeugen eines ersten Bildes der Positionen der Punkte der Teilmenge auf die Eingabefläche abzubilden. Die Schrift zeichen können dann anhand des auf die Eingabefläche abgebildeten ersten Bildes identi¬ fiziert werden. So wird die zunächst dreidimensionale Spur der Positionen der Punkte der Trajektorie auf eine zweidimensionale Spur in oder auf der Eingabefläche reduziert, was das Iden¬ tifizieren der Schrift zeichen vereinfacht. Die Abbildung der Spur der Teilmenge auf die Eingabefläche kann z. B. eine Projektion der Spur der Teilmenge auf die Eingabefläche sein. Zum Beispiel kann die Eingabefläche eine flache, d. h. nicht gekrümmte Ebene sein. Die Eingabefläche kann aber auch gekrümmt sein, z. B. sphärisch, zylindrisch, parabolisch, hyperbolisch oder dergleichen. Die Position und/oder die Ausrichtung der Eingabefläche kann so gewählt werden, dass eine (reellwertige) Funktion der Abstände der Positionen der Punkte der Teilmenge von der Eingabefläche minimiert wird. Zum Beispiel kann die Aus- richtung der Eingabefläche so gewählt werden, dass der mittlere Abstand der Positionen der Punkte der Teilmenge von der Ein¬ gabefläche minimal ist. Die virtuelle Eingabefläche kann also derart in den Raum gelegt werden, dass sich die Positionen der Punkte der Teilmenge optimal an diese Ebene anschmiegen. Ins- besondere kann die Eingabefläche zusätzlich anhand der Position des Bezugspunktes ermittelt werden. Beispielsweise kann die Eingabefläche die Oberfläche einer Kugel oder ein Ausschnitt dieser Oberfläche sein. Der Kugelmittelpunkt kann dann durch die Position des Bezugspunktes gegeben sein. Der Radius dieser Kugel kann abhängig von den Abständen der Positionen der Punkte der Teilmenge von der Position des Bezugspunktes gewählt werden. Zum Beispiel kann der Radius gleich dem mittleren Abstand der Po¬ sitionen der Punkte der Teilmenge vom Bezugspunkt sein. Wenn die Eingabefläche gekrümmt ist, kann das Identifizieren der Schrift zeichen weiter dadurch vereinfacht werden, dass das erste Bild der Spur der Teilmenge in oder auf der gekrümmten Ein¬ gabefläche zunächst mittels einer weiteren Abbildung zum Er¬ zeugen eines zweiten Bildes in oder auf eine flache Eingabeebene abgebildet wird. Gewöhnlich umfasst diese Abbildung dann eine Transformation von krummlinigen Koordinaten (z. B. Polarkoor¬ dinaten) auf kartesische Koordinaten. Im Gegensatz zum ersten Bild der Spur der Teilmenge weist das zweite Bild der Spur der Teilmenge normalerweise einen geringeren Verzerrungsgrad auf. Das Identifizieren der Schrift zeichen kann dann mittels be¬ kannter Schrifterkennungsverfahren oder Mustererkennungsver¬ fahren anhand des zweiten Bildes vorgenommen werden. In order that the input characters can be easily identified by means of known sub-set (second) portion of the trajectory using known text recognition, it is advantageous to first determine the arrangement or orientation of the already mentioned input surface on the basis of the positions of the points of the subset and then map the positions of the points of the subset to produce a first image of the positions of the points of the subset on the input surface. Can be fied sign the font then using the mapped to the input surface first image identi ¬. Thus, the first three-dimensional track of the positions of the points of the trajectory is reduced to a two-track or on the input surface, simplifying sign the Ides ¬ tify Scripture. The mapping of the trace of the subset on the input surface can, for. Example, be a projection of the trace of the subset on the input surface. For example, the input surface may be a flat, ie, not curved, plane. The input surface can also be curved, z. Spherical, cylindrical, parabolic, hyperbolic or similar. The position and / or orientation of the input area may be selected to minimize a (real-valued) function of the distances of the positions of the points of the subset from the input area. For example, the orientation of the input surface may be selected so that the average distance of the positions of the points of the subset of the A ¬ display area minimal. The virtual input surface can thus be placed in the space such that the positions of the points of the subset cling optimally to this plane. In particular, the input area can additionally be determined based on the position of the reference point. For example, the input surface may be the surface of a sphere or a section of this surface. The sphere center can then be given by the position of the reference point. The radius of this sphere may be selected depending on the distances of the positions of the points of the subset from the position of the reference point. For example, the radius may be equal to the average distance between the Po ¬ sitions of the points of the subset of the reference point. If the input surface is curved, the identification of the characters can be further simplified in that the first image of the track of the subset in or on the curved Ein ¬ gabefläche first by means of another image for He ¬ testify a second image in or on a flat Input level is displayed. Usually this illustration then includes a transformation of curvilinear coordinates (z. B. Polarkoor ¬ ordinates) on Cartesian coordinates. In contrast to the first image of the subset lane, the second subtrack track image usually has a lower degree of distortion. Identifying the sign text can then be ¬ means known per script recognition methods or Mustererkennungsver ¬ drive be made on the basis of the second image.
Die Grundidee dieser Ausführungsform ist es also, vorzugsweise adhoc, eine virtuelle zweidimensionale (ggf. gekrümmte) Ein¬ gabefläche im dreidimensionalen Raum zu bestimmen, die zur Auswertung der für die Schrift zeicheneingabe relevanten durch das Eingabeo jekt erzeugten Trajektorien herangezogen wird. Ist diese Eingabefläche, die vorzugsweise gleichzeitig mit Tra- jektorienerkennung inkrementell bestimmt wird, einmal vor¬ handen, können anschließend bekannte Methoden zur zweidimen- sionalen Handschrifterkennung verwendet werden (vorzugsweise sind hier sowohl die räumlich nebeneinander erfolgende Eingabe als auch das fortlaufende Überschreiben von Schrift zeichen an gleicher Stelle zu betrachten) . Die Bestimmung der virtuellen Eingabefläche macht sich zunutze, dass die eingebende Person, etwa ein Autofahrer, diese Eingabe auf seinem Sitz platziert ohne Änderung seiner Körperhaltung vollzieht. Es wird also bevorzugt nicht nur die geometrische Gestalt einer Trajektorie, sondern auch deren dynamische Entstehung ausgewertet. Das Erfassen der Trajektorie und das Identifizieren der The basic idea of this embodiment, it is therefore, preferably, to determine adhoc a virtual two-dimensional (optionally curved) ¬ A display area in three-dimensional space, the relevant for the evaluation of the character entering the font by the input object is used to generate trajectories. If this input surface, which is preferably determined simultaneously jektorienerkennung with ordered incremental, once hands before ¬, then known methods for two-dimensional handwriting recognition can be used (preferably are here both the spatially adjacent to one another taking place input as well as the continuous overwriting of character at to look at the same place). The determination of the virtual input area makes use of the fact that the person entering, such as a motorist, places this input in his seat without changing his posture. It is thus preferred not only the geometric shape of a trajectory, but also their dynamic formation evaluated. Capturing the trajectory and identifying the
Schrift zeichen sowie alle dafür erforderlichen weiteren Ver¬ fahrensschritte werden vorzugsweise in Echtzeit durchgeführt. Beispielsweise kann es vorgesehen sein, dass die Eingabefläche und das erste Bild der Spur der Teilmenge und gegebenenfalls zusätzlich die Eingabeebene und das zweite Bild der Spur der Teilmenge mit jedem zusätzlich erfassten Punkt der Trajektorie oder jeweils nach einer vorgegebenen Anzahl von neu erfassten Punkten der Trajektorie von Neuem ermittelt oder angepasst werden . Character-and all necessary for further Ver ¬ method steps are preferably carried out in real time. For example, it can be provided that the input area and the first image of the track of the subset and optionally additionally the input level and the second image of the track of the subset with each additionally detected point of the trajectory or respectively after a predetermined number of newly detected points of the trajectory New determined or adapted.
Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen dargestellt und wird anhand der folgenden Beschreibung näher erläutert. Es zeigen: Fign. la - b schematisch eine Aufsicht auf einen Fahrzeug¬ innenraum mit einer Stereokamera, die einen entlang einer radialen Richtung verlaufenden ersten Abschnitt einer Trajektorie eines von einem Benutzer geführten Eingabeobjekts erfasst, wobei der erste Abschnitt nicht mit dem Eingeben von Schrift zeichen korrespondiert; Fign. 2a - c schematisch eine Aufsicht auf den Fahrzeugin¬ nenraum aus den Fign. la - b, wobei die Ste¬ reokamera einen entlang einer sphärischen Ein¬ gabefläche verlaufenden zweiten Abschnitt der Trajektorie des von dem Benutzer geführtenAn embodiment of the invention is illustrated in the drawings and will be explained in more detail with reference to the following description. Show: Fign. la - b schematically shows a top view of a vehicle ¬ interior with a stereo camera that detects a running along a radial direction of the first portion of a trajectory of a run from a user input object, wherein the first portion corresponds not sign with the inputting font; FIGS. 2a - c schematically illustrates a top view of the vehicle in ¬ nenraum from FIGS. la - b, wherein the Ste ¬ reokamera a passage extending along a spherical ¬ A display area of the second segment of the trajectory made by the user
Eingabeobjekts erfasst, wobei der zweite Ab¬ schnitt mit dem Eingeben von Schrift zeichen korrespondiert ; Fign. 3a - b schematisch eine Aufsicht auf den Fahrzeugin¬ nenraum aus den Fign. 1 und 2, wobei die Ste¬ reokamera einen wiederum entlang einer radialen Richtung verlaufenden dritten Abschnitt der Trajektorie des von dem Benutzer geführten Ein¬ gabeobjekts erfasst, wobei der dritte Abschnitt nicht mit dem Eingeben von Schrift zeichen kor¬ respondiert ; Input object detected, the second Ab ¬ section corresponds to the input of characters character; FIGS. 3a - b shows schematically a plan view of the vehicle in ¬ nenraum from FIGS. 1 and 2, wherein the Ste ¬ reokamera a turn extending along a radial direction of the third section of the trajectory made by the user A ¬ display object detected, wherein the third portion not sign kor respondiert with the inputting font ¬;
Fig. 4a Positionen einer Mehrzahl von Punkten der Trajektorie aus den Fign. 1 - 3, wobei eine Teilmenge der Mehrzahl von Punkten, deren Positionen entlang der sphärischen Eingabefläche angeordnet sind, mit dem Eingeben von Schrift zeichen korrespondiert; Fig. 4b ein Bild einer ersten Abbildung, mit der die im FIG. 4a shows positions of a plurality of points of the trajectory from FIGS. 1-3, wherein a subset of the plurality of dots whose positions are arranged along the spherical input surface corresponds to the inputting of characters; 4b shows an image of a first image, with which the im
dreidimensionalen Fahrzeuginnenraum angeordnete Teilmenge aus Fig. 4a auf die zweidimensionale sphärische Eingabefläche projiziert wird; Fig. 4c ein Bild einer zweiten Abbildung, mit der die im dreidimensionalen Fahrzeuginnenraum angeordnete Teilmenge aus Fig. 4a auf eine flache Eingabeebene abgebildet wird sowie Fig. 5 ein Graph, in dem für die Punkte der Trajektorie aus den Fign. 1 - 3 der Absolutbetrag der Geschwindigkeit des Eingabeobjekts entlang einer tangentialen Rieh- tung gegen den Absolutbetrag der Geschwindigkeit des Eingabeobjekts entlang einer radialen Richtung auf¬ getragen ist, wobei für die Punkte der Teilmenge aus Fig. 4a die Tangentialgeschwindigkeit größer ist als die Radialgeschwindigkeit. Fig. 4a is projected onto the two-dimensional spherical input surface; 4c shows an image of a second image, with which the subset of FIG. 4a arranged in the three-dimensional vehicle interior is imaged onto a flat input plane, and FIG. 5 shows a graph in which, for the points of the trajectory from FIGS. 1 - 3 the absolute value of the velocity of the input object along a tangential axis tion against the absolute value of the velocity of the input object along a radial direction ¬ is supported, wherein for the points of the subset of Fig. 4a, the tangential velocity is greater than the radial velocity.
Die Fign. 1 - 3 zeigen schematisch eine Aufsicht auf einen Fahrzeuginnenraum 1 eines hier nicht explizit gezeigten Pkw. Im Fahrzeuginnenraum 1 ist eine Stereokamera 10 relativ zum Fahrzeuginnenraum 1 fest angeordnet. Die Stereokamera 10 ist über eine Datenleitung mit einer Recheneinheit 12 verbunden, die einen Mikroprozessor und einen Datenspeicher aufweist. Die Stereo¬ kamera 10 kann Bilddaten mit einer Rate von wenigstens 20 Bildern pro Sekunde erfassen. Auf einem im Fahrzeuginnenraum 1 ange- ordneten Fahrersitz (nicht gezeigt) sitzt ein Benutzer 2, der ein Fahrer des Pkw ist. Zu sehen sind ein Kopf 3, ein Schulterbereich mit einem Bezugspunkt 6, ein Arm 4 sowie ein Finger 5 des Benutzers 2. Die Stereokamera 10 ist auf den Fahrersitz ausgerichtet und nimmt Bilder des Benutzers 2 auf, die mittels der Recheneinheit 12 ausgewertet werden. The Fign. 1-3 schematically show a plan view of a vehicle interior 1 of a passenger car not explicitly shown here. In the vehicle interior 1, a stereo camera 10 is fixed relative to the vehicle interior 1. The stereo camera 10 is connected via a data line with a computing unit 12 having a microprocessor and a data memory. The stereo ¬ camera 10 can capture image data at a rate of at least 20 frames per second. On a driver's seat (not shown) arranged in the vehicle interior 1 sits a user 2, who is a driver of the passenger car. A head 3, a shoulder area with a reference point 6, an arm 4 and a finger 5 of the user 2 are shown. The stereo camera 10 is aligned with the driver's seat and takes pictures of the user 2, which are evaluated by means of the arithmetic unit 12.
Die Recheneinheit 12 ist eingerichtet, jedem im Fahrzeugin¬ nenraum 1 angeordneten und von der Stereokamera 10 erfassten Objekt oder Objektpunkt dessen Position im Fahrzeuginnenraum 1 zuzuordnen, wobei die Position jeweils durch Koordinaten in einem fahrzeugfesten dreidimensionalen rechtshändigen kartesischen Koordinatensystem gegeben ist . Hier und im Folgenden wird jeweils dasselbe Koordinatensystem verwendet, das in den Fign. 1 - 3 dargestellt ist. Zudem ist die Recheneinheit 12 eingerichtet, jedem von der Stereokamera 10 aufgenommenen Bild einen Auf¬ nahmezeitpunkt zuzuordnen. Auf diese Weise kann die Rechen¬ einheit 12 anhand der mit der Stereokamera 10 aufgenommenen Bilddaten Trajektorien von Objekten rekonstruieren, die sich im Fahrzeuginnenraum 1 bewegen. Solche Trajektorien sind jeweils durch eine Mehrzahl von Punkten gegeben, die jeweils eine Po¬ sition des jeweiligen Objekts und einen Zeitwert (d. h. eine Uhrzeit) umfassen. Die Positionen der Punkte der Trajektorie bilden eine Spur der Trajektorie . Die Recheneinheit 12 ist ferner eingerichtet, jedem Punkt der Trajektorie eines Objekts mittels allgemein bekannter Methoden wie Interpolation und Differen¬ tiation bzw. diskreter Differentiation einen dreidimensionalen Geschwindigkeitsvektor, einen dreidimensionalen Beschleuni¬ gungsvektor und ggf. weitere höhere Ableitungen zuzuordnen. The arithmetic unit 12 is adapted, each arranged in the vehicle in ¬ nenraum 1 and to assign detected by the stereo camera 10 object or object point whose position in the passenger compartment 1, wherein the position is given respectively by coordinates in a vehicle-fixed three-dimensional right-handed Cartesian coordinate system. Here and below, in each case the same coordinate system is used, which in Figs. 1 - 3 is shown. In addition, the arithmetic unit 12 is adapted to each image captured by the stereo camera 10 to assign a ¬ recording time point. In this manner, the arithmetic unit 12 can reconstruct ¬ trajectories of objects based on the captured by the stereo camera 10 image data moving in the vehicle interior. 1 Such trajectories are respectively given by a plurality of dots (ie, a time) each comprises a Po ¬ sition of the respective object and a time value. The positions of the points of the trajectory form a trace of the trajectory. The computing unit 12 is further adapted to associate with each point of the trajectory of an object using common techniques, such as interpolation and differen tiation ¬ or discrete differentiation of a three-dimensional velocity vector, a three-dimensional vector Accelerati ¬ supply and possibly other higher derivatives.
Die Fign. 1 - 3 zeigen schematisch, wie der Benutzer 2 mittels seines Fingers 5 ein oder mehrere Schrift zeichen in die Luft schreibt. Wiederkehrende Merkmale sind jeweils mit denselben Bezugszeichen bezeichnet. Der Finger 5 ist eine Ausführungsform eines Eingabeobjekts, dessen sich der Benutzer 2 zum berüh¬ rungslosen Eingeben des oder der Schrift zeichen bedient. Dazu bewegt der Benutzer 2 seinen Finger 5 durch den Fahrzeuginnenraum 1, wobei die Stereokamera 10 eine Trajektorie des Fingers 5 erfasst und die aufgenommenen Bilddaten zum Auswerten an die Recheneinheit 12 weiterleitet. Diese ist eingerichtet, die von dem Benutzer 2 in die Luft geschriebenen Schrift zeichen anhand der Trajektorie des Fingers 5 zu identifizieren. The Fign. FIGS. 1-3 show schematically how the user 2 writes one or more characters in the air by means of his finger 5. Recurring features are designated by the same reference numerals. The finger 5 is an embodiment of an input object, which the user 2 uses to sign berüh ¬ approximately loose inputting or writing. For this purpose, the user 2 moves his finger 5 through the vehicle interior 1, wherein the stereo camera 10 detects a trajectory of the finger 5 and forwards the recorded image data to the arithmetic unit 12 for evaluation. This is set up to identify the characters written by the user 2 in the air using the trajectory of the finger 5.
Gemäß dem hier vorgeschlagenen Verfahren wird zunächst derjenige Teil der Trajektorie des Fingers 5 identifiziert, der mit dem Eingeben von Schrift zeichen korrespondiert. Daraufhin wird die dreidimensionale Spur dieser Trajektorie dann in einem oder in zwei Schritten auf eine Ebene, also auf eine nicht gekrümmte zweidimensionale Fläche abgebildet. Die Schrift zeichen dieser ebenen Spur können dann anhand bekannter Schrifterkennungs¬ verfahren identifiziert werden, die im Weiteren kurz erläutert werden . According to the method proposed here, that part of the trajectory of the finger 5 is first identified, which corresponds to the input of characters character. Then, the three-dimensional trace of this trajectory is then imaged in one or two steps on a plane, ie on a non-curved two-dimensional surface. The writing characters of this even track can then be identified by means of known letter recognition ¬ methods, which are briefly explained below.
Bekannte Verfahren zur Online-Erkennung von zweidimensionalen Handschriften erwarten die fortlaufende Übermittlung von aktuell auf einer flachen Ebene erkannten„Strichen" durch die Angabe von deren Anfangs- und Endpunkten in Gestalt von Polygonzügen innerhalb einer vereinbarten Zeitauflösung. Dabei werden die Schrift zeichen bzgl. Ausrichtung und Größe gemäß vorher ver¬ einbarten Hilfslinien erwartet, wobei eine gewisse Fehlerto- leranz vorhanden ist. Dafür kann eine geeignete Ausrichtung und evtl. auch eine Skalierung und/oder eine Bestimmung der dafür geeigneten Parameter vorgenommen werden. Eine Abschätzung bzgl. der Zeichengröße (d. h. z. B. beim lateinisch-basierten Alphabet die Unterscheidung zwischen Groß- oder Kleinschreibung) kann bei einem zuerst eingegebenen Schrift zeichen aufgrund des Ver¬ hältnisses von Schreibgeschwindigkeit zur entsprechenden Strichlänge erfolgen. Wenn dann bei den Folgeschriftzeichen gleichzeitig die Geschwindigkeiten/Beschleunigungen und die Zeichengröße nachlassen, kann auf Kraftverlust im Arm ge¬ schlossen und die zu den Schrift zeichen gehörigen Trajekto- rienpunkte vor Bearbeitung durch das zweidimensionale Hand¬ schriftenerkennungsverfahren geeignet skaliert werden, falls die Strichlänge innerhalb der Polygonzüge zunehmend kürzer wird. Known methods for online recognition of two-dimensional manuscripts expect the continuous transmission of currently recognized on a flat level "strokes" by specifying their start and end points in the form of polygons within an agreed time resolution size according to previously expected ver ¬ einbarten guides, with some Fehlerto- lore is present. For this, a suitable alignment and possibly also a scaling and / or a determination of the parameters suitable therefor can be undertaken. An estimate with respect to the character size (ie, for example, in the case of Latin-based alphabet, the distinction between upper or lower case) can be done at a first input character due to the Ver ¬ ratio of writing speed to the corresponding stroke length. Then, when at the same time subside the velocities / acceleration and the character size in the follow character can ge included ¬ to loss of strength in the arm and the character of the font associated trajectories points prior to processing by the two-dimensional hand ¬ script recognition methods are appropriately scaled, if the stroke length within the Traverse becomes progressively shorter.
Es können auch zusätzliche Verbindungslinien (Ligaturen), z. B. zwischen den Buchstaben, auch bei Eingabe von Schriftzeichen in Druckschrift, als relevant für die Handschrifterkennung in Betracht gezogen werden. It can also be additional connecting lines (ligatures), z. B. between the letters, even when entering characters in print, be considered as relevant to handwriting recognition.
Ein Beispiel für zusätzliche Ligaturen innerhalb eines An example of additional ligatures within one
Schrift Zeichens ist das große Druckschrift-H, das mit den Verbindungslinien eine abgewandelte Gestalt erhält. Hier muss der Handschriftenerkenner auf die Gestalt des Buchstabens mit Ligaturen trainiert werden. Das gilt auch für Schrift zeichen, die in Schreibschrift eingegeben werden, z. B. wenn ein i-Punkt angebracht werden muss. Diese Ligaturen gehören aus Sicht des Handschriftenerkenners dann zu dem jeweiligen Schriftzeichen. Wenn Ligaturen zwischen den Schrift zeichen erzeugt werden, z. B. wenn die Schrift zeichen einzeln (z.B. in Druckschrift) hin¬ tereinander oder übereinander eingegeben werden, müssen die Ligaturen erkannt und durch einen Segmentierungsprozess vom Handschriftenerkenner entfernt werden. Script character is the large print-H, which receives a modified form with the connecting lines. Here the handwriting connoisseur must be trained on the shape of the letter with ligatures. This also applies to characters that are entered in cursive, z. For example, if an i-point must be attached. These ligatures belong from the perspective of the handwriting recognizer then to the respective character. When ligatures are generated between the characters, z. B. when the characters are individually (eg in print) hin ¬ tereinander or one above the other input, the ligatures must be recognized and removed by a Segmentierungsprozess of the manuscript recognizer.
Zusätzliche Ligaturen zwischen in Schreibschrift eingegebenen Worten müssen ebenfalls erkannt und durch einen Segmentie- rungsprozess entfernt werden. Dabei können bzgl. der Erkennung von in Schreibschrift eingegebenen Worten statistische Additional ligatures between words entered in handwriting must also be recognized and separated by segmentation. be removed. With regard to the recognition of words entered in handwriting can be statistical
Sprachinformationen berücksichtigt werden, wie es beispiels¬ weise von Diktierfunktionen bekannt ist. Voice information is taken into account, as it is known ¬ example of dictation.
Momentaufnahmen eines ersten und eines dritten Abschnitts der Trajektorie des Fingers 5, die jeweils nicht mit dem Eingeben von Schrift zeichen korrespondieren, sind in den Fign. la - b (erster Abschnitt) und 3a - b (dritter Abschnitt) gezeigt. In diesen Abschnitten bewegt der Benutzer 2 den Finger 5 vornehmlich entlang einer radialen Richtung 7 vom Körper weg (erster Ab¬ schnitt, Fign. la - b) oder zum Körper hin (dritter Abschnitt, Fign. 3a - b) . Eine Bewegungsrichtung oder Beschleunigungs¬ richtung des Fingers 5 ist in den Fign. 1 - 3 dabei jeweils durch einen Pfeil 11 dargestellt. Snapshots of a first and a third portion of the trajectory of the finger 5, each of which does not correspond to the input of characters, are shown in FIGS. la - b (first section) and 3a - b (third section). In these sections, the user moves the finger 2 5 mainly along a radial direction away from the body 7 (first cut from ¬, Figures la -. B) or towards the body (third section, Figs. 3 a - b). A direction of movement or acceleration ¬ direction of the finger 5 is shown in Figs. 1 - 3 are each represented by an arrow 11.
Die Fign. 2a - c dagegen zeigen Momentaufnahmen eines zweiten Abschnitts der Trajektorie des Fingers 5, der mit dem berüh¬ rungslosen Eingeben von Schrift zeichen korrespondiert. In diesem zweiten Abschnitt bewegt der Benutzer den Finger 5 vornehmlich entlang eines Ausschnitts einer in etwa sphärischen virtuellen Eingabefläche 9 (gestrichelt) , also jeweils vornehmlich entlang oder in Richtung einer zur radialen Richtung 7 orthogonalen Tangentialebene 8. Der Mittelpunkt der sphärischen virtuellen Eingabefläche 9 ist durch den Bezugspunkt 6 im Bereich der rechten Schulter des Benutzers 2 gegeben. Der Radius der Sphäre ent¬ spricht einem mittleren Abstand zwischen dem Finger 5 und dem Bezugspunkt 6 im Bereich der rechten Schulter des Benutzers 2 bei einer leicht angewinkelten Stellung des Armes 4 des Benutzers 2. In der vereinfachten zweidimensionalen Darstellung der Fign. 1 - 3 ist der Ausschnitt der virtuellen Eingabefläche 9 durch einen Kreisbogen wiedergegeben. Die Anordnung der virtuellen Eingabefläche 9 im Fahrzeuginnenraum 1 wird während der Eingabe der Schrift zeichen durch den Benutzer fortlaufend neu ermittelt und aktualisiert. Bei abgewandelten Ausführungsformen kann die Eingabefläche 9 auch auf andere Weise gekrümmt oder flach, d. h. nicht gekrümmt sein. Der mit dem Eingeben der Schrift zeichen korrespondierende zweite Abschnitt der Trajektorie des Fingers 5 wird anhand der Bewe¬ gungsrichtung des Fingers 5 relativ zum Körper des Benutzers 2, insbesondere relativ zum Bezugspunkt 6 identifiziert. Daher wird in einem ersten Verfahrensschritt zunächst die Position des Bezugspunktes 6 bestimmt, also dessen dreidimensionale Koor¬ dinaten im fahrzeugfesten Koordinatensystem. Dafür werden zu¬ nächst ein Bild oder mehrere Bilder des Benutzers 2 erfasst. Mittels bekannter Bilderkennungs- und/oder Mustererkennungs¬ algorithmen können z. B. Anordnungen des Kopfes 3, eines Rumpfes und des Arms 4 des Benutzers 2 im fahrzeugfesten Koordinaten¬ system erfasst und bestimmt werden. Anhand der Anordnungen dieser Körperteile im Fahrzeuginnenraum 1 kann dann z. B. der Be- zugspunkt 6 im Schulterbereich des Benutzers 2 bestimmt werden. Dieser kann beispielsweise so gewählt werden, dass er in etwa mit dem Schultergelenk zusammenfällt. Alternativ kann auch ein anderer Punkt als Bezugspunkt gewählt werden, z. B. ein Punkt im Bereich des Ellenbogens oder im Bereich des Brustkorbes des Benutzers 2. Es ist auch denkbar, dass die Position des Be¬ zugspunktes 6 fortwährend aktualisiert wird, um einer Bewegung des Benutzers 2 im Fahrzeuginnenraum 1 beim berührungslosen Schreiben Rechnung zu tragen. Wenn die Position des Bezugspunktes 6 bestimmt worden ist, beginnt das Erfassen der Trajektorie des Fingers 5. Auch der Finger 5, kann mittels bekannter Bild- und/oder Mustererken¬ nungsalgorithmen identifiziert und dann in der Folge der von der Stereokamera 10 aufgenommenen Bilder verfolgt werden. Vor- zugsweise werden für jedes der von der Stereokamera 10 auf¬ genommenen Bilder die Position des Fingers 5, also dessen dreidimensionale Koordinaten im fahrzeugfesten Koordinaten¬ system, und der Aufnahmezeitpunkt ermittelt. Diese Positionen des Fingers 5 bilden zusammen mit den ihnen jeweils zugeordnen Aufnahmezeitpunkten die Punkte der Trajektorie des Fingers 5 im Fahrzeuginnenraum 1. Vorzugsweise wird für jeden dieser Punkte die radiale Richtung 7 ermittelt. Die radiale Richtung 7 ist jeweils durch eine Gerade gegeben, die durch die Position des jeweiligen Punktes der Trajektorie und durch die Position des Bezugspunktes 6 festgelegt ist. Dann wird im vorliegenden Beispiel die radiale Geschwin¬ digkeit des Fingers 5 ermittelt, also die Geschwindigkeit des Fingers 5 entlang der radialen Richtung 7. Zusätzlich wird für jeden Punkt der Trajektorie, für den die radiale Geschwindigkeit ermittelt wurde, die tangentiale Geschwindigkeit des Fingers 5 in diesem Punkt ermittelt . Dabei handelt es sich um die Komponente des Geschwindigkeitsvektors, die senkrecht auf der radialen Richtung 7 steht, so dass die Vektorsumme der radialen Ge¬ schwindigkeit und der tangentialen Geschwindigkeit wieder den dreidimensionalen Geschwindigkeitsvektor des Fingers 5 in dem jeweiligen Punkt ergibt. Die tangentiale Geschwindigkeit ist also gleich der Projektion des dreidimensionalen Geschwindig¬ keitsvektors in oder auf eine Tangentialebene 8, die jeweils senkrecht auf der radialen Richtung 7 steht. Bei alternativen Ausführungsformen können in diesem Verfahrensschritt anstelle der radialen und der tangentialen Geschwindigkeit auch die radiale und die tangentiale Beschleunigung ermittelt werden. Ebenso ist es denkbar, dass die radiale und die tangentiale Komponente höherer zeitlicher Ableitungen der Trajektorie des Fingers 5 ermittelt werden, z. B. der dritten zeitlichen Ab- leitung. The Fign. 2a - c the other hand, show snapshots of a second portion of the trajectory of the finger 5, which corresponds with the sign berüh ¬ approximately loose inputting font. In this second section, the user moves the finger 5 mainly along a section of an approximately spherical virtual input surface 9 (dashed), ie in each case predominantly along or in the direction of a radial direction 7 orthogonal tangential plane 8. The center of the spherical virtual input surface 9 is through given the reference point 6 in the region of the right shoulder of the user 2. The radius of the sphere ent ¬ speaks an average distance between the fingers 5 and the reference point 6 in the region of the user's right shoulder 2 at a slightly angled position of the arm 4 of the user 2. In the simplified two-dimensional representation of FIGS. 1-3, the section of the virtual input surface 9 is represented by a circular arc. The arrangement of the virtual input surface 9 in the vehicle interior 1 is continuously redetermined and updated during the input of the character character by the user. In modified embodiments, the input surface 9 may also be otherwise curved or flat, ie not curved. The sign with the inputting of the font corresponding second portion of the trajectory of the finger 5 is identified by the BEWE ¬ supply direction of the finger 5 with respect to the body of the user 2, in particular relative to the reference point. 6 Therefore, the position of the reference point 6 so its three-dimensional coor dinates ¬ in the fixed vehicle coordinate system is in a first method step first determined. For this, one or more images of the user 2 are recorded at ¬ next. By means of known image recognition and / or pattern recognition algorithms can ¬ z. B. arrangements of the head 3, a trunk and the arm 4 of the user 2 are detected and determined in the vehicle-fixed coordinate ¬ system. Based on the arrangements of these body parts in the vehicle interior 1 can then z. B. the reference point 6 in the shoulder region of the user 2 are determined. This can for example be chosen so that it coincides approximately with the shoulder joint. Alternatively, another point can be chosen as a reference point, z. It is also conceivable that the position of the Be ¬ zugspunktes 6 is constantly updated to account for a movement of the user 2 in the vehicle interior 1 in non-contact writing invoice. When the position of the reference point is determined 6, the detection of the trajectory of the finger starts 5. Also, the fingers 5, can be identified and then tracked in the sequence of captured by the stereo camera 10 images using known image and / or Mustererken ¬ planning algorithms , Pre preferably the position of the finger 5, so the three-dimensional coordinates in the vehicle-fixed coordinate system ¬, and the recording time will be determined for each of the taken by the stereo camera 10 ¬ images. These positions of the finger 5, together with the recording times assigned to them in each case, form the points of the trajectory of the finger 5 in the vehicle interior 1. Preferably, the radial direction 7 is determined for each of these points. The radial direction 7 is in each case given by a straight line, which is defined by the position of the respective point of the trajectory and by the position of the reference point 6. Then, in the present example, the radial Geschwin ¬ speed of the finger 5 is determined, ie the speed of the finger 5 along the radial direction 7. In addition, for each point of the trajectory for which the radial velocity was determined, the tangential velocity of the finger 5 in determined this point. It is the component of the velocity vector, which is perpendicular to the radial direction 7, so that the vector sum of the radial Ge ¬ speed and the tangential speed again results in the three-dimensional velocity vector of the finger 5 in the respective point. The tangential velocity is therefore equal to the projection of the three-dimensional VELOCITY ¬ keitsvektors in or on a tangent 8, which is in each case perpendicular to the radial direction. 7 In alternative embodiments, instead of the radial and the tangential velocity, the radial and the tangential acceleration can also be determined in this method step. It is also conceivable that the radial and the tangential component of higher temporal derivatives of the trajectory of the finger 5 are determined, for. B. the third time derivative.
Im nächsten Verfahrensschritt wird für diejenigen Punkte der Trajektorie des Fingers 5, für die die radiale und die tangentiale Geschwindigkeit bestimmt worden sind, also vorzugsweise für alle Punkte der Trajektorie, überprüft, ob dieser Punkt zur Teilmenge von Punkten der Trajektorie gehört, die den zuvor genannten zweiten Abschnitt der Trajektorie bilden, wobei der zweite Abschnitt mit dem Eingeben der Schrift zeichen korrespondiert. Dafür wird der Absolutbetrag der radialen Geschwindigkeit des Fingers 5 in dem jeweiligen Punkt mit einem positiven Schwellwert verglichen, wobei der Punkt dann zur Teilmenge bzw. zum zweiten Abschnitt gehört, wenn der Absolutbetrag der radialen Ge- schwindigkeit kleiner ist als der Schwellwert. Im hier be¬ schriebenen Ausführungsbeispiel wird der Schwellwert für jeden Punkt jeweils gleich dem Absolutbetrag der tangentialen Ge¬ schwindigkeit des Fingers 5 in dem jeweiligen Punkt gesetzt. Bei abgewandelten Ausführungsformen kann der Schwellwert für alle Punkte derselbe konstante Geschwindigkeitswert sein. Ebenso kann der Schwellwert in anderer Weise von der tangentialen Ge¬ schwindigkeit abhängen. Wie zuvor beschrieben können anstelle der radialen/tangentialen Geschwindigkeit wiederum auch die radiale/tangentiale Beschleunigung oder höhere zeitliche Ab¬ leitungen gesetzt werden. Vorzugsweise wird der Schwellwert also jeweils derart gewählt, dass die radiale Geschwindigkeit /Be¬ schleunigung des Fingers 5 genau dann kleiner ist als der Schwellwert, wenn die Geschwindigkeit /Beschleunigung des Fin- gers 5 vornehmlich senkrecht zur radialen Richtung 7 ausgerichtet ist. Dies ist nämlich typischerweise genau dann der Fall, wenn der Benutzer 2 den Finger 5 zum Eingeben der Schrift zeichen bewegt, also normalerweise entlang der Eingabefläche 9. Im nächsten Verfahrensschritt wird für jeden Punkt der Tra- jektorie, der als Element der den zweiten Abschnitt der Tra- jektorie bildenden Teilmenge identifiziert wurde, die Aus¬ richtung der bereits beschriebenen Eingabefläche 9 ermittelt, und zwar anhand der Spur der bis zu diesem Zeitpunkt identi- fizierten Punkte der Teilmenge. Im vorliegenden Beispiel wird z. B. für jeden neu identifizierten Punkt der Teilmenge erneut der mittlere Abstand der Positionen der Punkte der Teilmenge zum Bezugspunkt 6 bestimmt. Dieser mittlere Abstand wird dann gleich dem Radius der sphärischen virtuellen Eingabefläche 9 gesetzt. Sofern die Eingabefläche bei abgewandelten Ausführungsformen keine Sphäre ist, kann die Ausrichtung der Eingabefläche 9 auf andere Weise aktualisiert werden. Wird die Eingabefläche 9 z. B. als Ebene gewählt, so kann ihre Ausrichtung mit jedem neu identifizierten Punkt der Teilmenge z. B. derart angepasst werden, dass der mittlere Abstand der Positionen der Punkte der Teilmenge zur ebenen Eingabefläche minimal ist oder dergleichen. Zur Illustration der Anordnung der Spur der Teilmenge relativ zur Eingabefläche 9 zeigt Fig. 4a schematisch die sphärische Eingabefläche 9 aus den Fign. 2 und 3 und die Spur des Fingers. Dabei sollen die ausgefüllten Postionen 21 bis 26 die Positionen solcher Punkte der Trajektorie sein, die als zur Teilmenge bzw. als zum zweiten Abschnitt der Trajektorie gehörig identifiziert wurden. Die nicht ausgefüllten Positionen 31 bis 34 dagegen sind Positionen solcher Punkte der Trajektorie, die nicht zur Teilmenge gehören. Es ist deutlich zu erkennen, dass die Po- sitionen 21 bis 26 der Punkte der Teilmenge, für die im hier beschriebenen Ausführungsbeispiel der Absolutbetrag der radi¬ alen Geschwindigkeit des Fingers 5 kleiner ist als der Abso¬ lutbetrag der tangentialen Geschwindigkeit, gerade diejenigen Positionen sind, die im Wesentlichen entlang der sphärischen virtuellen Eingabefläche 9 angeordnet sind. Zur Illustration sind in Fig. 5 für die Positionen 21 bis 26 der Punkte der Teilmenge und für die Positionen 31 bis 34 der übrigen Punkte der Trajektorie jeweils der Absolutbetrag der Tangentialgeschwin- digkeit vt gegen den Absolutbetrag der Radialgeschwindigkeit vr des Fingers 5 aufgetragen. In the next method step, for those points of the trajectory of the finger 5 for which the radial and tangential velocities have been determined, ie preferably for all points of the trajectory, it is checked whether this point belongs to the subset of points of the trajectory which are the previously mentioned form second portion of the trajectory, wherein the second portion corresponds to the input of the character font. For this purpose, the absolute value of the radial velocity of the finger 5 in the respective point is compared with a positive threshold, the point then belonging to the subset or to the second section, if the absolute value of the radial speed is less than the threshold. In here be written ¬ embodiment, the threshold value for each dot is respectively set equal to the absolute value of the tangential velocity of the Ge ¬ finger 5 in the respective point. In modified embodiments, the threshold may be the same constant speed value for all points. Likewise, the threshold may depend in a different way from the tangential Ge ¬ speed. As can also turn the radial / tangential acceleration or higher time from ¬ lines are set previously described, instead of the radial / tangential velocity. Preferably, the threshold value is thus in each case selected such that the radial velocity / Be ¬ acceleration of the finger 5 is just less than the threshold then, when the speed / acceleration of the finger 5 is aligned mainly perpendicularly to the radial direction. 7 This is typically the case when the user 2 moves the finger 5 to input the characters, ie normally along the input surface 9. In the next step, for each point of the trajectory which is the element of the second section of the Trajektorie forming subset has been identified, the Aus ¬ direction of the already described input surface 9 determined, namely on the basis of the identified up to this point points of the subset. In the present example z. B. for each newly identified point of the subset again determines the average distance of the positions of the points of the subset to the reference point 6. This mean distance is then set equal to the radius of the spherical virtual input surface 9. If the input surface is not a sphere in modified embodiments, the orientation of the input surface 9 can be updated in another way. If the input surface 9 z. B. selected as a level, so their alignment with each newly identified point of the subset z. B. be adjusted such that the average distance of the positions of the points of the subset to the flat input surface is minimal or the like. To illustrate the arrangement of the track of the subset relative to the input surface 9, Fig. 4a shows schematically the spherical input surface 9 of Figs. 2 and 3 and the trace of the finger. In this case, the filled-in positions 21 to 26 should be the positions of those points of the trajectory that have been identified as belonging to the subset or to the second section of the trajectory. The unfilled positions 31 to 34, on the other hand, are positions of those points of the trajectory that do not belong to the subset. It can be clearly seen that the positions 21 to 26 are the points of the subset, for the product described in this embodiment, the absolute value of the radi ¬ alen velocity of the finger 5 is smaller than the Abso ¬ lutbetrag the tangential velocity, precisely those positions which are arranged substantially along the spherical virtual input surface 9. For illustration, the absolute value of the tangential velocity v t is plotted against the absolute value of the radial velocity v r of the finger 5 for the positions 21 to 26 of the points of the subset and for the positions 31 to 34 of the remaining points of the trajectory.
Im nächsten Verfahrensschritt werden dann vorzugsweise für jeden neu identifizierten Punkt der Teilmenge die Positionen der bis dahin identifizierten Punkte der Teilmenge auf die Eingabefläche 9 abgebildet. Typischerweise werden sie jeweils senkrecht auf die Eingabefläche 9 projiziert. Sie können jedoch z. B. auch entlang einer vorgegebenen Richtung auf die Eingabefläche 9 projiziert werden. Mit dieser Projektion der Spur der Teilmenge auf die Eingabefläche 9 entsteht ein erstes Bild der Spur der Teilmenge auf der Eingabefläche 9. Damit wird der durch die Spur derIn the next method step, the positions of the previously identified points of the subset are then preferably imaged onto the input surface 9 for each newly identified point of the subset. Typically, they are each projected perpendicular to the input surface 9. You can, however, z. B. also be projected along a predetermined direction on the input surface 9. With this projection of the trace of the subset onto the input surface 9, a first image of the trace of the subset on the input surface 9 is created
Teilmenge gegebene dreidimensionale zweite Abschnitt der Tra¬ jektorie auf einen zweidimensionalen Abschnitt reduziert. Das Bild einer senkrechten Projektion der Positionen 21 bis 26 aus Fig. 4a auf die sphärische virtuelle Eingabefläche 9 aus den Fign. 2, 3 und 4a ist schematisch in Fig. 4b gezeigt, wobei die Bilder der Positionen 21 bis 26 in Fig. 4b mit den Bezugszeichen 21' bis 26' bezeichnet sind. Falls die Eingabefläche 9 eben, also nicht gekrümmt ist, können die bis zu diesem Zeitpunkt eingegebenen Schrift zeichen mittels bekannter Mustererkennungsverfahren oder Zeichenerkennungs- verfahren anhand des ersten Bildes der Spur der Teilmenge identifiziert werden. Subset given three-dimensional second section of Tra ¬ jectorie reduced to a two-dimensional section. The image of a vertical projection of the positions 21 to 26 from FIG. 4a onto the spherical virtual input surface 9 from FIGS. Figures 2, 3 and 4a are shown schematically in Figure 4b, with the images of positions 21 to 26 in Figure 4b being designated by the reference numerals 21 'to 26'. If the input surface 9 is planar, ie not curved, the characters entered up to this time can be identified by means of known pattern recognition methods or character recognition methods on the basis of the first image of the trace of the subset.
Falls die Eingabefläche 9 jedoch gekrümmt ist wie in Fig. 4b, ist es vorteilhaft, das Bild der Projektion von der gekrümmten Eingabefläche 9 (siehe Fig. 4b) durch eine weitere Abbildung auf eine flache Eingabeebene 13 abzubilden. Dies ist schematisch in Fig. 4c gezeigt. Es ist auch denkbar, den in Fig. 4b gezeigten Zwischenschritt der Projektion auf die gekrümmte Eingabefläche 9 auszulassen und die Spur der Teilmenge (z. B. die Positionen 21 bis 26 in Fig. 4a) unmittelbar auf die flache Eingabeebene 13 abzubilden (Fig. 4c) . Gewöhnlich ist dazu jedoch die Information über die Ausrichtung der gekrümmten Eingabefläche 9 im Fahr¬ zeuginnenraum 1 notwendig. Anhand des Bildes der Spur der Teilmenge in bzw. auf der flachen Eingabeebene 13 können die berührungslos eingegebenen Schrift zeichen dann mittels be¬ kannter Verfahren in einfacher Weise identifiziert werden. Die Bilder der Positionen 21 bis 26 aus Fig. 4a in oder auf der flachen Eingabefläche 13 sind in Fig. 4c mit den Bezugszeichen 21' ' bis 26'' bezeichnet. However, if the input surface 9 is curved as in FIG. 4b, it is advantageous to image the image of the projection from the curved input surface 9 (see FIG. 4b) onto a flat input plane 13 through another image. This is shown schematically in Fig. 4c. It is also conceivable to omit the intermediate step of the projection shown in Fig. 4b on the curved input surface 9 and to image the trace of the subset (eg the positions 21 to 26 in Fig. 4a) directly on the flat input plane 13 (Fig. 4c). Usually, however, the information about the orientation of the curved input surface 9 in the driving ¬ convincing interior 1 is necessary. Based on the image of the trace of the subset in or on the flat input plane 13, the contactless typed characters can then be identified by means of be ¬ known method in a simple manner. The images of the positions 21 to 26 of Fig. 4a in or on the flat input surface 13 are designated in Fig. 4c by the reference numerals 21 '' to 26 ''.

Claims

Patentansprüche claims
1. Verfahren zum berührungslosen Eingeben von Schrift zeichen durch einen Benutzer (2) mittels eines Eingabeobjekts (5), umfassend die Schritte: A method for non-contact inputting of characters by a user (2) by means of an input object (5), comprising the steps of:
- kamerabasiertes Erfassen der Position wenigstens eines Körperteils (3, 4) des Benutzers (2) und Bestimmen der Position (6) eines Bezugspunktes abhängig von der Po¬ sition des wenigstens einen Körperteils (3, 4); - kamerabasiertes Erfassen einer Trajektorie des Einga¬ beobjekts (5) , wobei die Trajektorie durch eine Mehrzahl von Punkten gegeben ist, die jeweils eine Position des Eingabeobjekts (5) und einen Zeitpunkt umfassen;- camera-based detection of the position of at least one body part (3, 4) of the user (2) and determining the position (6) of a reference point depending on the Po ¬ sition of the at least one body part (3, 4); - camera-based detection of a trajectory of the entranc ¬ beobjekts (5), wherein the trajectory is given by a plurality of dots, each of which comprises a position of the input object (5) and a point in time;
- für jeden der Mehrzahl von Punkten der Trajektorie: o Ermitteln einer ersten Richtung (7) abhängig von derfor each of the plurality of points of trajectory: o determining a first direction (7) depending on the
Position des jeweiligen Punktes und abhängig von der Position (6) des Bezugspunktes sowie Position of the respective point and depending on the position (6) of the reference point as well
o Ermitteln eines ersten Wertes einer ersten Komponente einer Geschwindigkeit des Eingabeobjekts und/oder einer Beschleunigung des Eingabeobjekts entlang der ersten Richtung (7);  determining a first value of a first component of a velocity of the input object and / or an acceleration of the input object along the first direction (7);
- Identifizieren von Schrift zeichen anhand einer Teilmenge der Mehrzahl von Punkten, wobei die Teilmenge derart gewählt wird, dass ein Absolutbetrag des ersten Wertes für die Punkte der Teilmenge kleiner ist als ein Schwellwert.  Identifying characters on the basis of a subset of the plurality of points, wherein the subset is selected such that an absolute value of the first value for the points of the subset is smaller than a threshold value.
2. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Richtung (7) durch eine Gerade gegeben ist, die durch die Position des jeweiligen Punktes der Trajektorie und durch die Position (6) des Bezugspunktes festgelegt ist . 2. The method according to any one of the preceding claims, wherein the first direction (7) is given by a straight line which is determined by the position of the respective point of the trajectory and by the position (6) of the reference point.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erfassen der Trajektorie und das Identifizieren der Schrift zeichen in Echt zeit vorgenommen werden. 3. The method according to any one of the preceding claims, wherein the detection of the trajectory and the identification of the characters are made in real time.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei für jeden der Mehrzahl von Punkten der Trajektorie ferner ein zweiter Wert einer zweiten Komponente der Geschwin¬ digkeit und/oder der Beschleunigung des Eingabeo jekts entlang einer von der ersten Richtung verschiedenen zweiten Richtung ermittelt wird und wobei der Schwellwert für jeden der Mehrzahl von Punkten abhängig von dem zweiten Wert bestimmt wird. 4. The method of claim 1, wherein for each of the plurality of points of the trajectory further a second value of a second component of the Geschwin ¬ speed and / or acceleration of the Eingabeo jekts is determined along a direction different from the first direction, the second direction, and wherein the threshold value for each of the plurality of points is determined depending on the second value.
5. Verfahren nach Anspruch 4, wobei die erste Richtung (7) und die zweite Richtung orthogonal zueinander sind. 5. The method of claim 4, wherein the first direction (7) and the second direction are orthogonal to each other.
6. Verfahren nach Anspruch 4, wobei die zweite Richtung durch eine Projektion der Geschwindigkeit und/oder der Be¬ schleunigung des Eingabeobjekts im jeweiligen Punkt auf eine Tangentialebene (8) gegeben ist, die orthogonal zur ersten Richtung (7) ist. 6. The method of claim 4, wherein the second direction is given by a projection of the speed and / or loading ¬ acceleration of the input object in the respective point on a tangential plane (8) which is orthogonal to the first direction (7).
7. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend die Schritte: 7. The method according to any one of the preceding claims, further comprising the steps:
- Ermitteln einer Eingabefläche (9) wenigstens anhand der Positionen (21, 22, 23, 24, 25, 26) der Teilmenge der Mehrzahl von Punkten der Trajektorie;  - determining an input surface (9) at least on the basis of the positions (21, 22, 23, 24, 25, 26) of the subset of the plurality of points of the trajectory;
- Abbilden der Positionen (21, 22, 23, 24, 25, 26) der Punkte der Teilmenge auf die Eingabefläche (9) zum Erzeugen eines ersten Bildes (21', 22', 23', 24', 25', 26') der Po¬ sitionen (21, 22, 23, 24, 25, 26) der Punkte der Teilmenge auf der Eingabefläche (9) und Mapping the positions (21, 22, 23, 24, 25, 26) of the points of the subset onto the input surface (9) to produce a first image (21 ', 22', 23 ', 24', 25 ', 26' ) of the Po ¬ sitions (21, 22, 23, 24, 25, 26) of the points of the subset on the input area (9) and
- Identifizieren der Schrift zeichen anhand des ersten Bildes .  - Identify the characters based on the first image.
8. Verfahren nach Anspruch 7, wobei die Eingabefläche (9) anhand der Positionen (21, 22, 23, 24, 25, 26) der Punkte der Teilmenge und anhand der Position (6) des Bezugspunktes ermittelt wird und vorzugsweise eine Kugeloberfläche oder ein Abschnitt dieser Kugeloberfläche ist, wobei der Ku¬ gelmittelpunkt durch die Position (6) des Bezugspunktes gegeben ist und wobei der Kugelradius abhängig von den Abständen Positionen (21, 22, 23, 24, 25, 26) der Punkte der Teilmenge von der Position (6) des Bezugspunktes bestimmt wird . 8. The method of claim 7, wherein the input surface (9) based on the positions (21, 22, 23, 24, 25, 26) of the points of the subset and based on the position (6) of the reference point is determined and preferably a spherical surface or a Section of this spherical surface is, wherein the Ku ¬ gelmittelpunkt is given by the position (6) of the reference point and wherein the spherical radius depending on the distances positions (21, 22, 23, 24, 25, 26) of the points Subset of the position (6) of the reference point is determined.
Verfahren nach einem der Ansprüche 7 oder 8, wobei, wenn die Eingabefläche (9) gekrümmt ist, das erste Bild (21', 22', 23 ' , 24 ' , 25 ' , 26 ' ) zum Erzeugen eines zweiten Bildes (21 ' ' , 22'', 23'', 24'', 25'', 26'') in eine flache Eingabeebene (13) abgebildet wird und das Identifizieren der Schrift¬ zeichen anhand des zweiten Bildes vorgenommen wird. Method according to one of claims 7 or 8, wherein, when the input surface (9) is curved, the first image (21 ', 22', 23 ', 24', 25 ', 26') for generating a second image (21 ';',22'',23'',24'',25'',26'') (in a flat input plane 13) is imaged and identifying the font ¬ mark is made on the basis of the second image.
Vorrichtung zum Durchführen des Verfahrens nach einem der vorhergehenden Ansprüche, umfassend: Apparatus for carrying out the method according to one of the preceding claims, comprising:
- eine oder mehrere Kameras (10) zum Erfassen der Position und/oder der Ausrichtung des wenigstens einen Körperteils und zum Erfassen der Trajektorie des Eingabeobjekts sowie - One or more cameras (10) for detecting the position and / or orientation of the at least one body part and for detecting the trajectory of the input object and
- wenigstens eine mit der oder den Kameras (10) verbundene Recheneinheit (12) zum Bestimmen der Position (6) des Bezugspunktes, zum Ermitteln der ersten Richtung (7) und des ersten Wertes für jeden der Mehrzahl von Punkten der Trajektorie, zum Bestimmen der Teilmenge der Mehrzahl von Punkten der Trajektorie sowie zum Identifizieren der Schrift zeichen . at least one arithmetic unit (12) connected to the one or more cameras (10) for determining the position (6) of the reference point, for determining the first direction (7) and the first value for each of the plurality of points of the trajectory, for determining the Subset of the plurality of points of the trajectory and to identify the characters.
Fahrzeug mit einer Vorrichtung nach Anspruch 10, wobei die Kamera (10) bzw. die Kameras in einem Innenraum (1) des Fahrzeugs angeordnet sind. Vehicle with a device according to claim 10, wherein the camera (10) or the cameras in an interior (1) of the vehicle are arranged.
PCT/EP2015/055112 2014-04-03 2015-03-11 Method and device for contactless input of characters WO2015150036A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014206443.0 2014-04-03
DE102014206443.0A DE102014206443A1 (en) 2014-04-03 2014-04-03 Method and device for the non-contact input of characters

Publications (1)

Publication Number Publication Date
WO2015150036A1 true WO2015150036A1 (en) 2015-10-08

Family

ID=52727089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/055112 WO2015150036A1 (en) 2014-04-03 2015-03-11 Method and device for contactless input of characters

Country Status (2)

Country Link
DE (1) DE102014206443A1 (en)
WO (1) WO2015150036A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007045967A1 (en) 2007-09-25 2009-04-02 Continental Automotive Gmbh Method and device for contactless input of characters
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment
EP2395454A2 (en) * 2010-06-11 2011-12-14 NAMCO BANDAI Games Inc. Image generation system, shape recognition method, and information storage medium
US20120223882A1 (en) * 2010-12-08 2012-09-06 Primesense Ltd. Three Dimensional User Interface Cursor Control
EP2535787A2 (en) * 2011-06-13 2012-12-19 Deutsche Telekom AG 3D free-form gesture recognition system for character input

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9733717B2 (en) * 2012-07-12 2017-08-15 Dual Aperture International Co. Ltd. Gesture-based user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007045967A1 (en) 2007-09-25 2009-04-02 Continental Automotive Gmbh Method and device for contactless input of characters
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment
EP2395454A2 (en) * 2010-06-11 2011-12-14 NAMCO BANDAI Games Inc. Image generation system, shape recognition method, and information storage medium
US20120223882A1 (en) * 2010-12-08 2012-09-06 Primesense Ltd. Three Dimensional User Interface Cursor Control
EP2535787A2 (en) * 2011-06-13 2012-12-19 Deutsche Telekom AG 3D free-form gesture recognition system for character input

Also Published As

Publication number Publication date
DE102014206443A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
DE112009003144B4 (en) Method and device for detecting an obstacle in an image
EP1634243B1 (en) Method and device for locating objects for motor vehicles
DE102011117585B4 (en) Systems and methods for tracking objects
DE19831413C2 (en) Image processing methods and devices for recognizing objects in traffic
DE60204005T2 (en) METHOD AND DEVICE FOR RECOGNIZING A HANDWRITTEN PATTERN
EP2920741B1 (en) Method and device for image-assisted runway localization
DE102014221510A1 (en) System and method for recognizing a user gesture for performing the operation of a vehicle
DE102006012914A1 (en) System and method for determining the distance to a preceding vehicle
DE102009016562A1 (en) Method for identifying objects in periphery of vehicle, involves recording image of periphery of vehicle at vehicle position, and another image of periphery of vehicle at another vehicle position by camera arranged on vehicle
DE112013002740T5 (en) Human detection apparatus
DE102019114622A1 (en) DETECTION AND PLANAR REPRESENTATION OF THREE-DIMENSIONAL DRIVING TRACKS IN A STREET SCENE
DE102015115526A1 (en) Method for target detection of target objects, in particular for the target detection of operating elements in a vehicle
DE102015206546A1 (en) Road marking recognition device
DE19511472C1 (en) Dynamic verification of handwritten character by weighting of strokes
EP3520023A1 (en) Detection and validation of objects from sequential images from a camera
DE102018010039A1 (en) Method for recognizing at least one pattern in an environment of a vehicle, control device for executing such a method, and vehicle with such a control device
DE102008036219A1 (en) Method for identification of object i.e. traffic sign, in surrounding area of e.g. passenger car, involves determining similarity measure between multiple characteristics of image region and multiple characteristics of characteristic set
EP3659113B1 (en) Detection system, working method and training method for generating a 3d model with reference data
WO2015150036A1 (en) Method and device for contactless input of characters
DE102013005882A1 (en) Method for detecting visible object e.g. pedestrian on image area of two-dimensional (2D) image, involves comparing image area of 2D image with comparison pattern including image areas of reference pattern to detect visible object
DE102018206743A1 (en) A method of operating a driver assistance system of an ego vehicle having at least one environment sensor for detecting an environment of the ego vehicle, computer-readable medium, system, and vehicle
EP4222039A1 (en) Optical railway detection
DE102020006720A1 (en) Method for localizing a silhouette of a vehicle combination in camera images and vehicle generated by an external vehicle camera
DE102018100335B4 (en) Method and device for 3D gesture recognition
DE102008060768A1 (en) Articulated object part e.g. pedestrian's hand forearm region, classifying method for use in driver assistance process of vehicle, involves transforming image recording such that internal degree of freedom is considered in standard views

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15711681

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase
122 Ep: pct application non-entry in european phase

Ref document number: 15711681

Country of ref document: EP

Kind code of ref document: A1