WO2006120193A1 - Method and apparatus for entering characters into a data processing system - Google Patents

Method and apparatus for entering characters into a data processing system Download PDF

Info

Publication number
WO2006120193A1
WO2006120193A1 PCT/EP2006/062158 EP2006062158W WO2006120193A1 WO 2006120193 A1 WO2006120193 A1 WO 2006120193A1 EP 2006062158 W EP2006062158 W EP 2006062158W WO 2006120193 A1 WO2006120193 A1 WO 2006120193A1
Authority
WO
WIPO (PCT)
Prior art keywords
characters
acoustic
character
user
determined
Prior art date
Application number
PCT/EP2006/062158
Other languages
German (de)
French (fr)
Inventor
Henry Feil
Ewald Frensch
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2006120193A1 publication Critical patent/WO2006120193A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Definitions

  • the present invention relates to a method and a device for inputting characters in a data processing system, as well as a data processing system, in particular ⁇ special in the execution of a portable electronic Gerrät, which has a device for inputting characters.
  • a Benut ⁇ zer designed as a pin mobile phone in his hand, he will move for inputting characters, the mobile phone or its tip as a conventional pen to describe by the movement of the desired character to be inputted.
  • the detection of the movement can be done for example by means of optical sensors, such as in a Com ⁇ puter mouse, or by means of acceleration sensors. In Either way, it is also necessary here that the appropriate movements are recognized as characters with a spe ⁇ cial handwriting recognition software.
  • a conventional correction method is to delete the input characters of a character string from the last character to the erroneous character by means of a correction key and then to add further newly entered characters to the position in the character string to which the deletion has been performed.
  • This correction method has ⁇
  • the user In the case of font input systems in which input characters are acoustically output for verification by the user after the input or recognition - somewhat delayed due to the calculation in the recognition - then the user must remember exactly which of the characters of several input characters typed incorrectly or had been recognized.
  • ⁇ ner characters Another way to correct faultily give ⁇ ner characters is to use a so-called navigation mode. It is assumed that a user has first set a so-called input mode to input multiple characters. For example, if the user detects that one of the typed characters has been misrecognized, he must change from input mode to navigation mode. This can be done for example by pressing a special mode button. Subsequently, the user must move a cursor to the location of the misrecognition by a corresponding input. Thereupon it is necessary to switch back to the input mode to delete and correct incorrectly recognized characters.
  • the object of the present invention is thus to provide a possibility for inputting characters, in which also a simple correction is possible.
  • a method for entering characters or characters into a data processing system comprises the following steps. It is recognized in a plurality of segments Handschriftele ⁇ succession, one of which consisting of at least each represents a set of a character.
  • a handwriting element can be understood as a movement performed by a user to describe a character. On the one hand, the movement currently being performed by the user to describe one or more characters can be detected, but it is also conceivable to record already recorded movements for the description of one or more characters.
  • the paper then dium serves as Aufracesme- for movement to the description of characters, and can by means of an optical scanner then the recorded movement of the user as the character or characters are captured.
  • the Set of characters include one or more characters, ie single letters, numbers or whole words.
  • the respective sets of characters are then determined from the recorded handwriting elements in order to form a character string in the order of detection of the handwriting elements assigned to the sentences on the basis of the ascertained sets of characters.
  • the determination of the respective characters or sets of characters takes place here by means of special character recognition methods, which are usually realized by means of special software.
  • a detected character is compared with a predefined character, in which case the most predefined character to the detected character is output as the recognized character. If the sets of characters have been determined, these are output acoustically in a next step in the order in which the handwriting elements assigned to them are recorded.
  • a user of the very phrases entered by characters representing handwriting elements pursuing the acoustic output of the determined sets of clergy clergy ⁇ chen and are, if it detects a false entry or false detection, an acoustic correction signal.
  • this acoustic correction signal may include a noise, such as a whistle, but may also include a special correction word such as "FALSE.”
  • This acoustic Cor ⁇ rektursignal will be received.
  • a further set of characters is inserted in the place of the ascertained set of characters in the character string, to the acoustic output of which the acoustic correction signal was received.
  • the user who detects a wrong input or misrecognition of a character does not need to remember exactly when the wrong input or misrecognition has taken place, but only has to if he perceives the acoustic output of an incorrect character to give off its acoustic correction signal.
  • the further set of characters for insertion into the string is provided such that after receiving the acoustic correction signal another handwriting element of a user is detected, which represents the further set consisting of at least one character. This white ⁇ tere set of characters is then again, as described above, identified and inserted in the place of the replaced set of characters.
  • the further set of characters is provided in such a way that, after receiving the acoustic correction signal, a speech element of a user which comprises a word representing the further set of characters is detected. That is, according to this embodiment of the invention, no movement of a user but the user's speech is detected. Then the other set of characters is based on the word of the language element ermit ⁇ telt.
  • the word in the determination, can be processed as the smallest linguistic unit, ie consisting of one or more letters, but it is also possible to recognize the meaning of the word and instead, for example, in the case where the word describes a number the verbal description of the digit directly to regard the numeral as the further set of characters to be inserted in place of a set of characters to be corrected in the string.
  • capturing handwriting elements may be accomplished by detecting movement of a user with which the user describes a character.
  • the detection of a motion of a user can thereby follow for example by means of an acceleration sensor, an optical sensor and / or a touch sensor ⁇ it.
  • an acceleration sensor is used to detect the movement of a user, then the acceleration sensor measures the accelerations occurring in the movement for describing characters, which can finally be converted by means of temporal integration into a locus or movement curve of the user in the description of characters. This movement curve can then be handed over to a character recognition method in order to recognize a character from it.
  • An optical sensor for detecting a movement of a user may comprise, for example a camera with wel ⁇ cher in equidistant time steps images of ground (a plane on which the movement for the description of handwriting elements takes place) are recorded and are compared with each previous images (striking Pixels representing the same background objects are compared between a current and a previous image), which is referred to as "pixel matching". Motion vectors can then be calculated from the difference images, which can be integrated to the new position finally, thus a locus or motion ⁇ the movement curve of a user in the description to get out of character. The movement curve is then fed back to a text recognition process. Furthermore, it is possible already to a recording medium such as a sheet of paper to record written handwriting elements by means of an optical scanner and from this sign the font ⁇ be seen.
  • a touch sensor may be provided on a tip of a portable electronic device configured as a pen-shaped mobile phone, the sensor comprising, for example, a rotatable ball at the tip which rotates as it moves over a contacting surface , And based on the rotation on the movement of the Ge ⁇ device, which is guided by a user, can be closed.
  • an apparatus for inputting characters into a data processing system comprises a sensor device for detecting a plurality of handwriting elements in succession, each of which represents a sentence comprising at least one character. Furthermore, the device comprises a recognition device for determining the respective sets of characters from the recorded handwriting elements in order to form a character sequence in the sequence of the detection of the handwriting elements assigned to the sentences on the basis of the ascertained sets of characters. In addition, an acoustic output device is provided for acoustically outputting the determined sets of characters in the order of detection of the handwriting elements assigned to them. Finally, an inserter is used to insert another set of characters in the place of the ascertained set of characters in the string to whose acoustic output the correction signal has been received.
  • the sensor device may comprise an acceleration sensor, an optical sensor and / or a touch sensor.
  • an acceleration sensor for an explanation of the respective sensors, reference is made to the illustration with regard to the method.
  • the acoustic output device comprises a loudspeaker and comprises the acoustic input device a microphone.
  • the insertion device and / or the recognition device can each have a microprocessor.
  • the insertion device and / or the recognition device are designed as software applications which are executed by a microprocessor.
  • the device further comprises a memory device for storing the character string. This makes it possible to enter a string completely, to store in the storage device and then to transfer at once, for example via a data cable to the data processing system.
  • the apparatus may include display means for displaying the input character string. This allows the user to perceive the input characters not only acoustically (by the acoustic output device) but also optically.
  • a data processing system comprising a character writing device just described.
  • the data processing system can be designed as a portable electronic device.
  • it can be designed as a mobile device or mobile telephone, but also as an organizer or PDA (PDA: Personal Digital Assistant).
  • PDA Personal Digital Assistant
  • FIG. 1 shows a time structure in which the individual event lines for inputting characters are represented
  • FIG. 2 is a schematic representation of the correction of a misrecognized character
  • FIG. 3 shows a time structure with event lines for explaining the input of sets of characters or words
  • Figure 4 is a schematic representation for correcting a misrecognized word
  • FIG. 5 shows a data processing system in the form of a mobile phone according to a first embodiment of the
  • FIG. 6 shows a data processing system in the form of a Mo ⁇ biltelefons according to a second execution form for entering characters
  • FIG. 7 shows a data processing system in the form of a Mo ⁇ biltelefons according to a third From guide die for inputting characters
  • FIG. 8 shows a data processing system in the form of a Mo ⁇ biltelefons according to a fourth From guide die for inputting characters.
  • FIGS. 1 to 4 Before a method for inputting characters will now be explained with reference to FIGS. 1 to 4, a possible device for inputting characters will first be explained with reference to FIGS. 5 to 8.
  • FIG. 5 a Mobilte ⁇ LePhone MFGl shown.
  • the mobile phone MFGl here has ei ⁇ ne conventional shape in the shape of a cuboid. It has an acoustic output device with a loudspeaker LS, as well as an acoustic input device with a microphone MIK. Furthermore, it has a keyboard TAS with multiple buttons for entering characters or control statements.
  • a display device DSP is arranged on ⁇ , having a touch-sensitive screen. This touch-sensitive screen provides thereby a Be ⁇ rmulungssensor BS.
  • a pen STI With a pen STI, it is then possible to descendants of characters, while the tip of the pin STI with the display DSP is in contact handwriting elements representing ⁇ sign one or more font to enter.
  • a user can, for example, the tip of the pin STI to the adosein ⁇ direction DSP put on, and perform a movement which corresponds to the number "1", wherein the value detected by the touch sensor BS movement trajectory of the pen tip is ⁇ forwarded to a Erken drying apparatus EKE, the it is directed ⁇ is, from the detected movements of the pen tip, that is the signature elements, each characters or sets of characters to identify.
  • the recognition device also serves to classify recognized characters or sets of characters into a sequence of characters, namely in the order of detection of the handwriting elements assigned to the characters.
  • an insertion device EFE serves to insert one or more characters at a specific position to be corrected into the character string generated by the recognition device EKE.
  • the mobile telephone MFG2 essentially comprises the same components with the same functions as the mobile telephone MFG1, namely an acoustic output device with a loudspeaker LS, a display device DSP, a recognition device EKE, an insertion device EFE, and an acoustic input device with a microphone MIK. Due to the design of the mobile phone MFG2 as a pen, the number of keys for operating the mobile phone is greatly reduced. Thus example ⁇ example in Figure 6 only a keyboard Tasl shown with two keys.
  • the mobile phone MFG2 instead of the touch sensor BS an optical sensor OS, which is provided in the tip section of the mobile phone ⁇ .
  • the optical sensor OS including an op ⁇ diagram camera, is used in equidistant time ⁇ take steps images of the surface OF, and to compare each case preceding recorded images in order to derive motion vectors of the tip of the mobile phone MFG2, which extends over the Surface OF moves, to calculate.
  • the motion vectors eventually hand can position Points calculate which can then be combined into a movement curve or locus.
  • FIG. 7 there is shown another apparatus for inputting characters in the form of a mobile phone MFG3 formed as a pen.
  • the mobile phone MFG3 corresponds in structure essentially to the mobile phone MFG2, for which reason reference is made to the explanation of the same components on the explanation of the mobile phone MFG2.
  • the main difference of the mobile phone MFG3 is now that it has a touch sensor BS1 instead of the optical sensor OS in the mobile phone MFG2.
  • This can for example have a rotatably mounted Ku ⁇ gel at the top of the mobile phone MFG3, the rotation of which is then measurable when the ball or the touch sensor BSl is moved on contact with the surface OF on this way ⁇ away.
  • the movement of the tip of the mobile telephone via the MFG3 Oberflä ⁇ is then che away detectable. Is described with the tip of a character, it can detect the touch sensor BS that convert into a movement curve or locus and these Be ⁇ wegungskurve the recognizer EKE out. As already explained with reference to the other embodiments, the Recognition device EKE then able to recognize the respective character using the movement curve.
  • FIG. 8 a further device for inputting characters in the form of a mobile phone MFG4 designed as a pen is shown.
  • the mobile telephone MFG4 again essentially matches the mobile telephones MFG2 and MFG3, for which reason reference is made to the above-described mobile telephones in order to explain the same components.
  • Characteristic of the mobile phone MFG4 is that it now has a gyro sensor or acceleration sensor GS in the tip section of the phone to detect movements.
  • This gyro sensor has at least two sensor sections, but advantageously three sensor sections for detecting accelerations in two, advantageously in three dimensions.
  • the Mo ⁇ biltelefon MFG4 is or its tip portion, in which the acceleration sensor GS is, moved over the surface OF, for example, to write a character to be sawn, the acceleration sensor GS detects at the top of the mobile phone MFG4 occurring accelerations.
  • the BEWE ⁇ supply the top of the mobile phone MFG4 calculated. This locus is then in turn fed to the detection device EKE, which determines a character or several characters from the movement curve.
  • FIGS. 1 and 2 A method for inputting individual characters in the form of numerals will first be described with reference to FIGS. 1 and 2.
  • Figure 1 are four event lines shown in which the time from left to right vorreirei ⁇ Tet.
  • the first event line the "font input” event line, indicates that the digits "0", “1", “2”, “3”, "4" are inputted successively by a user at respective time intervals TSZ.
  • the input can be effected by means of one of the mobile phones MFG1 to MFG4 shown in FIGS. 5 to 8. More specifically, in the font ⁇ a respective manuscript element HSE input by a user by means of a respective sensor (BS, OS, or BSl GS) ER- sums.
  • a handwriting element HSE comprises a character SZ in the form of a number.
  • the "speech output” event the characters ESZ recognized by the recognition device are detected by the acoustic output device or its loudspeaker LS, which is referred to herein as a so-called "text-to-speech" system Language "system) work, issued in the form of words EWO.
  • the acoustic output of the recognized characters ESZ begins with a time delay to the detection or determination of the respective characters. It is assumed that the output of EWO words that he knew ⁇ represent characters or numerals, in a uniform speed occurs. This means that from ⁇ reproducing a respective digits is done at equal time intervals TAK.
  • a user who is currently inputting characters only has to keep track of the acoustic output of the recognized digits, and immediately when he recognizes that a digit has been entered incorrectly or misrecognized immediately after the output of that digit (generally said after output of the character) output an acoustic correction signal, for example in the form of the word "FALSE".
  • the digit sequence is likewise emitted acoustically, which is illustrated by the loudspeaker symbol to the left of the screen section D 1 and has already been explained with reference to the third event line of FIG.
  • the acoustic correction signal of the user sounds in the form of the word "FALSE", so that the digit just emitted acoustically is marked as false.
  • the acoustic correction signal is received by an acoustic input device of a mobile telephone or its microphone MIK.
  • the acoustic input device serves as an integrated voice recognizer, which can be operated, for example, in the so-called "voice activation" mode, ie in which the voice recognizer is always active and triggers a corresponding predetermined action upon recognition of a specific word.
  • Such a marking of an incorrect character or a wrong digit can, as shown in the second screen section D2, again be effected by a cursor CUR.
  • the entire correction method which is initiated by the output of the acoustic correction signal by the user, to be controlled by a correction device in the form of the insertion device EFE designated in FIGS. 5 to 8.
  • the string of the recognized characters ESZ and the body of the religiouszei ⁇ chens are communicated to the output of the akusti ⁇ cal correction signal was received.
  • the inserter then causes, as already explained with respect to screen section D2, that the cursor CUR is now set to the wrong one
  • Character FZ or in this case the wrong digit FZ is set.
  • the marking now means that the marked character is replaced by a subsequent input of a character or a number.
  • the cursor is returned to the end of the digit string so that a user can now add new characters at the end of the digit string. That is, the navigation of the cursor from the end of the digit sequence to the incorrectly entered digit to correct it, and the navigation from that position back to the end to the digit string after correction is performed automatically (here, in the example of the EFE inserter).
  • Figs. 3 and 4 illustrate a method for entering and correcting whole words, each consisting of a set of characters.
  • a user can press, for example, after entering a handwriting element one of the keys of the keyboards TAS or TASl. It is also conceivable that the user at the beginning of entering a handwriting element presses one of the keys of the keyboards TAS or TASl and keeps pressed until the input of the handwriting element is completed. In this way it is thus possible, individually recorded
  • the words just recognized by the recognition device EKE are audibly output by the acoustic output device or its loudspeakers LS to a user for checking purposes.
  • an error has occurred in the recognition of the fourth word "spaer”.
  • the user now hears the individual words EWO issued and recognizes in the fourth word that this has been recognized incorrectly.
  • the fourth (false) word FW it outputs an acoustic correction signal KOS in the form of the word "FALSE,” as shown in the second event line of FIG.
  • the acoustic correction signal KOS is received by the microphone MIK of the acoustic input device (one of the mobile phones MFG1 to MFG4), whereby finally the actual correction process is started.
  • This correction process will now be explained in a simplified manner with reference to FIG.
  • a cursor CUR is set to the erroneous word. This means that the word marked by the cursor CUR should be replaced by a subsequent input of a word or a set of characters.

Abstract

Disclosed are a method and an apparatus for entering characters into a data processing system (MFG4). According to the invention, a plurality of handwritten elements, each of which represents a set encompassing at least one character, are successively detected with the aid of a sensor device (GS). The respective sets of characters are then determined from the detected handwritten elements by means of a recognition device (EKE) so as to form a series of signs based on the determined sets of characters in the order in which the handwritten elements assigned to the sets have been detected. An acoustic output device (LS) then outputs the determined sets of characters in the order in which the handwritten elements that are assigned thereto have been detected. Said output is monitored by a user, who issues an acoustic corrective signal when a set of characters has been entered or recognized incorrectly, said corrective signal being received by an acoustic input device (MIK). An insertion device (EFE) finally inserts another set of characters in place of the determined set of characters in the series of signs whose acoustic output was followed by the reception of the corrective signal.

Description

Beschreibungdescription
Verfahren und Vorrichtung zum Eingeben von Schriftzeichen in eine DatenverarbeitungsanlageMethod and device for entering characters in a data processing system
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage, sowie eine Datenverarbeitungsanlage, insbe¬ sondere in der Ausführung eines tragbaren elektronischen Ge- räts, welche eine Vorrichtung zum Eingeben von Schriftzeichen aufweist .The present invention relates to a method and a device for inputting characters in a data processing system, as well as a data processing system, in particular ¬ special in the execution of a portable electronic Gerrät, which has a device for inputting characters.
Die Miniaturisierung von tragbaren elektronischen Geräten, wie Mobiltelefonen oder Organizern, bringt eine Verringerung der Bedienungselemente mit sich, und führt teilweise bis zu einem vollkommenen Verzicht auf mechanische Tasten bzw. Tastaturen. Jedoch stellt sich dabei dann immer mehr das Problem der Eingabe von differenzierten Steueranweisungen, wie beispielsweise von Schriftzeichen bei einer Schrifteingabe. Bei größeren tragbaren Geräten ist hierzu herkömmlicher Weise ein berührungssensitives Display, ein so genannter "Touch Screen" vorgesehen, auf dem mittels eines speziellen Stifts Zeichen bzw. Schriftzeichen geschrieben werden können, welche dann mittels einer speziellen Schrifterkennungssoftware als Schriftzeichen oder Steueranweisungen erkannt werden. Bei kleineren tragbaren elektronischen Geräten, wie beispielsweise bei als Stift ausgebildeten Mobiltelefonen (so genannten "Pen Phones"), welche zumeist ein kleines Display aufweisen, wird hingegen zum Eingeben von Schriftzeichen oder Steueran- Weisungen eine Bewegung eines Benutzers durch das tragbare elektronische Gerät erfasst. Genauer gesagt, hält ein Benut¬ zer das als Stift ausgebildete Mobiltelefon in seiner Hand, so wird er zum Eingeben von Schriftzeichen das Mobiltelefon bzw. dessen Spitze wie bei einem herkömmlichen Stift bewegen, um durch die Bewegung die gewünschten einzugebenden Schriftzeichen zu beschreiben. Die Erfassung der Bewegung kann dabei beispielsweise mittels optischen Sensoren, wie bei einer Com¬ putermaus, oder mittels Beschleunigungssensoren erfolgen. In jedem Fall ist es auch hier notwendig, dass mit einer spe¬ ziellen Schrifterkennungssoftware die entsprechenden Bewegungen als Schriftzeichen erkannt werden.The miniaturization of portable electronic devices, such as cell phones or organizers, involves a reduction in controls, and sometimes results in a total relinquishment of mechanical keys or keyboards. However, there is then more and more the problem of entering differentiated control statements, such as characters in a font input. In the case of larger portable devices, conventionally a touch-sensitive display, a so-called "touch screen" is provided on which characters or characters can be written by means of a special pen, which are then recognized by means of a special character recognition software as characters or control instructions. In smaller portable electronic devices, such as pen-shaped mobile phones (so-called "pen phones"), which usually have a small display, on the other hand, a user's movement is detected by the portable electronic device for inputting characters or control instructions. Specifically, holding a Benut ¬ zer, designed as a pin mobile phone in his hand, he will move for inputting characters, the mobile phone or its tip as a conventional pen to describe by the movement of the desired character to be inputted. The detection of the movement can be done for example by means of optical sensors, such as in a Com ¬ puter mouse, or by means of acceleration sensors. In Either way, it is also necessary here that the appropriate movements are recognized as characters with a spe ¬ cial handwriting recognition software.
In jedem der gerade geschilderten Fälle kommt es jedoch vor, dass Schrifteingabeverfahren grundsätzlich das Problem haben, dass es zu Fehleingaben oder Falscherkennungen der Schriftzeichen kommen kann. Zu deren Behebung ist deshalb ein effizientes und ergonomisches Korrekturverfahren nötig.In each of the cases just described, however, it happens that in principle, the input of writing methods has the problem that erroneous entries or misrecognitions of the characters may occur. To remedy this, an efficient and ergonomic correction procedure is necessary.
Ein herkömmliches Korrekturverfahren sieht vor, mittels einer Korrekturtaste die eingegebenen Zeichen einer Zeichenfolge vom letzten Zeichen bis zu dem fehlerhaften Zeichen zu löschen und dann weitere neu eingegebene Zeichen an die Stelle in der Zeichenfolge wieder anzufügen, bis zu der die Löschung durchgeführt worden ist. Dieses Korrekturverfahren hat im We¬ sentlichen den Nachteil, dass ein Benutzer bereits eingegebe¬ ne und durch die Schrifterkennungssoftware korrekt erkannte Zeichen wieder neu eingeben muss. Bei Schrifteingabesystemen, bei denen eingegebene Schriftzeichen zur Überprüfung durch den Benutzer nach der Eingabe bzw. Erkennung wieder akustisch ausgegeben werden - auf Grund der Berechnung bei der Erkennung etwas zeitverzögert - muss sich der Benutzer dann genau merken, welches der Schriftzeichen von mehreren eingegebenen Schriftzeichen falsch eingegeben oder erkannt worden war.A conventional correction method is to delete the input characters of a character string from the last character to the erroneous character by means of a correction key and then to add further newly entered characters to the position in the character string to which the deletion has been performed. This correction method has ¬ We sentlichen the disadvantage that a user already ne ¬ admit and correct by the handwriting recognition software recognized character again has to re-enter. In the case of font input systems in which input characters are acoustically output for verification by the user after the input or recognition - somewhat delayed due to the calculation in the recognition - then the user must remember exactly which of the characters of several input characters typed incorrectly or had been recognized.
Eine weitere Möglichkeit zur Korrektur fehlerhaft eingegebe¬ ner Schriftzeichen besteht in der Verwendung eines sogenannten Navigations-Modus. Es wird davon ausgegangen, dass ein Benutzer zunächst einen sogenannten Eingabemodus eingestellt hat, um mehrere Schriftzeichen einzugeben. Erkennt der Benutzer, dass eines der eingegebenen Schriftzeichen beispielsweise falsch erkannt worden ist, so muss er vom Eingabemodus in den Navigations-Modus wechseln. Dies kann beispielsweise durch Drücken einer speziellen Modus-Taste geschehen. Anschließend muss der Benutzer durch eine entsprechende Eingabe einen Cursor an die Stelle der Falscherkennung bewegen. Daraufhin ist wieder in den Eingabemodus zu schalten, um das falsch erkannte Schriftzeichen zu löschen und zu korrigieren. Um nun wieder an das Ende der eingegebenen Folge von Schriftzeichen zu gelangen, muss schließlich wieder in den Navigations-Modus gewechselt werden, und dort angelangt ist der Ein- gabemodus zu aktivieren, um am Ende der Zeichenfolge neue Zeichen einzugeben und an die Zeichenfolge anzufügen. Somit zeigt sich, dass eine Korrektur einer Zeichenfolge gemäß dem gerade beschriebenen Verfahren sehr aufwändig und unkomforta¬ bel für den Benutzer ist.Another way to correct faultily give ¬ ner characters is to use a so-called navigation mode. It is assumed that a user has first set a so-called input mode to input multiple characters. For example, if the user detects that one of the typed characters has been misrecognized, he must change from input mode to navigation mode. This can be done for example by pressing a special mode button. Subsequently, the user must move a cursor to the location of the misrecognition by a corresponding input. Thereupon it is necessary to switch back to the input mode to delete and correct incorrectly recognized characters. Finally, to return to the end of the entered sequence of characters, it is necessary to switch back to navigation mode, and once there, the input mode has to be activated in order to input new characters at the end of the character string and to add them to the character string. Thus shows that a correction of a character string in accordance with the very laborious methods just described and unkomforta ¬ bel for the user.
Die Aufgabe der vorliegenden Erfindungen besteht folglich darin, eine Möglichkeit zur Eingabe von Schriftzeichen bereit zu stellen, bei dieser ebenso eine einfache Korrektur möglich ist.The object of the present invention is thus to provide a possibility for inputting characters, in which also a simple correction is possible.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprü¬ che .This object is solved by the independent claims. Advantageous embodiments are the subject of Unteransprü ¬ che.
Dabei umfasst ein Verfahren zum Eingeben von Zeichen bzw. Schriftzeichen in eine Datenverarbeitungsanlage folgende Schritte. Es wird zunächst eine Mehrzahl von Handschriftele¬ menten nacheinander erfasst, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen repräsentiert. Ein Handschriftelement kann dabei als eine von einem Benutzer durchgeführte Bewegung zur Beschreibung eines Schriftzeichens verstanden werden. Zum einen kann dabei die aktuell vom Benutzer gerade durchgeführte Bewegung zur Beschreibung eines oder mehrerer Schriftzeichen erfasst werden, es ist jedoch auch denkbar, schon aufgezeichnete Bewegungen zur Beschreibung eines oder mehrerer Schriftzeichen zu erfassen. Im letzteren Fall kann dabei ein Benutzer mittels Farbe eines her¬ kömmlichen Stifts auf einem Papier ein oder mehrere Schriftzeichen schreiben, wobei das Papier dann als Aufzeichnungsme- dium für die Bewegung zur Beschreibung von Schriftzeichen dient, und mittels eines optischen Scanners kann dann die aufgezeichnete Bewegung des Benutzers, als das oder die Schriftzeichen erfasst werden. Wie bereits erwähnt, kann der Satz aus Schriftzeichen eines oder mehrere Schriftzeichen umfassen, also einzelne Buchstaben, Ziffern oder ganze Wörter. Nun werden aus den erfassten Handschriftelementen die jeweiligen Sätze von Schriftzeichen ermittelt, um anhand der er- mittelten Sätze von Schriftzeichen eine Zeichenfolge in der Reihenfolge des Erfassen der den Sätzen zugeordneten Handschriftelementen zu bilden. Die Ermittlung der jeweiligen Schriftzeichen oder Sätze von Schriftzeichen erfolgt dabei mittels speziellen Schrifterkennungs-Verfahren, welche übli- cherweise mittels spezieller Software realisiert sind. Bei derartigen Erkennungsverfahren wird ein erfasstes Schriftzeichen mit einem vordefinierten Schriftzeichen verglichen, wobei dann das dem erfassten Schriftzeichen am ähnlichsten vordefinierte Zeichen als das erkannte Zeichen ausgegeben wird. Sind die Sätze von Schriftzeichen ermittelt, so werden diese in einem nächsten Schritt in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen akustisch ausgegeben. Ein Benutzer der gerade die Sätze von Schriftzeichen repräsentierende Handschriftelemente eingegeben hat, verfolgt die akustische Ausgabe der ermittelten Sätze von Schriftzei¬ chen und gibt, sofern er eine Falscheingabe oder Falscherkennung feststellt, ein akustisches Korrektursignal ab. Dieses akustische Korrektursignal kann beispielsweise ein Geräusch, wie ein Pfeifen umfassen, es kann jedoch auch ein spezielles Korrekturwort wie "FALSCH" umfassen. Dieses akustische Kor¬ rektursignal wird nun empfangen. Anschließend wird ein weite¬ rer Satz von Schriftzeichen an die Stelle des ermittelten Satzes von Schriftzeichen in der Zeichenfolge eingefügt, auf deren akustische Ausgabe hin das akustische Korrektursignal empfangen wurde. Das bedeutet, bei dem Verfahren gemäß der vorliegenden Erfindung muss sich der Benutzer, der eine Falscheingabe oder Falscherkennung eines Schriftzeichens feststellt, nicht genau merken, wann die Falscheingabe oder Falscherkennung stattgefunden hat, sondern er muss lediglich wenn er die akustische Ausgabe eines nicht korrekten Zeichens wahrnimmt, sein akustisches Korrektursignal abgeben. Dies vereinfacht die Korrektur der eingegebenen Zeichenfolge und erhöht somit den Komfort der Eingabe von Schriftzeichen. Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird der weitere Satz von Schriftzeichen zum Einfügen in die Zeichenfolge derart bereitgestellt, dass nach dem Empfangen des akustischen Korrektursignals ein weiteres Handschriftelement eines Benutzers erfasst wird, das den weiteren Satz bestehend aus zumindest einem Schriftzeichen repräsentiert. Dieser wei¬ tere Satz von Schriftzeichen wird dann wieder, wie oben beschrieben, ermittelt und an die Stelle des zu ersetzenden Satzes von Schriftzeichen eingefügt.In this case, a method for entering characters or characters into a data processing system comprises the following steps. It is recognized in a plurality of segments Handschriftele ¬ succession, one of which consisting of at least each represents a set of a character. A handwriting element can be understood as a movement performed by a user to describe a character. On the one hand, the movement currently being performed by the user to describe one or more characters can be detected, but it is also conceivable to record already recorded movements for the description of one or more characters. In the latter case this can be a user by means of color of a forth ¬ conventional pen on a paper or write multiple characters, the paper then dium serves as Aufzeichnungsme- for movement to the description of characters, and can by means of an optical scanner then the recorded movement of the user as the character or characters are captured. As already mentioned, the Set of characters include one or more characters, ie single letters, numbers or whole words. The respective sets of characters are then determined from the recorded handwriting elements in order to form a character string in the order of detection of the handwriting elements assigned to the sentences on the basis of the ascertained sets of characters. The determination of the respective characters or sets of characters takes place here by means of special character recognition methods, which are usually realized by means of special software. In such recognition methods, a detected character is compared with a predefined character, in which case the most predefined character to the detected character is output as the recognized character. If the sets of characters have been determined, these are output acoustically in a next step in the order in which the handwriting elements assigned to them are recorded. A user of the very phrases entered by characters representing handwriting elements pursuing the acoustic output of the determined sets of Schriftzei ¬ chen and are, if it detects a false entry or false detection, an acoustic correction signal. For example, this acoustic correction signal may include a noise, such as a whistle, but may also include a special correction word such as "FALSE." This acoustic Cor ¬ rektursignal will be received. Subsequently, a further set of characters is inserted in the place of the ascertained set of characters in the character string, to the acoustic output of which the acoustic correction signal was received. That is, in the method according to the present invention, the user who detects a wrong input or misrecognition of a character does not need to remember exactly when the wrong input or misrecognition has taken place, but only has to if he perceives the acoustic output of an incorrect character to give off its acoustic correction signal. This simplifies the correction of the input character string and thus increases the convenience of inputting characters. According to an advantageous embodiment of the invention, the further set of characters for insertion into the string is provided such that after receiving the acoustic correction signal another handwriting element of a user is detected, which represents the further set consisting of at least one character. This white ¬ tere set of characters is then again, as described above, identified and inserted in the place of the replaced set of characters.
Gemäß einer weiteren Ausgestaltung der Erfindung wird der weitere Satz von Schriftzeichen derart bereitgestellt, dass nach dem Empfangen des akustischen Korrektursignals ein Sprachelement eines Benutzers erfasst wird, das ein Wort um- fasst, welches den weiteren Satz von Schriftzeichen repräsentiert. Das bedeutet, gemäß dieser Ausgestaltung der Erfindung wird keine Bewegung eines Benutzers, sondern die Sprache des Benutzern erfasst. Anschließend wird der weitere Satz von Schriftzeichen anhand des Wortes des Sprachelements ermit¬ telt. Dabei kann bei der Ermittlung das Wort als kleinste sprachliche Einheit, d.h. bestehend aus einem oder mehreren Buchstaben verarbeitet werden, es ist jedoch auch möglich, den Sinn des Wortes zu erkennen und beispielsweise in dem Fall, in dem das Wort eine Ziffer beschreibt, an Stelle der wörtlichen Beschreibung der Ziffer direkt die Ziffer als den weiteren Satz von Schriftzeichen zu betrachten, der an Stelle eines zu korrigierenden Satzes von Schriftzeichen in der Zeichenfolge eingefügt werden soll.According to a further embodiment of the invention, the further set of characters is provided in such a way that, after receiving the acoustic correction signal, a speech element of a user which comprises a word representing the further set of characters is detected. That is, according to this embodiment of the invention, no movement of a user but the user's speech is detected. Then the other set of characters is based on the word of the language element ermit ¬ telt. In this case, in the determination, the word can be processed as the smallest linguistic unit, ie consisting of one or more letters, but it is also possible to recognize the meaning of the word and instead, for example, in the case where the word describes a number the verbal description of the digit directly to regard the numeral as the further set of characters to be inserted in place of a set of characters to be corrected in the string.
Wie bereits erwähnt, kann das Erfassen von Handschriftelementen durch ein Erfassen einer Bewegung eines Benutzers vonstatten gehen, mit der der Benutzer ein Schriftzeichen beschreibt. Die Erfassung einer Bewegung eines Benutzers kann dabei beispielsweise mittels eines Beschleunigungssensors, eines optischen Sensors und/oder eines Berührungssensors er¬ folgen. Wird ein Beschleunigungssensor zur Erfassung der Bewegung eines Benutzers verwendet, so misst der Beschleunigungssensor die bei der Bewegung zur Beschreibung von Schriftzeichen auftretenden Beschleunigungen, welche mittels zeitlicher Integ- ration schließlich in eine Ortskurve oder Bewegungskurve des Benutzers bei der Beschreibung von Zeichen umgewandelt werden kann. Diese Bewegungskurve kann dann einem Schrifterkennungs¬ verfahren übergeben werden, um daraus ein Schriftzeichen zu erkennen.As already mentioned, capturing handwriting elements may be accomplished by detecting movement of a user with which the user describes a character. The detection of a motion of a user can thereby follow for example by means of an acceleration sensor, an optical sensor and / or a touch sensor ¬ it. If an acceleration sensor is used to detect the movement of a user, then the acceleration sensor measures the accelerations occurring in the movement for describing characters, which can finally be converted by means of temporal integration into a locus or movement curve of the user in the description of characters. This movement curve can then be handed over to a character recognition method in order to recognize a character from it.
Ein optischer Sensor zur Erfassung einer Bewegung eines Benutzers kann beispielsweise eine Kamera aufweisen, mit wel¬ cher in äquidistanten Zeitschritten Bilder eines Untergrunds (einer Ebene, über der die Bewegung zur Beschreibung von Handschriftelementen stattfindet) aufgenommen werden und mit jeweils vorhergehenden Bildern verglichen werden (markante Bildelemente, welche gleiche Untergrundobjekte darstellen, werden zwischen einem aktuellen und einem vorhergehenden Bild verglichen) , was als so genanntes "pixel matching" bezeichnet wird. Aus den Differenzbildern können dann Bewegungsvektoren errechnet werden, die schließlich zur neuen Position integriert werden können, um somit eine Ortskurve oder Bewegungs¬ kurve der Bewegung eines Benutzers bei der Beschreibung von Schriftzeichen zu erhalten. Die Bewegungskurve wird dann wie- derum einem Schrifterkennungs-Verfahren zugeführt. Des Weiteren ist es möglich, bereits auf ein Aufzeichnungsmedium, wie ein Blatt Papier, geschriebene Handschriftelemente mittels eines optischen Scanners zu erfassen und daraus die Schrift¬ zeichen zu erkennen.An optical sensor for detecting a movement of a user may comprise, for example a camera with wel ¬ cher in equidistant time steps images of ground (a plane on which the movement for the description of handwriting elements takes place) are recorded and are compared with each previous images (striking Pixels representing the same background objects are compared between a current and a previous image), which is referred to as "pixel matching". Motion vectors can then be calculated from the difference images, which can be integrated to the new position finally, thus a locus or motion ¬ the movement curve of a user in the description to get out of character. The movement curve is then fed back to a text recognition process. Furthermore, it is possible already to a recording medium such as a sheet of paper to record written handwriting elements by means of an optical scanner and from this sign the font ¬ be seen.
Bei der Verwendung von Berührungssensoren gibt es dabei im Wesentlichen zwei verschiedene Möglichkeiten. Zum einen ist es möglich, dass insbesondere bei der Verwendung des Verfahrens in elektronischen Geräten mit einem größeren Display, das Display als ein berührungssensitives Display ausgebildet sein kann, wobei mittels eines Stifts ein Benutzer Schrift¬ zeichen auf dem berührungssensitiven Display beschreiben kann. Des Weiteren ist es möglich, dass bei Verwendung des Verfahrens in kleineren tragbaren elektronischen Geräten ein Berührungssensor beispielsweise an einer Spitze eines als stiftförmiges Mobiltelefon ausgebildeten tragbaren elektronischen Geräts vorgesehen sein kann, wobei der Sensor bei- spielsweise eine drehbare Kugel an der Spitze umfasst, welche bei der Bewegung über eine in Kontakt stehende Oberfläche sich dreht, und anhand der Drehung auf die Bewegung des Ge¬ räts, welches von einem Benutzer geführt wird, geschlossen werden kann.There are essentially two different possibilities when using touch sensors. Firstly, it is possible that can be designed as a touch-sensitive display, particularly when using the method in electronic devices having a larger display, the display, wherein a user by means of a pin ¬ font characters can be described on the touch-sensitive display. Furthermore, it is possible that when using the In smaller portable electronic devices, for example, a touch sensor may be provided on a tip of a portable electronic device configured as a pen-shaped mobile phone, the sensor comprising, for example, a rotatable ball at the tip which rotates as it moves over a contacting surface , And based on the rotation on the movement of the Ge ¬ device, which is guided by a user, can be closed.
Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage geschaffen. Die Vorrichtung umfasst dabei eine Sensoreinrichtung zum Erfassen einer Mehrzahl von Hand- schriftelementen nacheinander, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen repräsentiert. Des Weiteren umfasst die Vorrichtung eine Erkennungseinrichtung zum Ermitteln der jeweiligen Sätze von Schriftzeichen aus den erfassten Handschriftelementen, um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge in der Reihenfolge des Erfassens der den Sätzen zugeordneten Handschriftelementen zu bilden. Außerdem ist eine akustische Ausgabeeinrichtung zum akustischen Ausgeben der ermittelten Sätze von Schriftzeichen in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen vorgesehen. Schließlich dient eine Einfügeeinrichtung zum Einfügen eines weiteren Satzes von Schriftzeichen an die Stelle des ermittelten Satzes von Schriftzeichen in der Zeichenfolge, auf deren akustische Ausgabe hin das Korrektursignal empfangen wurde.In accordance with another aspect of the invention, an apparatus for inputting characters into a data processing system is provided. In this case, the device comprises a sensor device for detecting a plurality of handwriting elements in succession, each of which represents a sentence comprising at least one character. Furthermore, the device comprises a recognition device for determining the respective sets of characters from the recorded handwriting elements in order to form a character sequence in the sequence of the detection of the handwriting elements assigned to the sentences on the basis of the ascertained sets of characters. In addition, an acoustic output device is provided for acoustically outputting the determined sets of characters in the order of detection of the handwriting elements assigned to them. Finally, an inserter is used to insert another set of characters in the place of the ascertained set of characters in the string to whose acoustic output the correction signal has been received.
Gemäß einer vorteilhaften Ausgestaltung kann die Sensoreinrichtung einen Beschleunigungssensor, einen optischen Sensor und/oder einen Berührungssensor umfassen. Zur Erläuterung der jeweiligen Sensoren sei auf die Darstellung bezüglich des Verfahrens verwiesen.According to an advantageous embodiment, the sensor device may comprise an acceleration sensor, an optical sensor and / or a touch sensor. For an explanation of the respective sensors, reference is made to the illustration with regard to the method.
Gemäß einer weiteren vorteilhaften Ausgestaltung umfasst die akustische Ausgabeeinrichtung einen Lautsprecher und umfasst die akustische Eingabeeinrichtung ein Mikrofon. Die Einfügeeinrichtung und/oder die Erkennungseinrichtung kann jeweils einen Mikroprozessor aufweisen. Es ist jedoch auch denkbar, dass die Einfügeeinrichtung und/oder die Erkennungseinrich- tung als Software-Anwendungen ausgebildet sind, welche durch einen Mikroprozessor ausgeführt werden.According to a further advantageous embodiment, the acoustic output device comprises a loudspeaker and comprises the acoustic input device a microphone. The insertion device and / or the recognition device can each have a microprocessor. However, it is also conceivable that the insertion device and / or the recognition device are designed as software applications which are executed by a microprocessor.
Es ist denkbar, dass die Vorrichtung ferner eine Speichereinrichtung zum Speichern der Zeichenfolge aufweist. Dadurch ist es möglich, eine Zeichenfolge vollständig einzugeben, in der Speichereinrichtung zu speichern und dann auf einmal beispielsweise über ein Datenkabel an die Datenverarbeitungsanlage zu übertragen.It is conceivable that the device further comprises a memory device for storing the character string. This makes it possible to enter a string completely, to store in the storage device and then to transfer at once, for example via a data cable to the data processing system.
Ferner kann die Vorrichtung eine Anzeigeeinrichtung zum Anzeigen der eingegebenen Zeichenfolge aufweisen. Dies ermöglicht dem Benutzer die eingegebenen Schriftzeichen nicht nur akustisch (durch die akustische Ausgabeneinrichtung) wahrzunehmen, sondern auch optisch.Further, the apparatus may include display means for displaying the input character string. This allows the user to perceive the input characters not only acoustically (by the acoustic output device) but also optically.
Gemäß einem weiteren Aspekt der Erfindung wird eine Datenverarbeitungsanlage geschaffen, welche eine gerade beschriebene Vorrichtung zum Eingeben von Schriftzeichen umfasst. Die Datenverarbeitungsanlage kann dabei als ein tragbares elektro- nisches Gerät ausgebildet sein. Insbesondere kann sie als ein Mobilfunkgerät oder Mobiltelefon, aber auch als ein Organizer oder PDA (PDA: Personal Digital Assistent) ausgebildet sein.According to another aspect of the invention, there is provided a data processing system comprising a character writing device just described. The data processing system can be designed as a portable electronic device. In particular, it can be designed as a mobile device or mobile telephone, but also as an organizer or PDA (PDA: Personal Digital Assistant).
Bevorzugte Ausführungs formen der vorliegenden Erfindung wer- den nachfolgend Bezug nehmend auf die beiliegenden Zeichnun¬ gen näher erläutert. Es zeigen:Preferred execution of the present invention advertising the following with reference to the accompanying Zeichnun ¬ gen explained in more detail. Show it:
Figur 1 eine Zeitstruktur, in der die einzelnen Ereignislinien zum Eingegeben von Schriftzeichen dargestellt sind;FIG. 1 shows a time structure in which the individual event lines for inputting characters are represented;
Figur 2 eine schematische Darstellung zur Korrektur eines falsch erkannten Schriftzeichens; Figur 3 eine Zeitstruktur mit Ereignislinien zur Erläuterung der Eingabe von Sätzen von Schriftzeichen bzw. Wörtern;Figure 2 is a schematic representation of the correction of a misrecognized character; FIG. 3 shows a time structure with event lines for explaining the input of sets of characters or words;
Figur 4 eine schematische Darstellung zur Korrektur eines falsch erkannten Wortes;Figure 4 is a schematic representation for correcting a misrecognized word;
Figur 5 eine Datenverarbeitungsanlage in der Form eines Mo- biltelefons gemäß einer ersten Ausführungsform zur5 shows a data processing system in the form of a mobile phone according to a first embodiment of the
Eingabe von Schriftzeichen;Input of characters;
Figur 6 eine Datenverarbeitungsanlage in der Form eines Mo¬ biltelefons gemäß einer zweiten Aus führungsform zur Eingabe von Schriftzeichen;6 shows a data processing system in the form of a Mo ¬ biltelefons according to a second execution form for entering characters;
Figur 7 eine Datenverarbeitungsanlage in der Form eines Mo¬ biltelefons gemäß einer dritten Aus führungsform zur Eingabe von Schriftzeichen;7 shows a data processing system in the form of a Mo ¬ biltelefons according to a third From guide die for inputting characters;
Figur 8 eine Datenverarbeitungsanlage in der Form eines Mo¬ biltelefons gemäß einer vierten Aus führungsform zur Eingabe von Schriftzeichen.8 shows a data processing system in the form of a Mo ¬ biltelefons according to a fourth From guide die for inputting characters.
Bevor nun ein Verfahren zum Eingeben von Schriftzeichen anhand der Figuren 1 bis 4 erläutert werden wird, soll zunächst eine mögliche Vorrichtung zum Eingeben von Schriftzeichen anhand der Figuren 5 bis 8 erläutert werden.Before a method for inputting characters will now be explained with reference to FIGS. 1 to 4, a possible device for inputting characters will first be explained with reference to FIGS. 5 to 8.
Dabei sei zunächst auf Figur 5 verwiesen, in der ein Mobilte¬ lefon MFGl gezeigt ist. Das Mobiltelefon MFGl weist dabei ei¬ ne herkömmliche Form in der Gestalt eines Quaders auf. Es hat eine akustische Ausgabeeinrichtung mit einem Lautsprecher LS, sowie eine akustische Eingabeeinrichtung mit einem Mikrofon MIK. Des Weiteren hat es eine Tastatur TAS mit mehreren Tasten zum Eingeben von Zeichen oder Steueranweisungen. Unterhalb des Lautsprechers LS ist eine Anzeigeeinrichtung DSP an¬ geordnet, die einen berührungssensitiven Bildschirm aufweist. Dieser berührungssensitive Bildschirm stellt dabei einen Be¬ rührungssensor BS dar. Mit einem Stift STI ist es dann möglich, durch Nachfahren von Schriftzeichen, während die Spitze des Stifts STI mit der Anzeigeeinrichtung DSP in Berührung steht, Handschriftelemente, welche ein oder mehrere Schrift¬ zeichen repräsentieren, einzugeben. Dabei kann ein Benutzer beispielsweise die Spitze des Stifts STI auf die Anzeigeein¬ richtung DSP aufsetzen, und eine Bewegung durchführen, die der Ziffer "1" entspricht, wobei die von dem Berührungssensor BS erfasste Bewegungskurve der Stiftspitze an eine Erken¬ nungseinrichtung EKE weitergeleitet wird, die dafür einge¬ richtet ist, aus den erfassten Bewegungen der Stiftspitze, d.h. den Handschriftelementen, die jeweiligen Schriftzeichen oder Sätze von Schriftzeichen zu ermitteln. Die Erkennungs- einrichtung dient ferner dazu, erkannte Schriftzeichen oder Sätze von Schriftzeichen in eine Folge von Schriftzeichen einzureihen, nämlich in der Reihenfolge des Erfassens der den Schriftzeichen zugeordneten Handschriftelementen. Wie es noch später bzgl. den Figuren 1 bis 4 erläutert werden wird, dient eine Einfügeeinrichtung EFE dazu, ein oder mehrere Schriftzeichen an eine bestimmte zu korrigierende Stelle in die durch die Erkennungseinrichtung EKE erzeugte Zeichenfolge einzufügen .It should first be made to Figure 5, in which a Mobilte ¬ LePhone MFGl shown. The mobile phone MFGl here has ei ¬ ne conventional shape in the shape of a cuboid. It has an acoustic output device with a loudspeaker LS, as well as an acoustic input device with a microphone MIK. Furthermore, it has a keyboard TAS with multiple buttons for entering characters or control statements. Below the loudspeaker LS, a display device DSP is arranged on ¬ , having a touch-sensitive screen. This touch-sensitive screen provides thereby a Be ¬ rührungssensor BS. With a pen STI, it is then possible to descendants of characters, while the tip of the pin STI with the display DSP is in contact handwriting elements representing ¬ sign one or more font to enter. In this case, a user can, for example, the tip of the pin STI to the Anzeigeein ¬ direction DSP put on, and perform a movement which corresponds to the number "1", wherein the value detected by the touch sensor BS movement trajectory of the pen tip is ¬ forwarded to a Erken drying apparatus EKE, the it is directed ¬ is, from the detected movements of the pen tip, that is the signature elements, each characters or sets of characters to identify. The recognition device also serves to classify recognized characters or sets of characters into a sequence of characters, namely in the order of detection of the handwriting elements assigned to the characters. As will be explained later with reference to FIGS. 1 to 4, an insertion device EFE serves to insert one or more characters at a specific position to be corrected into the character string generated by the recognition device EKE.
Es sei nun auf Figur 6 verwiesen, in der eine Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG2 gezeigt ist. Das Mobiltelefon MFG2 umfasst im Wesentlichen die gleichen Komponenten mit gleichen Funktionen wie das Mobiltelefon MFGl, nämlich eine akustische Ausgabeeinrichtung mit einem Lautsprecher LS, eine Anzeigeeinrichtung DSP, eine Erkennungseinrichtung EKE, eine Einfügeeinrichtung EFE, sowie eine akustische Eingabeeinrichtung mit einem Mikrofon MIK. Auf Grund der Ausbildung des Mobiltelefons MFG2 als ein Stift ist die Anzahl der Tasten zur Bedienung des Mobiltelefons sehr reduziert. So ist beispiels¬ weise in Figur 6 lediglich eine Tastatur TASl mit zwei Tasten gezeigt. Als weiterer Unterschied zum Mobiltelefon MFGl um¬ fasst das Mobiltelefon MFG2 anstatt des Berührungssensors BS einen optischen Sensor OS, der im Spitzenabschnitt des Mobil¬ telefons vorgesehen ist. Der optische Sensor OS, der eine op¬ tische Kamera umfasst, dient dazu, in äquidistanten Zeit¬ schritten Bilder der Oberfläche OF aufzunehmen und mit je- weils vorhergehenden aufgenommenen Bildern zu vergleichen, um daraus Bewegungsvektoren der Spitze des Mobiltelefons MFG2, welches sich über die Oberfläche OF bewegt, zu berechnen. An¬ hand der Bewegungsvektoren lassen sich schließlich Positionspunkte berechnen, die dann zu einer Bewegungskurve oder Ortskurve zusammengefasst werden können. Die so von dem opti¬ schen Sensor OS ermittelte Bewegungskurve der Spitze des Mo¬ biltelefons MFG2 wird dann wiederum der Erkennungseinrichtung EKE zugeführt, die anhand der Bewegungskurve die den Bewe¬ gungskurven zugeordneten Schriftzeichen ermittelt. Die Funk- tion der Einfügeeinrichtung EFE wird später bzgl. der Figuren 1 bis 4 erläutert werden.Referring now to Figure 6, there is shown an apparatus for entering characters in the form of a pen MFG2. The mobile telephone MFG2 essentially comprises the same components with the same functions as the mobile telephone MFG1, namely an acoustic output device with a loudspeaker LS, a display device DSP, a recognition device EKE, an insertion device EFE, and an acoustic input device with a microphone MIK. Due to the design of the mobile phone MFG2 as a pen, the number of keys for operating the mobile phone is greatly reduced. Thus example ¬ example in Figure 6 only a keyboard Tasl shown with two keys. As a further difference to the mobile phone MFGl to ¬ summarizes the mobile phone MFG2 instead of the touch sensor BS an optical sensor OS, which is provided in the tip section of the mobile phone ¬ . The optical sensor OS, including an op ¬ diagram camera, is used in equidistant time ¬ take steps images of the surface OF, and to compare each case preceding recorded images in order to derive motion vectors of the tip of the mobile phone MFG2, which extends over the Surface OF moves, to calculate. At ¬ the motion vectors eventually hand can position Points calculate which can then be combined into a movement curve or locus. The rule so by the optical sensor OS ¬ detected movement curve of the tip of the Mo ¬ biltelefons MFG2 is then again supplied to the EKE identification device that determines based on the movement curve the BEWE ¬ supply curves associated characters. The function of the insertion device EFE will be explained later with reference to FIGS. 1 to 4.
Es sei nun auf Figur 7 verwiesen, in der eine weitere Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als ein Stift ausgebildetes Mobiltelefons MFG3 gezeigt ist. Das Mobiltelefon MFG3 entspricht im Aufbau im wesentlichen dem Mobiltelefon MFG2, weshalb zur Erläuterung gleicher Komponenten auf die Erläuterung des Mobiltelefons MFG2 verwiesen wird. Der wesentliche Unterschied des Mobiltelefons MFG3 liegt nun darin, dass dieses an Stelle des optischen Sensors OS bei dem Mobiltelefon MFG2 einen Berührungssensor BSl aufweist. Dieser kann beispielsweise eine drehbar gelagerte Ku¬ gel an der Spitze des Mobiltelefons MFG3 aufweisen, deren Drehung dann messbar ist, wenn die Kugel bzw. der Berührungs- sensor BSl bei Kontakt mit der Oberfläche OF über diese hin¬ weg bewegt wird. Anhand der erfassten Drehung ist dann die Bewegung der Spitze des Mobiltelefons MFG3 über die Oberflä¬ che hinweg erfassbar. Wird mit der Spitze ein Schriftzeichen beschrieben, so kann dies der Berührungssensor BSl erfassen, in eine Bewegungskurve oder Ortskurve umwandeln und diese Be¬ wegungskurve der Erkennungseinrichtung EKE zuführen. Wie schon anhand der anderen Ausführungsformen erläutert, ist die Erkennungseinrichtung EKE dann in der Lage, anhand der Bewegungskurve das jeweilige Schriftzeichen zu erkennen.Referring now to Figure 7, there is shown another apparatus for inputting characters in the form of a mobile phone MFG3 formed as a pen. The mobile phone MFG3 corresponds in structure essentially to the mobile phone MFG2, for which reason reference is made to the explanation of the same components on the explanation of the mobile phone MFG2. The main difference of the mobile phone MFG3 is now that it has a touch sensor BS1 instead of the optical sensor OS in the mobile phone MFG2. This can for example have a rotatably mounted Ku ¬ gel at the top of the mobile phone MFG3, the rotation of which is then measurable when the ball or the touch sensor BSl is moved on contact with the surface OF on this way ¬ away. Based on the detected rotation, the movement of the tip of the mobile telephone via the MFG3 Oberflä ¬ is then che away detectable. Is described with the tip of a character, it can detect the touch sensor BS that convert into a movement curve or locus and these Be ¬ wegungskurve the recognizer EKE out. As already explained with reference to the other embodiments, the Recognition device EKE then able to recognize the respective character using the movement curve.
Schließlich sei noch auf Figur 8 verwiesen, in der eine wei- tere Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG4 gezeigt ist. Dabei stimmt das Mobiltelefon MFG4 wieder im Wesentlichen mit den Mobiltelefonen MFG2 und MFG3 überein, weshalb zur Erläuterung gleicher Komponenten auf die oben erläuterten Mobilte- lefone verwiesen wird. Kennzeichen des Mobiltelefons MFG4 ist, dass dieses zur Erfassung von Bewegungen nun einen Gyro- Sensor oder Beschleunigungssensor GS im Spitzenabschnitt des Telefons aufweist. Dieser Gyro-Sensor hat mindestens zwei Sensorabschnitte, vorteilhafter Weise jedoch drei Sensorab- schnitte zum Erfassen von Beschleunigungen in zwei, vorteilhafter Weise in drei Dimensionen. Das bedeutet, wird das Mo¬ biltelefon MFG4 bzw. dessen Spitzenabschnitt, in dem sich der Beschleunigungssensor GS befindet, über die Oberfläche OF hinweg bewegt, um beispielsweise ein Schriftzeichen zu be- schreiben, so erfasst der Beschleunigungssensor GS die an der Spitze des Mobiltelefons MFG4 auftretenden Beschleunigungen. Durch zweifache Integration der Beschleunigungsdaten über die Zeit lässt sich eine Bewegungskurve bzw. Ortskurve der Bewe¬ gung der Spitze des Mobiltelefons MFG4 berechnen. Diese Ortskurve wird dann wiederum der Erkennungseinrichtung EKE zugeführt, die aus der Bewegungskurve ein Schriftzeichen oder mehrere Schriftzeichen ermittelt.Finally, reference is made to FIG. 8, in which a further device for inputting characters in the form of a mobile phone MFG4 designed as a pen is shown. In this case, the mobile telephone MFG4 again essentially matches the mobile telephones MFG2 and MFG3, for which reason reference is made to the above-described mobile telephones in order to explain the same components. Characteristic of the mobile phone MFG4 is that it now has a gyro sensor or acceleration sensor GS in the tip section of the phone to detect movements. This gyro sensor has at least two sensor sections, but advantageously three sensor sections for detecting accelerations in two, advantageously in three dimensions. That is, the Mo ¬ biltelefon MFG4 is or its tip portion, in which the acceleration sensor GS is, moved over the surface OF, for example, to write a character to be sawn, the acceleration sensor GS detects at the top of the mobile phone MFG4 occurring accelerations. By double integration of acceleration data on the time a motion curve or locus leaves the BEWE ¬ supply the top of the mobile phone MFG4 calculated. This locus is then in turn fed to the detection device EKE, which determines a character or several characters from the movement curve.
Nach der grundsätzlichen Erläuterung des Aufbaus einer mögli- chen Vorrichtung zum Erfassen von Schriftzeichen soll nun anhand der Figuren 1 bis 4 ein Verfahren zum Erfassen von Schriftzeichen bzw. zu deren Korrektur bei einer fehlerhaften Erfassung oder fehlerhaften Ermittlung (durch die Erkennungseinrichtung) erläutert werden.After the basic explanation of the structure of a possible device for capturing characters, a method for capturing characters or for their correction in the event of erroneous detection or incorrect determination (by the recognition device) will now be explained with reference to FIGS.
Dabei soll zunächst anhand der Figuren 1 und 2 ein Verfahren zum Eingeben einzelner Schriftzeichen in Form von Ziffern dargestellt werden. In Figur 1 sind dazu vier Ereignislinien gezeigt, in denen die Zeit von links nach rechts voranschrei¬ tet. Die erste Ereignislinie, die "Schrifteingabe"- Ereignislinie zeigt an, dass die Ziffern "0", "1", "2", "3", "4" in jeweiligen Zeitintervallen TSZ nacheinander von einem Benutzer eingegeben werden. Die Eingabe kann dabei mittels einer der in den Figuren 5 bis 8 dargestellten Mobiltelefonen MFGl bis MFG4 erfolgen. Genauer gesagt, wird bei der Schrift¬ eingabe ein jeweiliges Handschriftelement HSE eines Benutzers mittels eines jeweiligen Sensors (BS, OS, BSl oder GS) er- fasst. Wie bereits erwähnt, umfasst im Beispiel von Figur 1 ein Handschriftelement HSE ein Schriftzeichen SZ in der Form einer Ziffer.A method for inputting individual characters in the form of numerals will first be described with reference to FIGS. 1 and 2. In Figure 1 are four event lines shown in which the time from left to right vorreirei ¬ Tet. The first event line, the "font input" event line, indicates that the digits "0", "1", "2", "3", "4" are inputted successively by a user at respective time intervals TSZ. The input can be effected by means of one of the mobile phones MFG1 to MFG4 shown in FIGS. 5 to 8. More specifically, in the font ¬ a respective manuscript element HSE input by a user by means of a respective sensor (BS, OS, or BSl GS) ER- sums. As already mentioned, in the example of FIG. 1, a handwriting element HSE comprises a character SZ in the form of a number.
Die erfasste Bewegung eines Benutzers zur Beschreibung einer Ziffer bzw. ein Handschriftelement wird dann einer jeweiligen Erkennungseinrichtungen EKE zugeführt, die die dem Handschriftelement zu Grunde liegende Ziffer mittels einer be¬ kannten Handschrifterkennungsmethode ermittelt. Dies bedarf einer bestimmten Rechenzeit, weshalb die zweite Ereignisli- nie, die "erkannte Eingabe"-Ereignislinie, zeitlich nachfol¬ gend beginnt. Im Beispiel sei angenommen, dass es fünf er¬ kannte Zeichen bzw. Ziffern ESZ gibt, wobei vier Ziffern der eingegebenen Ziffernfolge ZF (vgl. Figur 2) richtig erkannt werden, während die dritte Ziffer "2" falsch von der Erken- nungseinrichtung erkannt wird, so dass die dritte Ziffer nun eine "4" an Stelle einer "2" darstellt.The detected movement of a user to describe a digit or a handwriting element is then fed to a respective detecting means EKE, which determines the the handwriting element underlying paragraph by means of a ¬ be known handwriting recognition method. This requires a certain computing time, which is why the second Ereignisli- never that "recognized input" -Ereignislinie, time nachfol ¬ quietly begins. In the example, assume that he ¬ are five known characters or digits SPC, with four digits of the digit sequence input IF (see FIG. 2) are correctly identified, while the third number "2" is incorrectly recognized by the recognize voltage device so that the third digit now represents a "4" instead of a "2".
In der dritten Ereignislinie, der "Sprachausgabe"-Ereignis- linie werden schließlich die von der Erkennungseinrichtung erkannten Schriftzeichen ESZ durch die akustische Ausgabeeinrichtung bzw. deren Lautsprecher LS, die hier als sogenanntes "Text-to-Speech"-System ( "Text-zu-Sprache"-System) arbeiten, in Form von Worten EWO ausgegeben. Auf Grund der Berechnung für die Sprachausgabe beginnt die akustische Ausgabe der er- kannten Zeichen ESZ mit einer zeitlichen Verzögerung zu der Erfassung oder Ermittlung der jeweiligen Schriftzeichen. Es wird angenommen, dass die Ausgabe der Wörter EWO, die die er¬ kannten Schriftzeichen bzw. Ziffern repräsentieren, in einer einheitlichen Geschwindigkeit erfolgt. Das bedeutet, die Aus¬ gabe einer jeweiligen Ziffer erfolgt in gleichen Zeitintervallen TAK.Finally, in the third event line, the "speech output" event, the characters ESZ recognized by the recognition device are detected by the acoustic output device or its loudspeaker LS, which is referred to herein as a so-called "text-to-speech" system Language "system) work, issued in the form of words EWO. Based on the calculation for the speech output, the acoustic output of the recognized characters ESZ begins with a time delay to the detection or determination of the respective characters. It is assumed that the output of EWO words that he knew ¬ represent characters or numerals, in a uniform speed occurs. This means that from ¬ reproducing a respective digits is done at equal time intervals TAK.
Betrachtet man nun Figur 1 von der ersten Ereignislinie zur dritten Ereignislinie so fällt auf, dass auf Grund zwischen¬ zeitlicher Berechnungen und der akustischen Ausgabe mit gleich bleibender Geschwindigkeit beispielsweise mit der Er¬ fassung der vierten Ziffer bereits begonnen wurde, während mittels akustischer Sprachausgabe gerade die erkannte dritte Ziffer ausgegeben wird. Um nun zu vermeiden, dass ein Benutzer, der anhand der akustischen Sprachausgabe erkennt, dass seine dritte eingegebene Ziffer ("2") falsch erkannt wurde, die gerade eingegebene vierte Ziffer ("3") wieder löschen muss oder umständlich zur falsch erkannten Ziffer navigieren muss, um schließlich zur falsch eingegebenen dritten Ziffer zu gelangen, wie es in herkömmlichen Systemen zur Korrektur von Zeichen vorgesehen ist, sieht die vorliegende Erfindung gemäß dieser Ausführungsform eine vereinfachte Vorgehensweise vor.Referring now to Figure 1 of the first event line to the third event line so noticeable that due to between ¬ time calculations and the acoustic output at a constant speed, for example, with He ¬ version of the fourth digit has already been started, while using acoustic speech output just the recognized third digit is output. In order to avoid that a user who recognizes from the acoustic voice output that his third entered digit ("2") has been detected incorrectly, the just entered fourth digit ("3") must clear again or navigate cumbersome to the misrecognized digit in order to finally arrive at the wrongly entered third digit as provided in conventional character correction systems, the present invention provides a simplified approach according to this embodiment.
Gemäß dieser Ausführungsform der Erfindung muss ein Benutzer, der gerade Schriftzeichen eingibt, lediglich die akustische Ausgabe der erkannten Ziffern verfolgen bzw. beobachten, und sofort, wenn er erkennt, dass eine Ziffer falsch eingegeben oder falsch erkannt wurde, unmittelbar nach Ausgabe dieser Ziffer (allgemein gesagt nach Ausgabe des Schriftzeichens) ein akustisches Korrektursignal, beispielsweise in der Form des Wortes "FALSCH" ausgeben. Wie es in Figur 1 bzgl. der vierten Ereignislinie, der " Spracheeingabe "-Ereignislinie gezeigt ist, gibt ein Benutzer, der an der Sprachausgabe- Ereignislinie erkennt, dass das dritte von ihm eingegebene Zeichen falsch erkannt wurde, unmittelbar das Wort "FALSCH" aus. Durch dieses akustische Korrektursignal KOS in Form des Wortes "FALSCH" nach einem falschen Zeichen FZ wird das eigentliche Korrekturverfahren gestartet. Anhand von Figur 2, in der vier Bildschirmabschnitte Dl, D2, D3 und D4 gezeigt sind, welche jeweils zeitlich aufeinander folgende Abschnitte der Anzeigeeinrichtung DSP während des Korrekturverfahrens darstellen, sollen nun die einzelnen Kor- rekturschritte ausführlich erläutert werden. Im Bildschirmab¬ schnitt Dl wird dabei die gemäß der zweiten Ereignislinie von Figur 1 erkannte Zeichenfolge ZF bzw. Ziffernfolge "01434" dargestellt, wobei der Cursor CUR am Ende der Ziffernfolge angibt, dass ein Benutzer anschließend an die erkannten Zif- fern weitere Ziffern oder Schriftzeichen eingeben kann. Während der optischen Darstellung der erkannten Ziffernfolge wird die Ziffernfolge ebenso akustisch ausgegeben, was durch das Lautsprecher-Symbol links neben dem Bildschirmabschnitt Dl veranschaulicht ist und bezüglich der dritten Ereignisli- nie von Figur 1 bereits erläutert worden ist. Wird nun die dritte erkannte Ziffer als die Ziffer "4" ausgegeben, so ertönt das akustische Korrektursignal des Benutzers in Form des Wortes "FALSCH", so dass die gerade akustisch ausgegebene Ziffer als falsch markiert wird. Das akustische Korrektursig- nal wird dabei von einer akustischen Eingabeeinrichtung eines Mobiltelefons bzw. deren Mikrofon MIK empfangen. Die akustische Eingabeeinrichtung dient dabei als integrierter Spracherkenner, der beispielsweise im sogenannten "voice activa- tion"-Modus betrieben werden kann, d. h. bei dem der Spra- cherkenner immer aktiv ist und bei Erkennung eines bestimmten Wortes eine entsprechende vorbestimmte Aktion auslöst.According to this embodiment of the invention, a user who is currently inputting characters only has to keep track of the acoustic output of the recognized digits, and immediately when he recognizes that a digit has been entered incorrectly or misrecognized immediately after the output of that digit (generally said after output of the character) output an acoustic correction signal, for example in the form of the word "FALSE". As shown in Figure 1 with respect to the fourth event line, the "Speech Entry" event line, a user recognizing at the Speech Output Event Line that the third character entered by him was misrecognized immediately outputs the word "FALSE" , By this acoustic correction signal KOS in the form of the word "FALSE" after a false sign FZ the actual correction process is started. The individual correction steps will now be explained in detail with reference to FIG. 2, in which four screen sections D1, D2, D3 and D4 are shown, which in each case represent sections of the display device DSP which follow one another temporally during the correction process. In Bildschirmab ¬ cut Dl while the recognized according to the second event line of Figure 1 string ZF or numeric string "01434" is displayed with the cursor CUR indicates the end of the sequence of digits that a user subsequently to the recognized digits additional digits or characters, can enter. During the optical representation of the recognized digit sequence, the digit sequence is likewise emitted acoustically, which is illustrated by the loudspeaker symbol to the left of the screen section D 1 and has already been explained with reference to the third event line of FIG. If now the third recognized digit is output as the digit "4", then the acoustic correction signal of the user sounds in the form of the word "FALSE", so that the digit just emitted acoustically is marked as false. The acoustic correction signal is received by an acoustic input device of a mobile telephone or its microphone MIK. The acoustic input device serves as an integrated voice recognizer, which can be operated, for example, in the so-called "voice activation" mode, ie in which the voice recognizer is always active and triggers a corresponding predetermined action upon recognition of a specific word.
Eine derartige Markierung eines falschen Schriftzeichens bzw. einer falschen Ziffer kann, wie es in dem zweiten Bildschirm- abschnitt D2 gezeigt ist, wiederum durch einen Cursor CUR erfolgen.Such a marking of an incorrect character or a wrong digit can, as shown in the second screen section D2, again be effected by a cursor CUR.
Es ist dabei möglich, dass das gesamte Korrekturverfahren, das durch die Ausgabe des akustischen Korrektursignals durch den Benutzer eingeleitet wird, durch eine Korrektureinrichtung in der Form der in den Figuren 5 bis 8 bezeichneten Einfügeeinrichtung EFE gesteuert wird. Dabei kann dann nach Empfangen des akustischen Korrektursignals die Zeichenfolge der erkannten Schriftzeichen ESZ sowie die Stelle des Schriftzei¬ chens mitgeteilt werden, auf dessen Ausgabe hin das akusti¬ sche Korrektursignal empfangen wurde. Die Einfügeeinrichtung veranlasst daraufhin, wie schon bezüglich Bildschirmabschnitt D2 erläutert, dass der Cursor CUR nun auf das falscheIt is possible in this case for the entire correction method, which is initiated by the output of the acoustic correction signal by the user, to be controlled by a correction device in the form of the insertion device EFE designated in FIGS. 5 to 8. In this case, after receiving the acoustic correction signal, the string of the recognized characters ESZ and the body of the Schriftzei ¬ chens are communicated to the output of the akusti ¬ cal correction signal was received. The inserter then causes, as already explained with respect to screen section D2, that the cursor CUR is now set to the wrong one
Schriftzeichen FZ bzw. im vorliegenden Fall die falsche Ziffer FZ gesetzt wird. Die Markierung bedeutet nun, dass durch eine folgende Eingabe eines Schriftzeichens bzw. einer Ziffer das markierte Schriftzeichen ersetzt wird.Character FZ or in this case the wrong digit FZ is set. The marking now means that the marked character is replaced by a subsequent input of a character or a number.
Dies ist in dem Bildschirmabschnitt D3 veranschaulicht. Eine Eingabe eines neuen Schriftzeichens kann dabei zum einen durch Erfassung eines Handschriftelements HSE erfolgen, das ein Schriftzeichen SZ repräsentiert, wie es auch schon bezüg- lieh der ersten Ereignislinie von Figur 1 erläutert worden ist. Zum anderen kann die Eingabe eines neuen Schriftzeichens auch durch Spracheingabe erfolgen, indem der Benutzer ein Sprachelement SPE ausgibt, das ein Wort WO umfasst, welches das Schriftzeichen oder eine Ziffer repräsentiert. Im vorlie- genden Fall soll an Stelle der falsch erkannten Ziffer "4" die korrekte Ziffer "2" eingefügt werden. Wie es im dritten Bildschirmabschnitt D3 somit zu sehen ist, wird in die er¬ kannte Ziffernfolge an der Stelle der falsch erkannten Ziffer die nun richtige Ziffer, welche nach Empfang des akustischen Korrektursignals eingegeben worden ist, eingefügt.This is illustrated in the screen section D3. An entry of a new character can take place on the one hand by detecting a handwriting element HSE, which represents a character SZ, as has already been explained with respect to the first event line of FIG. On the other hand, the input of a new character can also be done by voice input by the user outputs a voice element SPE, which includes a word WO, which represents the character or a number. In the present case, the correct number "2" should be inserted instead of the wrongly recognized number "4". As can thus be seen in the third screen section D3, in which he now correct number, which is entered upon receipt of the acoustic correction signal, inserted in place of the misrecognized digit ¬ knew digit sequence.
Wie es in dem Bildschirmabschnitt D4 gezeigt ist, wird nach dem Einfügen des korrekten Zeichens bzw. der korrekten Ziffern der Cursor wieder an das Ende der Ziffernfolge gesetzt, so dass ein Benutzer nun neue Zeichen bzw. Ziffern am Ende der Ziffernfolge anfügen kann. Das bedeutet, die Navigation des Cursors vom Ende der Ziffernfolge zur falsch eingegebenen Ziffer, um diese zu korrigieren, und die Navigation von dieser Stelle zurück zum Ende zu der Ziffernfolge nach erfolgter Korrektur wird automatisch (hier im Beispiel von der Einfügeeinrichtung EFE) durchgeführt. Somit steht dem Benutzer ein einfaches Verfahren ohne großen Aufwand zu Verfügung, um falsch eingegebene Zeichen korrigieren zu können. Es sei nun auf die Figuren 3 und 4 verwiesen, in denen ein Verfahren zur Eingabe und Korrektur ganzer Wörter, welche jeweils aus einem Satz von Schriftzeichen bestehen, erläutert ist. Im vorliegenden Fall wird also angenommen, dass ein Benutzer nicht nur einzelne Ziffern eingibt, sondern ganze Tex¬ te mit aus Buchstaben bestehenden Wörtern. Die Eingabe der jeweiligen Buchstaben für die Wörter kann entsprechend der Eingabe der Ziffern erfolgen, wie es bereits bzgl. Figur 1 erläutert worden ist. Dabei kann entsprechend der ersten Er¬ eignislinie von Figur 1 durch Erfassen der Bewegung eines Benutzers, welche einen Buchstaben repräsentiert, eine Schrift¬ eingabe bzw. Handschrifteingabe erfolgen. Genauer gesagt kön¬ nen einzelne Handschriftelemente eines Benutzers erfasst wer- den, die einen Satz bestehend aus mehreren Schriftzeichen umfassen. Zur Kenntlichmachung für die Eingabeeinrichtung bzw. die Erkennungseinrichtung und Einfügeeinrichtung, welche Schriftzeichen zu einem bestimmten Handschriftelement gehören, kann ein Benutzer beispielsweise nach Eingabe eines Handschriftelements eine der Tasten der Tastaturen TAS oder TASl drücken. Es ist auch denkbar, dass der Benutzer zu Beginn der Eingabe eines Handschriftelements eine der Tasten der Tastaturen TAS oder TASl drückt und solange gedrückt hält, bis die Eingabe des Handschriftelements beendet ist. Auf diese Weise ist es somit möglich, einzeln erfassteAs shown in the screen section D4, after inserting the correct character (s), the cursor is returned to the end of the digit string so that a user can now add new characters at the end of the digit string. That is, the navigation of the cursor from the end of the digit sequence to the incorrectly entered digit to correct it, and the navigation from that position back to the end to the digit string after correction is performed automatically (here, in the example of the EFE inserter). Thus, a simple method is available to the user without much effort to correct incorrectly entered characters. Reference is now made to Figs. 3 and 4 which illustrate a method for entering and correcting whole words, each consisting of a set of characters. In the present case, it is thus assumed that a user not only inputs individual digits, but entire Tex ¬ te with consisting of letters words. The input of the respective letters for the words can be carried out according to the input of the numbers, as has already been explained with reference to FIG. In this case, according to the first Er ¬ eventislinie of Figure 1 by detecting the movement of a user who represents a letter, a font ¬ input or handwriting input. More specifically ¬ NEN individual handwriting elements of a user Kgs detects the advertising comprising a set consisting of several characters. To identify the input device or the recognition device and insertion device, which characters belong to a specific handwriting element, a user can press, for example, after entering a handwriting element one of the keys of the keyboards TAS or TASl. It is also conceivable that the user at the beginning of entering a handwriting element presses one of the keys of the keyboards TAS or TASl and keeps pressed until the input of the handwriting element is completed. In this way it is thus possible, individually recorded
Schriftzeichen, wie es gemäß der ersten Ereignislinie von Figur 1 erläutert wurde, jeweils zu erfassen, anschließend, wie es gemäß der zweiten Ereignislinie von Figur 1 erläutert wor¬ den ist, durch die Erkennungseinrichtung EKE mittels eines Handschrifterkennungsverfahren zu erkennen, und dann als Wörter oder Sätze von Schriftzeichen in einer Zeichenfolge zusammenzufügen. Eine derartige Zeichenfolge erkannter Wörter bzw. Schriftzeichen ist schließlich in Figur 3 in Form eines Textes TXT dargestellt, der, wie es auch bezüglich Figur 2 erläutert worden ist auf dem Display eines der Mobiltelefone MFGl bis MFG4 nach Erkennung angezeigt werden kann. Zur Erläuterung des Korrekturverfahrens gemäß einer weiteren Ausführungsform der Erfindung sei nun auf die erste Ereignislinie von Figur 3 verwiesen, die im Wesentlichen der dritten Ereignislinie von Figur 1 entspricht. Die gerade von der Er- kennungseinrichtung EKE erkannten Wörter werden zur Überprüfung einem Benutzer akustisch durch die akustische Ausgabeeinrichtung bzw. deren Lautsprecher LS ausgegeben. Wie es bereits in der Darstellung des Textes TXT zu erkennen ist, ist bei der Erkennung des vierten Wortes "spaer" ein Fehler un- terlaufen. Der Benutzer hört nun die einzelnen ausgegebenen Worte EWO und erkennt beim vierten Wort, dass dieses falsch erkannt worden ist. Somit gibt er unmittelbar auf die Ausgabe des vierten (falschen) Wortes FW hin ein akustisches Korrektursignal KOS in der Form des Wortes "FALSCH" aus, wie es in der zweiten Ereignislinie von Figur 3 gezeigt ist.Characters, as explained according to the first event line of Figure 1, respectively, then, as it has been explained according to the second event line of Figure 1 ¬ recognized by the recognition device EKE by means of a handwriting recognition method, and then as words or Combine sets of characters in a string. Such a string of recognized words or characters is finally shown in Figure 3 in the form of a text TXT, which, as has also been explained with respect to Figure 2 can be displayed on the display of one of the mobile phones MFGL to MFG4 after detection. To explain the correction method according to a further embodiment of the invention, reference is now made to the first event line of FIG. 3, which substantially corresponds to the third event line of FIG. The words just recognized by the recognition device EKE are audibly output by the acoustic output device or its loudspeakers LS to a user for checking purposes. As can already be seen in the representation of the text TXT, an error has occurred in the recognition of the fourth word "spaer". The user now hears the individual words EWO issued and recognizes in the fourth word that this has been recognized incorrectly. Thus, immediately following the output of the fourth (false) word FW, it outputs an acoustic correction signal KOS in the form of the word "FALSE," as shown in the second event line of FIG.
Das akustische Korrektursignal KOS wird von dem Mikrofon MIK der akustischen Eingabeeinrichtung (eines der Mobiltelefone MFGl bis MFG4) empfangen, wodurch schließlich der eigentliche Korrekturvorgang in Gang gesetzt wird. Dieser Korrekturvorgang soll nun in vereinfachter Weise anhand von Figur 4 erläutert werden. Entsprechend dem zweiten Bildschirmabschnitt D2 von Figur 2 wird beispielsweise im Bildschirmabschnitt D5 von Figur 4 wieder von der Einfügeeinrichtung EFE (eines der Mobiltelefone MFGl bis MFG4) gesteuert ein Cursor CUR auf das fehlerhafte Wort gesetzt. Das bedeutet, das durch den Cursor CUR markierte Wort soll durch eine folgende Eingabe eines Wortes bzw. eines Satzes von Schriftzeichen ersetzt werden. Im vorliegenden Falle wird mittels einer Schrifteingabe - symbolisiert auf der linken Seite von Figur 4 - ein Hand¬ schriftelement HSE eines Benutzers erfasst, das das korrekte Wort bzw. den korrekten Satz von Schriftzeichen SSZ repräsentiert. Nach Erfassen dieses Korrekturwortes wird das Wort (genauer die einzelnen Schriftzeichen) durch die Erkennungs- einrichtung EKE erkannt und an Stelle des falsch erkannten Wortes in den Text TXT eingesetzt. Dies ist in dem Bild¬ schirmabschnitt D6 von Figur 4 zu erkennen. Anschließend wird jede folgende Eingabe von Schriftzeichen bzw. Sätze von Schriftzeichen wieder an das Ende des Textes TXT angefügt. Das bedeutet auch in dem in den Figuren 3 und 4 dargestellten Fall erfolgt die Ersetzung eines falsch eingegebenen oder falsch erkannten Wortes bequem, ohne dass ein Benutzer vom Ende eines eingegebenen Textes zur fehlerhaften Stelle navigieren muss, und nach einer Korrektur wieder zum Ende zurück navigieren muss. The acoustic correction signal KOS is received by the microphone MIK of the acoustic input device (one of the mobile phones MFG1 to MFG4), whereby finally the actual correction process is started. This correction process will now be explained in a simplified manner with reference to FIG. According to the second screen section D2 of FIG. 2, for example, in the screen section D5 of FIG. 4 again controlled by the insertion device EFE (one of the mobile phones MFGl to MFG4), a cursor CUR is set to the erroneous word. This means that the word marked by the cursor CUR should be replaced by a subsequent input of a word or a set of characters. In the present case, by means of a font input - symbolized on the left side of FIG. 4 - a hand ¬ writing element HSE of a user is detected, which represents the correct word or the correct set of characters SSZ. After detecting this correction word, the word (more precisely, the individual characters) is recognized by the recognition device EKE and inserted in the text TXT instead of the incorrectly recognized word. This can be seen in the image ¬ screen section D6 of Figure 4. Subsequently, each subsequent input of characters or sentences of Characters appended to the end of the text TXT. This also means in the case illustrated in FIGS. 3 and 4 the replacement of a wrongly entered or incorrectly recognized word is carried out conveniently, without a user having to navigate from the end of an entered text to the incorrect position, and having to navigate back to the end after a correction ,

Claims

Patentansprüche claims
1. Verfahren zum Eingeben von Schriftzeichen in eine Daten- Verarbeitungsanlage, mit folgenden Schritten:1. A method for entering characters in a data processing system, comprising the following steps:
- Erfassen einer Mehrzahl von Handschriftelementen (HSE) nacheinander, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen (SZ) repräsentiert;- Detecting a plurality of handwriting elements (HSE) in succession, each of which represents a sentence consisting of at least one character (SZ);
- Ermitteln der jeweiligen Sätze von Schriftzeichen aus den erfassten Handschriftelementen (HSE) , um anhand der ermittelten Sätze von Schriftzeichen (ESZ) eine Zeichenfolge (ZF; TXT) in der Reihenfolge des Erfassens der den Sätzen zugeordneten Handschriftelementen zu bilden;- Determining the respective sets of characters from the detected handwriting elements (HSE) to form a string (ZF; TXT) based on the determined sets of characters (ESZ) in the order of detection of the handwriting elements assigned to the sentences;
- Akustisches Ausgeben der ermittelten Sätze von Schriftzeichen (EWO) in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen;- Acoustic output of the determined sets of characters (EWO) in the order of detecting the handwriting elements associated therewith;
- Empfangen eines akustischen Korrektursignals (KOS) eines Benutzers;- Receiving an acoustic correction signal (KOS) of a user;
- Einfügen eines weiteren Satzes von Schriftzeichen (SSZ; WO) an die Stelle des ermittelten Satzes von Schriftzei¬ chen (FZ, FW) in der Zeichenfolge, auf deren akustische Ausgabe hin das akustische Korrektursignal empfangen wur¬ de.- Inserting another set of characters (SSZ, WO) in the place of the determined set of Schriftzei ¬ chen (FZ, FW) in the string on the acoustic output towards the acoustic correction signal wur ¬ de received.
2. Verfahren nach Anspruch 1, bei dem nach dem Empfangen des akustischen Korrektursignals (KOS) ein weiteres Handschriftelement (HSE) erfasst wird, das den weiteren Satz bestehend aus zumindest einem Schriftzei¬ chen repräsentiert, und der weitere Satz von Schriftzeichen ermittelt wird.2. The method of claim 1, wherein after receiving the acoustic correction signal (KOS) another handwriting element (HSE) is detected, which represents the further set consisting of at least one Schriftzei ¬ chen, and the further set of characters is determined.
3. Verfahren nach Anspruch 1, bei dem nach dem Empfangen des akustischen Korrektursignals (KOS) ein Sprachelement (SPE) erfasst wird, das ein Wort (WO) umfasst, welches den weiteren Satz vom Schriftzeichen repräsentiert und der weitere Satz von Schriftzeichen ermittelt wird.3. The method according to claim 1, wherein after receiving the acoustic correction signal (KOS) a speech element (SPE) is detected comprising a word (WO) representing the further set of the character and the further set of characters is determined.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem das Erfassen von Handschriftelementen (HSE) ein Erfassen einer Bewegung eines Benutzers umfasst, mit der der Benutzer ein Schriftzeichen (SZ) beschreibt.4. The method according to any one of claims 1 to 3, wherein the detection of handwriting elements (HSE) comprises detecting a movement of a user, with which the user describes a character (SZ).
5. Verfahren nach Anspruch 4, bei dem das Erfassen einer Bewegung eines Benutzer mittels eines Beschleunigungssensors (GS) , eines optischen Sensors (OS) oder eines Berührungssensors (BS, BSl) erfolgt.5. The method of claim 4, wherein detecting a movement of a user by means of an acceleration sensor (GS), an optical sensor (OS) or a touch sensor (BS, BSl) takes place.
6. Verfahren nach einem der Ansprüche 1 bis 3, bei dem das Erfassen von Handschriftelementen (HSE) ein Scannen von geschriebenen Schriftzeichen umfasst.The method of any one of claims 1 to 3, wherein detecting handwriting elements (HSE) comprises scanning written characters.
7. Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage, mit folgenden Merkmalen:7. A device for entering characters in a data processing system, having the following features:
- eine Sensoreinrichtung (BS, BSl, OS, GS) zum Erfassen ei- ner Mehrzahl von Handschriftelementen (HSE) nacheinander, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen repräsentiert;a sensor device (BS, BS1, OS, GS) for detecting a plurality of handwriting elements (HSE) in succession, each of which represents a set comprising at least one character;
- einer Erkennungseinrichtung (EKE) zum Ermitteln der je- weiligen Sätze von Schriftzeichen (SZ, SSZ) aus den er- fassten Handschriftelementen (HSE) , um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge (TXT) in der Reihenfolge des Erfassens der den Sätzen zugeord¬ neten Handschriftelementen zu bilden;- A recognition device (EKE) for determining the respective sets of characters (SZ, SSZ) from the detected handwriting elements (HSE) to the basis of the determined sets of characters a string (TXT) in the order of detection of the sentences to form zugeord ¬ Neten handwriting elements;
- einer akustischen Ausgabeeinrichtung (LS) zum akustischen Ausgeben der ermittelten Sätze von Schriftzeichen in der Reihenfolge des Erfassens der diesen zugeordneten Hand- schriftelementen;- An acoustic output device (LS) for the acoustic output of the determined sets of characters in the Sequence of detecting the handwriting elements assigned to them;
- eine akustische Eingabeeinrichtung (MIK) zum Empfangen eines akustischen Korrektursignals (KOS) eines Benutzers;an acoustic input device (MIK) for receiving an acoustic correction signal (KOS) of a user;
- eine Einfügeeinrichtung (EFE) zum Einfügen eines weiteren Satzes von Schriftzeichen an die Stelle des ermittelten Satzes vom Schriftzeichen (FZ; FW) in der Zeichenfolge, auf deren akustische Ausgabe hin das Korrektursignal (KOS) empfangen wurde.- An inserter (EFE) for inserting another set of characters in the place of the determined set of characters (FZ; FW) in the string on the acoustic output to the correction signal (KOS) has been received.
8. Vorrichtung nach Anspruch 7, bei der die Sensoreinrichtung einen Beschleunigungssensor (GS) , einen optischen Sensor (OS) oder einen Berührungssensor (BS, BSl) umfasst.8. Apparatus according to claim 7, wherein the sensor device comprises an acceleration sensor (GS), an optical sensor (OS) or a touch sensor (BS, BSl).
9. Vorrichtung nach Anspruch 7 oder 8, bei der die akustische Ausgabeeinrichtung einen Lautsprecher (LS) und die akustische Eingabeeinrichtung ein Mikrofon (MIK) umfasst .9. Device according to claim 7 or 8, wherein the acoustic output device comprises a loudspeaker (LS) and the acoustic input device comprises a microphone (MIK).
10. Vorrichtung nach einem der Ansprüche 7 bis 9, bei der die Einfügeeinrichtung (EFE) und/oder die Erkennungs- einrichtung (EKE) einen Mikroprozessor aufweisen.10. Device according to one of claims 7 to 9, wherein the insertion device (EFE) and / or the recognition device (EKE) have a microprocessor.
11. Vorrichtung nach einem der Ansprüche 7 bis 10, die ferner eine Speichereinrichtung zu Speichern der Zeichenfolge aufweist.The apparatus of any one of claims 7 to 10, further comprising memory means for storing the string.
12. Vorrichtung nach einem der Ansprüche 7 bis 11, die ferner eine Anzeigeeinrichtung (DSP) zum Anzeigen der Zeichenfolge (TXT) aufweist.12. Device according to one of claims 7 to 11, further comprising a display device (DSP) for displaying the character string (TXT).
13. Datenverarbeitungsanlage (MFGl, MFG2, MFG3, MFG4) mit einer Vorrichtung zum Eingeben von Schriftzeichen nach einem der Ansprüche 7 bis 12. 13. Data processing system (MFG1, MFG2, MFG3, MFG4) with a device for inputting characters according to one of claims 7 to 12.
14. Datenverarbeitungsanlage nach Anspruch 13, die als ein tragbares elektronisches Gerät ausgebildet ist.14. Data processing system according to claim 13, which is designed as a portable electronic device.
15. Datenverarbeitungsanlage nach Anspruch 14, die als einen Mobilfunkgerät (MFGl, MFG2, MFG3, MFG4) oder ein PDA ausgebildet ist. 15. Data processing system according to claim 14, which is designed as a mobile radio device (MFGl, MFG2, MFG3, MFG4) or a PDA.
PCT/EP2006/062158 2005-05-10 2006-05-09 Method and apparatus for entering characters into a data processing system WO2006120193A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005021526.2 2005-05-10
DE102005021526A DE102005021526A1 (en) 2005-05-10 2005-05-10 Method and device for entering characters in a data processing system

Publications (1)

Publication Number Publication Date
WO2006120193A1 true WO2006120193A1 (en) 2006-11-16

Family

ID=36753960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/062158 WO2006120193A1 (en) 2005-05-10 2006-05-09 Method and apparatus for entering characters into a data processing system

Country Status (2)

Country Link
DE (1) DE102005021526A1 (en)
WO (1) WO2006120193A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213602B3 (en) 2018-08-13 2019-10-31 Audi Ag A method for generating a voice response as feedback to a handwritten user input and corresponding operating device and motor vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621809A (en) * 1992-06-09 1997-04-15 International Business Machines Corporation Computer program product for automatic recognition of a consistent message using multiple complimentary sources of information
US5855000A (en) * 1995-09-08 1998-12-29 Carnegie Mellon University Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input
WO1999049640A1 (en) * 1998-03-26 1999-09-30 Siemens Aktiengesellschaft Mobile communications device
US6438523B1 (en) * 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
US20030055655A1 (en) * 1999-07-17 2003-03-20 Suominen Edwin A. Text processing system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3228968C2 (en) * 1982-08-03 1984-10-11 Friedrich Dr. phil. 8000 München Hagemeyer Process for the continuous recognition of handwritten characters and a device for carrying out the process
WO1999048268A1 (en) * 1998-03-19 1999-09-23 Siemens Aktiengesellschaft Mobile communication device
US6363342B2 (en) * 1998-12-18 2002-03-26 Matsushita Electric Industrial Co., Ltd. System for developing word-pronunciation pairs
US6446041B1 (en) * 1999-10-27 2002-09-03 Microsoft Corporation Method and system for providing audio playback of a multi-source document
DE10028138A1 (en) * 2000-06-07 2001-12-20 Siemens Ag Mobile communications device acts as pen with incorporated image sensor unit for detection and storage of writing movements
US6704699B2 (en) * 2000-09-05 2004-03-09 Einat H. Nir Language acquisition aide

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621809A (en) * 1992-06-09 1997-04-15 International Business Machines Corporation Computer program product for automatic recognition of a consistent message using multiple complimentary sources of information
US5855000A (en) * 1995-09-08 1998-12-29 Carnegie Mellon University Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input
WO1999049640A1 (en) * 1998-03-26 1999-09-30 Siemens Aktiengesellschaft Mobile communications device
US6438523B1 (en) * 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
US20030055655A1 (en) * 1999-07-17 2003-03-20 Suominen Edwin A. Text processing system

Also Published As

Publication number Publication date
DE102005021526A1 (en) 2006-11-23

Similar Documents

Publication Publication Date Title
DE69923379T2 (en) Non-interactive registration for speech recognition
DE69914131T2 (en) Position handling in speech recognition
DE60207742T2 (en) CORRECTION OF A TEXT RECOGNIZED BY A LANGUAGE RECOGNITION BY COMPARING THE PHONES OF THE RECOGNIZED TEXT WITH A PHONETIC TRANSCRIPTION OF A MANUALLY ENTERED CORRECTION WRITING
DE60033106T2 (en) Correction of operating mode errors, control or dictation, in the speech recognition
DE60122352T2 (en) EYE TRACKING FOR CONTEXT DEPENDENT LANGUAGE RECOGNITION
DE60215272T2 (en) Method and apparatus for inputting linguistic data under unfavorable conditions
DE69721939T2 (en) Method and system for selecting alternative words during speech recognition
DE69828141T2 (en) Method and device for speech recognition
DE102014017384B4 (en) Motor vehicle operating device with speech recognition correction strategy
DE102013007502A1 (en) Computer-implemented method for automatically training a dialogue system and dialog system for generating semantic annotations
DE602005000308T2 (en) Device for voice-controlled applications
DE202012005717U1 (en) Character recognition for overlapping user text input
DE10357475A1 (en) Communication device and method for entering and predicting text
CN111415537A (en) Symbol-labeling-based word listening system for primary and secondary school students
CN111524507A (en) Voice information feedback method, device, equipment, server and storage medium
EP2939086B1 (en) Method for inputting and identifying a character string
CN113010707A (en) Homework correcting method and device and electronic equipment
DE112015003357B4 (en) Method and system for recognizing a spoken announcement containing a sequence of words
DE60312963T2 (en) METHOD AND DEVICE FOR FAST, PATTERN-BASED TRANSCRIPTION OF SUBMITTED AND WRITTEN OBSERVATIONS
WO2006120193A1 (en) Method and apparatus for entering characters into a data processing system
EP3368967A1 (en) Method and apparatus for improving recognition accuracy for the handwritten input of alphanumeric characters and gestures
WO2006120119A1 (en) Method and device for inputting characters in a data processing system
DE102016125162B4 (en) Method and device for the automatic processing of texts
DE102012009384B4 (en) Input device of a motor vehicle for entering a string and associated method for operating the input device
DE102005021524A1 (en) Character inputting method for e.g. portable computer, involves detecting set of speech units, determining sentences from characters of units, and acoustically outputting sentences in output rate, where output rate depends on input rate

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

NENP Non-entry into the national phase

Ref country code: RU

WWW Wipo information: withdrawn in national office

Country of ref document: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06755099

Country of ref document: EP

Kind code of ref document: A1