DE102010003230A1 - Method for controlling machine using contactless human/machine interface, involves recording noise signal of signal transmitter based on thoughts given by humans so that data derived from noise signals is stored in element of record - Google Patents

Method for controlling machine using contactless human/machine interface, involves recording noise signal of signal transmitter based on thoughts given by humans so that data derived from noise signals is stored in element of record Download PDF

Info

Publication number
DE102010003230A1
DE102010003230A1 DE201010003230 DE102010003230A DE102010003230A1 DE 102010003230 A1 DE102010003230 A1 DE 102010003230A1 DE 201010003230 DE201010003230 DE 201010003230 DE 102010003230 A DE102010003230 A DE 102010003230A DE 102010003230 A1 DE102010003230 A1 DE 102010003230A1
Authority
DE
Germany
Prior art keywords
signal
noise
noise signal
signals
thought
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201010003230
Other languages
German (de)
Inventor
Dr. Otte Ralf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TECDATA AG, CH
Original Assignee
Buehler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Buehler AG filed Critical Buehler AG
Priority to DE201010003230 priority Critical patent/DE102010003230A1/en
Publication of DE102010003230A1 publication Critical patent/DE102010003230A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 

Abstract

The method involves providing a signal transmitter with a component for exhibiting a noise signal. The optical projection of calibration data is performed through the arrangement of signal transmitter in spatial proximity. The noise signal of signal transmitter is recorded and received based on the thoughts given by humans so that the data derived from the noise signals is stored in an element of record due to comparison with calibration data and/or given reference datum. An independent claim is included for contactless human/machine interface.

Description

Die vorliegende Erfindung betrifft das technische Gebiet der Steuerung und/oder Regelung von Maschinen, insbesondere mittels einer berührungslosen Mensch/Maschine-Schnittstelle.The present invention relates to the technical field of control and / or regulation of machines, in particular by means of a non-contact man / machine interface.

Es ist bekannt, dass Spannungsschwankungen an der Kopfoberfläche eines Menschen abgegriffen und aufgezeichnet werden können; das Verfahren ist als Elektroenzephalographie (EEG) bekannt. Die verschiedenen Frequenzbänder des EEGs können verschiedenen Zuständen des Probanden zugeordnet werden; die Frequenzbänder reichen vom Delta-Frequenzband (ca. 0.5–3.5 Hz im Tiefschlaf/Trance) bis zum Gamma-Frequenzband (ca. 38–70 Hz bei anspruchsvollen Tätigkeiten mit hohem Informationsfluss). Die Auswertung des EEG erfolgt traditionell durch Mustererkennung des geschulten Auswerters.It is known that voltage fluctuations on the head surface of a human can be tapped and recorded; the procedure is known as electroencephalography (EEG). The different frequency bands of the EEG can be assigned to different states of the subject; the frequency bands range from the delta frequency band (about 0.5-3.5 Hz in deep sleep / trance) to the gamma frequency band (about 38-70 Hz in demanding activities with a high flow of information). The evaluation of the EEG is traditionally carried out by pattern recognition of the trained evaluator.

Bekannt ist ebenfalls, dass durch sogenanntes Averaging von konventionell erfassten EEG-Signalen Signale des tiefer gelegenen Gehirns herausgefiltert werden können, die ansonsten im Rauschen – hervorgerufen durch andere Gehirnteile – untergehen würden. Eine spezielle Anwendung ist bspw. die Detektion von Reaktionen des Hirnstamms auf Reize. Derartige Reaktionen des Hirnstamms würden im EEG normalerweise von Signalen des Cortex überlagert. Durch Averaging der Signale können jedoch die Signale des Cortex derart weitgehend herausgemittelt werden, dass auch schwache Signale des Hirnstamms detektiert werden können. Hierbei macht man sich in der Medizin die zeitliche Verschiebung von charakteristischen Peaks zu Nutze, die bei Probanden mit gesunder Reizleitung und Verarbeitung im Hirnstamm erhalten wurden. Eine signifikante Verschiebung dieses Peaks dient als Hinweis bspw auf einen Hirntumor; siehe hierzu auch Ralf Otte, „Untersuchung von Artefakten bei der Messung von akustisch evozierten Hirnstammpotentialen”, Diplomarbeit, S. 15 ff, TU Berlin, Institut für Regelungstechnik und Systemdynamik in Kooperation mit der TU Chemnitz, Institut für Informationstechnik ; sowie U. Kischka, C. Wallesch, G. Wolf, „Methoden der Gehirnforschung”, Spektrum Akademischer Verlag, 1997, S. 171 ff. It is also known that by so-called averaging of conventionally recorded EEG signals signals of the deeper brain can be filtered out, otherwise in the noise - caused by other parts of the brain - would go down. A special application is, for example, the detection of responses of the brainstem to stimuli. Such brain stem responses would normally be superimposed by signals from the cortex in the EEG. By averaging the signals, however, the signals of the cortex can be averaged out so much that even weak signals of the brain stem can be detected. Here, in medicine, the temporal shift of characteristic peaks, which were obtained in subjects with healthy conduction and processing in the brainstem, is used. A significant shift of this peak serves as an indication, for example, of a brain tumor; see also Ralf Otte, "Investigation of Artifacts in the Measurement of Auditory Brainstem Potentials", diploma thesis, p. 15 ff, TU Berlin, Institute for Control Engineering and Systems Dynamics in cooperation with the TU Chemnitz, Institute for Information Technology ; such as U. Kischka, C. Wallesch, G. Wolf, "Methods of Brain Research", Spektrum Akademischer Verlag, 1997, p. 171 et seq.

Neuere, nicht-medizinische Applikationen des EEG sind gerichtet auf das Steuern von Computern durch kognitive Prozesse. Es wurden Erfolge berichtet, dass mit Hilfe des EEGs ein Mauscursor nach einer Lernphase recht präzise bewegbar ist.Recent, non-medical applications of the EEG are directed to controlling computers through cognitive processes. Successes have been reported that with the help of the EEG a mouse cursor can be moved quite precisely after a learning phase.

Inzwischen haben derartige Brain-Computer Interfaces (BCI) mittels EEG bereits Einzug in die medizinische Praxis gehalten und dienen schwer gelähmten Menschen zur Kommunikation mit der Aussenwelt. Dies ist dadurch möglich, dass die Gedanken der Probanden mittels einer dem konventionellen EEG nachgelagerten Mustererkennung erkannt oder zumindest in bestehende Klassen, zum Beispiel „0” vs. „1” links” vs. „rechts” oder „ja” vs. „nein” eingeteilt werden können.In the meantime, such Brain-Computer Interfaces (BCI) have already found their way into medical practice by means of EEG and serve severely paralyzed people to communicate with the outside world. This is possible because the subjects' thoughts are recognized by means of a pattern recognition downstream of the conventional EEG or at least into existing classes, for example "0" vs. "0". "1" left "vs. "Right" or "yes" vs. "No" can be divided.

Seit dem Jahre 2008 vertreibt die Firma OCZ Technology einen sogenannten NIA (Neural Impulse Actuator), mit welchem die EEG Technik mittlerweile auch auf dem Computerspielemarkt Anwendung findet; hierbei werden mittels der Gedanken von Probanden und deren Echtzeit-EEG-Auswertung Symbole auf einem Computerbildschirm manipuliert.Since 2008, the company OCZ Technology sells a so-called NIA (Neural Impulse Actuator), with which the EEG technology is now also used in the computer games market; In this case, symbols are manipulated on a computer screen by means of the thoughts of test subjects and their real-time EEG evaluation.

Bei allen vorgenannten, auf dem klassischen EEG basierenden Anwendungen ist der zwingend notwendige, unmittelbare Kontakt von Elektroden mit der Kopfoberfläche des Menschen nachteilig. Eine berührungslose Variante (bspw. des NIA von OCZ), die also zumindest einfache Befehle wie „links”/”rechts” unterscheiden und verarbeiten kann, ist nicht bekannt.In all of the above-mentioned applications based on classical EEG, the absolutely necessary direct contact of electrodes with the human head surface is disadvantageous. A non-contact variant (eg of the NIA of OCZ), which can thus distinguish and process at least simple commands such as "left" / "right", is not known.

Es ist daher eine Aufgabe der vorliegenden Erfindung, eine berührungslose Mensch/Maschine-Schnittstelle und ein entsprechendes Verfahren zur Steuerung oder Regelung einer Maschine bereitzustellen, um bspw. die Kommunikation mit Schwerstbehinderten zu erleichtern oder neuartige Sicherheits- oder Computerspieleanwendungen zu realisieren.It is therefore an object of the present invention to provide a non-contact human machine interface and corresponding method for controlling a machine to facilitate, for example, communication with the severely disabled or implement novel security or computer game applications.

Die Aufgabe wird gemäss der Erfindung gelöst durch ein Verfahren zum Steuern oder Regeln einer Maschine mittels einer berührungslosen Mensch/Maschine-Schnittstelle, umfassend die Schritte:

  • a) Bereitstellen eines ersten Signalgebers, der mit mindestens einem ein Rauschsignal aufweisendes Bauteil ausgestattet ist (vorzugsweise ist dieses Bauteil ein Halbleiterbauelement, insbesondere eine Halbleiterdiode oder ein Transistor);
  • b) Bereitstellen eines Datensatzes von Befehlen zur Steuerung einer Maschine;
  • c) optional Erhebung von Kalibrierungsdaten durch
  • ca) Anordnung des ersten Signalgebers und eines Menschen in räumlicher Nähe;
  • cb) wiederholte Aufnahme des Rauschsignals des ersten Signalgebers in Abhängigkeit von einem dem Menschen vorgegebenen Gedanken, wobei der Gedanke ausgewählt ist aus den Elementen des Datensatz gemäss b); (Die wiederholte Aufnahme erfolgt vorzugsweise 30 bis 100×; dies hat sich am unteren Ende des Bereichs als für die Kalibrierung ausreichend sowie im oberen Bereich als für die Qualität der Kalibrierung besonders vorteilhaft erwiesen. Die wiederholte Aufnahme erfolgt zudem zu zufällig vorgegebenen Zeitpunkten, womit eine Konditionierung des Menschen und andere externe Störungen ausgeschlossen werden können.)
  • cc) Mittelung der gemäss cb) erhaltenen Rauschsignale für die einzelnen vorgegebenen Gedanken; (Vorzugsweise werden die analogen Rauschsignale vor der Mittelung (auch Averaging genannt) noch mit an sich bekannten Massnahmen verstärkt (bspw. mit einem Verstärkungsfaktor im Bereich von etwa 10 bis etwa 100), diskretisiert (bspw. mit 8 oder 16 Bit) und abgetastet (bspw. mit 1000 Hz, womit das Abstandstheorem der Signalabtastung erfüllt ist, da im Rahmen der Erfindung Hirnwellen bis max. 100 Hz detektiert werden).)
  • cd) ggf. mathematische Bearbeitung des/der gemäss cc) gemittelten Rauschsignals/Rauschsignale;
  • ce) Speicherung der gemäss cc) erhaltenen Rauschsignale und/oder der hiervon gemäss cd) abgeleiteten Daten, zugeordnet zu Elementen des Datensatzes;
  • cf) ggf. Wiederholung der Verfahrensschritte cb)–ce) und Speicherung einer Mehrzahl von gemäss cc) erhaltenen Rauschsignalen und/oder den hiervon gemäss cd) abgeleiteten Daten, zugeordnet zu Elementen des Datensatzes, so dass zu einem Element des Datensatzes jeweils eine Mehrzahl von Rauschsignalen oder davon abgeleiteten Daten gespeichert werden; (Die Wiederholung der Verfahrensschritte cb)–ce) kann typischerweise ca. 1–10× erfolgen, was sich für die Qualität der Kalibrierung als vorteilhaft erwiesen hat. Die Qualität der Kalibrierung steigt mit der Anzahl der Wiederholungen.)
  • d) Steuerung oder Regelung einer Maschine insbesondere unter Verwendung der gemäss c) erhobenen Kalibrierungsdaten durch
  • da) wiederholte Aufnahme des Rauschsignals des ersten Signalgebers in Abhängigkeit von einem dem Menschen nicht vorgegebenen (sondern von diesem zu einem bestimmten Zeitpunkt frei gewählten) Gedanken, ausgewählt aus den Elementen des Datensatz gemäss b); (Vorteilhaft wird eine Wiederholungshäufigkeit der Aufnahme des Rauschsignals gewählt, die der in Schritt cb) gewählten Häufigkeit im wesentlichen entspricht; hierdurch wird das Nutzsignal besonders gut aus dem Rauschsignal herausgehoben und mit den Signalen vergleichbar, die mit Schritt cb) erhalten wurden.)
  • db) Mittelung der gemäss da) erhaltenen Rauschsignale für die nicht vorgegebenen Gedanken; (Vorzugsweise werden die analogen Rauschsignale vor der Mittelung (auch Averaging genannt) noch mit an sich bekannten Massnahmen verstärkt (bspw. mit einem Verstärkungsfaktor im Bereich von etwa 10 bis etwa 100), diskretisiert (bspw. mit 8 oder 16 Bit) und abgetastet (bspw. mit 1000 Hz, womit das Abstandstheorem der Signalabtastung erfüllt ist, da im Rahmen der Erfindung Hirnwellen bis max. 100 Hz detektiert werden).)
  • dc) ggf. mathematische Bearbeitung des/der gemäss db) gemittelten Rauschsignals/Rauschsignale;
  • dd) Zuordnung des/der gemäss dc) erhaltenen Rauschsignals/Rauschsignale zu einem Gedanken des Datensatzes insbesondere aufgrund eines Vergleichs mit den gemäss c) erhobenen Kalibrierungsdaten und/oder vorgegebenen Referenzdaten. (Alternativ oder ggf. auch zusätzlich zu den Kalibrierungsdaten können Referenzdaten bereitgestellt werden, die bspw. aus vorherigen Kalibrierungen oder auch aus Datensammlungen von Erfahrungswerten, insbesondere anderen Kalibrierungen erhalten wurden. ES hat sich jedoch in bisherigen Versuchen gezeigt, dass insbesondere eine zeitnahe Kalibrierung mit Hilfe des Probanden selbst die besten Ergebnisse liefert.)
The object is achieved according to the invention by a method for controlling or regulating a machine by means of a contactless man / machine interface, comprising the steps:
  • a) providing a first signal transmitter, which is equipped with at least one component having a noise signal (preferably this component is a semiconductor component, in particular a semiconductor diode or a transistor);
  • b) providing a record of instructions for controlling a machine;
  • c) optional collection of calibration data by
  • ca) arrangement of the first signal transmitter and a human in spatial proximity;
  • cb) repeatedly recording the noise signal of the first signal generator as a function of a thought given to a human being, wherein the thought is selected from the elements of the data set according to b); (Repeat recording is preferably 30 to 100 ×, which has been found to be sufficient for calibration at the lower end of the range, and for the quality of the calibration at the top of the range Conditioning of humans and other external disturbances can be ruled out.)
  • cc) averaging the noise signals obtained according to cb) for the individual given thoughts; (Preferably, the analog noise signals before the averaging (also called averaging) are amplified (eg with a gain factor in the range from about 10 to about 100), discretized (for example with 8 or 16 bits) and sampled (for example with measures known per se). for example, with 1000 Hz, which satisfies the distance theorem of the signal sampling, since brain waves up to a maximum of 100 Hz are detected within the scope of the invention).)
  • cd) possibly mathematical processing of the / according to cc) averaged noise signal / noise signals;
  • ce) storage of the noise signals obtained according to cc) and / or the data derived therefrom according to cd), assigned to elements of the data set;
  • cf) if necessary repetition of the method steps cb) -ce) and storage of a plurality of noise signals obtained according to cc) and / or the data derived therefrom according to cd), assigned to elements of the data set, so that in each case a plurality of Noise signals or data derived therefrom are stored; (The repetition of steps cb) -ce) can typically be about 1-10 ×, which has proven to be advantageous for the quality of the calibration. The quality of the calibration increases with the number of repetitions.)
  • d) controlling or regulating a machine, in particular using the calibration data obtained in accordance with c)
  • there) repeated recording of the noise signal of the first signal transmitter in dependence on a person not predetermined (but of this at a certain time freely chosen) thoughts selected from the elements of the record according to b); (Advantageously, a repetition frequency of the recording of the noise signal is selected which essentially corresponds to the frequency selected in step cb); As a result, the useful signal is particularly well out of the noise signal and comparable to the signals obtained with step cb).)
  • db) averaging the noise signals obtained according to da) for the non-predefined thoughts; (Preferably, the analog noise signals before the averaging (also called averaging) are amplified (eg with a gain factor in the range of about 10 to about 100), discretized (for example with 8 or 16 bits) and sampled (for example with measures known per se). for example, with 1000 Hz, which satisfies the distance theorem of the signal sampling, since brain waves up to a maximum of 100 Hz are detected within the scope of the invention).)
  • dc) if necessary, mathematical processing of the / according to db) averaged noise signal / noise signals;
  • dd) assignment of the noise signal (s) obtained in accordance with dc) to a thought of the data set, in particular on the basis of a comparison with the calibration data obtained according to c) and / or predetermined reference data. (Alternatively or possibly in addition to the calibration data, reference data can be provided, for example, obtained from previous calibrations or from data collections of empirical values, in particular other calibrations.) However, in previous experiments it has been shown that, in particular, a timely calibration with the help of the subject himself gives the best results.)

In besonders bevorzugten Ausführungsformen ist das Rauschsignal des Signalgebers ein Schrotrauschen oder ein Lawinenrauschen.In particularly preferred embodiments, the noise signal of the signal generator is shot noise or avalanche noise.

Schrotrauschen ist die Form des Rauschens, die dann auftritt, wenn ein elektrischer Strom eine Potentialbarriere überwinden muss. Dieses Schrotrauschen wird meist als Rauschstromquadrat dargestellt gemäss I 2 / R = 2·e·I·Δf (I 2 / R , gemitteltes Rauschstromquadrat; e, Elementarladung; I, fliessender Strom; Δf, Bandbreite der Messung). Typische Beispiele für das Auftreten von Schrotrauschen sind insbesondere Sperrströme bei Dioden und Transistoren; Photostrom und Dunkelstrom bei Photodioden und Vakuum-Photozellen; Anodenstrom von Hochvakuum-Röhren.Shot noise is the form of noise that occurs when an electric current has to overcome a potential barrier. This shot noise is usually represented as a noise current square according to I 2 / R = 2 · e · I · Δf (I 2 / R , averaged noise current square; e, elementary charge; I, flowing electricity; Δf, bandwidth of the measurement). Typical examples of the occurrence of shot noise are in particular reverse currents in diodes and transistors; Photocurrent and dark current in photodiodes and vacuum photocells; Anode current of high vacuum tubes.

Lawinenrauschen tritt bspw. in Z-Dioden bei oberhalb ihrer Sperrspannung betriebenen pn-Übergängen, oder auch in Gasentladungsröhren oder Avalanche-Transistoren auf.Avalanche noise occurs, for example, in zener diodes at pn junctions operated above their blocking voltage, or else in gas discharge tubes or avalanche transistors.

Besonders bevorzugt ist im Rahmen der Erfindung die Verwendung des Schrotrauschens von Z-Dioden als Rauschsignal des Signalgebers.Particularly preferred within the scope of the invention is the use of the shot noise of Z-diodes as a noise signal of the signal generator.

Vorzugsweise enthält der in Schritt b) bereitgestellte Datensatz von Befehlen zur Steuerung einer Maschine Elemente ausgewählt aus der Gruppe bestehend aus „ja”, „nein”, „links”, „rechts”, „oben, „hoch”, „unten”, „runter”, „vorne”, „vorwärts”, „hinten”, „rückwärts”. Ganz besonders bevorzugt besteht der Datensatz aus Paaren, insbesondere gegensätzlichen Paaren solcher Elemente; insbesondere „links”/„rechts”; „oben”/„unten”; „hoch”/„runter”; „vorne”/„hinten”; „vorwärts”/„rückwärts”; „ja”/„nein”.Preferably, the set of instructions for controlling a machine provided in step b) includes elements selected from the group consisting of "yes," "no," "left," "right," "top," "high," "bottom," down, forward, forward, back, backward. Most preferably, the data set consists of pairs, in particular opposing pairs of such elements; in particular "left" / "right"; "up down"; "up down"; "front back"; "forward backward"; "Yes No".

In bevorzugten Ausführungsformen der Erfindung werden der Signalgeber und der Mensch in Schritt ca) in einem Abstand von > 1 cm, vorzugsweise von > 50 cm, besonders bevorzugt von > 1 m angeordnet. Insbesondere mit den grösseren Abständen kann eine besonders komfortable Mensch/Maschine-Schnittstelle realisiert werden.In preferred embodiments of the invention, the signal generator and the human in step ca) are at a distance of> 1 cm, preferably of> 50 cm, particularly preferably of> 1 m arranged. Especially with the larger distances, a particularly comfortable human / machine interface can be realized.

In weiteren besonders bevorzugten Ausführungsformen erfolgt die Aufnahme des Rauschsignals des ersten Signalgebers in Abhängigkeit von einem dem Menschen vorgegebenen Gedanken in Schritt cb) über einen vordefinierten Zeitraum nach der Vorgabe des Gedanken, insbesondere über den Zeitraum von 0 bis 1 s, vorzugsweise über den Zeitraum von 0 bis 500 ms nach der Vorgabe des Gedankens. Hierdurch kann gewährleistet werden, dass das aufgenommene Signal jeweils das durch den Gedanken hervorgerufene Signal enthält. Eine fallweise geeignete Anpassung des geeigneten Zeitintervalls kann vom Fachmann leicht ermittelt werden. In der Regel hat sich der Zeitraum von 0 bis 500 ms nach der Vorgabe des Gedankens als günstig erwiesen. Dies hat sich zur Herausfilterung der gewünschten Informationen aus folgenden Gründen als vorteilhaft erwiesen: Die empfangenen EEG-Signale sind erstens sehr schwach (sie fallen mit dem Quadrat des Abstands der Entfernung zwischen dem Empfänger (dem Signalgeber) und dem Gehirn ab) und liegen zweitens in Wellenlängenbereichen, in denen auch Störsignale aus der Umgebung vorhanden sind; der Signal/Rauschabstand liegt bei etwa 1:1000 oder kleiner. Eine wesentliche Herausforderung der Erfindung ist daher die Filterung der für die Steuerung oder Regelung der Maschine erforderlichen Nutzsignale. Dies gelingt erfindungsgemäss durch die Detektion des Signals während der Kalibrierung zu geeignet gewählten Zeitintervallen, nachdem dem Menschen ein Gedanke vorgegeben worden ist. Das kann beispielsweise durch das Ziehen einer Karte erfolgen, auf welcher „links” oder „rechts” geschrieben steht. Wenn die Detektion des Signals zu diesen zufälligen, aber (in dem Beispiel durch das Ziehen) definierten Zeitpunkten erfolgt, so mitteln sich durch das oben dargelegte Prinzip der Kalibrierung zu zufälligen Zeitpunkten, wie vorstehend beschrieben, alle externen Störsignale sowie auch andere Hirnsignale, auch von in der Nähe befindlichen Personen, zu Null. Die Signale, die aufgezeichnet werden, nachdem dem Menschen ein Gedanke vorgegeben wurde, enthalten jedoch auch die für diese Reize charakteristischen Signale; diese bleiben bei der Mittelung der Signale, wie vorstehend beschrieben, zurück, da diese gerade nicht zufällig sind, sondern durch die Vorgabe eines Gedankens zu einem definierten Zeitpunkt initiiert wurden und deterministisch sind; diese Signale mitteln sich nicht zu Null. Es wird so auf verblüffend einfache Art und Weise ein charakteristisches Signal erhalten bspw. für „rechts” oder „links”.In further particularly preferred embodiments, the recording of the noise signal of the first signal transmitter in response to a human thought in step cb) over a predefined period after the specification of the thought, in particular over the period of 0 to 1 s, preferably over the period of 0 to 500 ms after the specification of the thought. In this way it can be ensured that the recorded signal in each case contains the signal caused by the thought. A case by case suitable adaptation of the appropriate time interval can be easily determined by the expert. In general, the period of 0 to 500 ms has proven to be favorable after the specification of the idea. This has proven advantageous for filtering out the desired information for the following reasons: first, the received EEG signals are very weak (they drop off with the square of the distance of the distance between the receiver (the transducer) and the brain) and are secondarily in Wavelength ranges in which interfering signals from the environment are present; the signal-to-noise ratio is about 1: 1000 or less. An essential challenge of the invention is therefore the filtering of the useful signals required for the control or regulation of the machine. According to the invention, this is achieved by the detection of the signal during calibration at suitably selected time intervals after a thought has been given to humans. This can be done, for example, by dragging a card with "left" or "right" written on it. When the detection of the signal occurs at these random but (in the example by dragging) time points defined, the above-described principle of calibration at random times, as described above, will average all external interference signals as well as other brain signals nearby people, to zero. However, the signals recorded after a thought has been given to man also contain the signals characteristic of these stimuli; these remain behind in the averaging of the signals, as described above, since these are not accidental, but were initiated by the specification of a thought at a defined time and are deterministic; these signals do not average to zero. It is thus obtained in a surprisingly simple manner, a characteristic signal, for example, for "right" or "left".

Es hat sich herausgestellt, dass die Kalibrierungsdaten verschiedener Probanden sehr häufig nicht gleich sind, da jeder Proband zwar ein charakteristisches Signal bei den fraglichen Gedanken aus dem Datensatz b) erzeugt (welche Gehirnschichten dafür verantwortlich sind, ist für die vorliegende Erfindung unerheblich, da sich die Signale anderer Probanden auch beim gleichen Reiz unterscheiden; durch die oben beschriebene Art und Weise der Kalibrierung kommt es aber nicht darauf an, die charakteristische Signalantwort des Gehirns der Menschen im allgemeinen bei gewissen Gedanken zu ermitteln (was in medizinischen Anwendungen des klassischen Averaging angestrebt wird), sondern es wird das individuelle Signal eines Anwenders durch Kalibrierung ermittelt und in weiteren Anwendungen genutzt, um im Vergleich mit den vorher kalibrierten Signalen Steuerungen und Regelungen an Maschinen durchzuführen.It has been found that the calibration data of different subjects are very often not the same, since each subject produces a characteristic signal in the thoughts in question from the record b) (which brain layers are responsible, is irrelevant to the present invention, as the Signals from other subjects also differ in the same stimulus, but the above-described manner of calibration is not about determining the characteristic signal response of the human brain in general for certain thoughts (which is sought in medical applications of classical averaging). but the individual signal of a user is determined by calibration and used in other applications to perform controls and controls on machines in comparison with the previously calibrated signals.

Weiterhin bevorzugt umfasst die mathematische Bearbeitung des in Schritt cc) erhaltenen, gemittelten Rauschsignals die Darstellung des erhaltenen Kurvenzugs als multidimensionaler Vektor. Im Falle eines gewählten Zeitintervalls von 500 ms nach der Vorgabe des Gedankens und bei einer Abtastung von 1000 Hz kann das gemittelte Rauschsignal des ersten Signalgebers bspw. in einen 500-dimensionalen Vektor überführt werden (eine Dimension je Millisekunde; auch andere Abstufungen sind selbstverständlich möglich). Die Überführung in einen Vektor vereinfacht die mathematische Verarbeitung des (zeitlichen) Kurvenzugs in der nachfolgenden Analyse.Further preferably, the mathematical processing of the averaged noise signal obtained in step cc) comprises the representation of the resulting curve as a multidimensional vector. In the case of a selected time interval of 500 ms after the specification of the thought and with a sampling of 1000 Hz, the averaged noise signal of the first signal generator can, for example, be converted into a 500-dimensional vector (one dimension per millisecond, other gradations are of course possible) , The conversion into a vector simplifies the mathematical processing of the (temporal) curve in the subsequent analysis.

Im einfachsten Falle könnte man erwarten, dass das nach dem Mitteln übrig gebliebene Referenzsignal für einen Referenzgedanken über alle Probanden oder zumindest für jeden einzelnen Probanden immer gleich ist, so dass in der Anwendungsphase das unbekannte gemittelte Signal nur noch mit dem gespeicherten Signal verglichen werden muss. Die Anwendungen zeigen jedoch, dass die Referenzsignale auch eines Probanden schwanken, so dass es sich als besonders vorteilhaft erwiesen hat, mehrere Referenzsignale für den gleichen Gedanken zu ermitteln und nachfolgend heranzuziehen (vergl. Verfahrensschritt cf)). Besonders bevorzugt werden diese Referenzsignale (typischerweise Kurvenzüge) durch mathematische Bearbeitung in Referenzvektoren umgewandelt, wie vorstehend beschrieben. Als ausreichend haben sich 10 Referenzsignale bzw. Referenzvektoren für jeden Referenzgedanken herausgestellt. Damit sind für jeden Referenzgedanken jeweils 10 Referenzvektoren hinterlegt; nach o. g. Beispiel 10 500-dimensionale Referenzvektoren z. B. für „links” und 10 500-dimensionale Referenzvektoren z. B. für „rechts”.In the simplest case, one might expect that the reference signal left over after the means for a reference thought is always the same across all subjects or at least for each individual subject, so that in the application phase the unknown averaged signal only has to be compared with the stored signal. However, the applications show that the reference signals also fluctuate for a test person, so that it has proved to be particularly advantageous to determine a plurality of reference signals for the same thought and to subsequently use them (cf. method step cf)). Particularly preferably, these reference signals (typically curves) are converted by mathematical processing into reference vectors, as described above. As sufficient 10 reference signals or reference vectors have been found for each reference thought. In each case, 10 reference vectors are stored for each reference thought; after o. g. Example 10 500-dimensional Reference Vectors e.g. B. for "left" and 10 500-dimensional reference vectors z. Eg for "right".

In der Anwendungsphase (vergl. da) bis dd)), wenn der Gedanke des Probanden ermittelt werden soll, wird durch das Mitteln über einen Zeitraum von z. B. 30 × 500 Millisekunden ein neuer Vergleichsvektor erstellt (wie vorstehend anhand eines Referenzvektors beschrieben). Dieser wird dann mit den gespeicherten Referenzvektoren verglichen; vergl. dd). Dies kann auf verschiedene, dem Fachmann an sich geläufige Art und Weise erfolgen; einfache geeignete Möglichkeiten des Vergleichs sind bspw.:

  • – der euklidische Abstand des Vergleichsvektors zu allen gespeicherten Referenzvektoren (der Vergleichsvektor wird dann der Klasse zugeteilt, die derjenigen des Referenzvektors mit dem geringsten euklidischen Abstand entspricht); oder
  • – das Skalarprodukt des Vergleichsvektors mit allen Referenzvektoren (der Vergleichsvektor wird dann der Klasse zugeteilt, die derjenigen des Referenzvektors entspricht, mit dem der Vergleichsvektor das grösste Skalarprodukt bildet).
In the application phase (see da) to dd)), if the thought of the subject is to be determined by the means over a period of z. B. 30 × 500 milliseconds created a new comparison vector (as above using a Reference vector described). This is then compared with the stored reference vectors; compare dd). This can be done in various ways known to those skilled in the art; simple suitable options of comparison are, for example:
  • The Euclidean distance of the comparison vector to all stored reference vectors (the comparison vector is then assigned to the class corresponding to that of the reference vector with the lowest Euclidean distance); or
  • The scalar product of the comparison vector with all the reference vectors (the comparison vector is then assigned to the class corresponding to that of the reference vector with which the comparison vector forms the largest scalar product).

Nach Durchführung eines solchen Vergleichs wird der Vergleichsvektor derjenigen Klasse zugeordnet, zu der der Vektor mit dem geringsten euklidischen Abstand gehört (bspw. einem der 10 Referenzvektoren für die Klasse „links”).After making such a comparison, the comparison vector is assigned to the class to which the least-Euclidean distance vector belongs (for example, one of the 10 reference vectors for the "left" class).

In weiteren Ausführungsbeispielen können in Abweichung von den vorstehend beschriebenen Möglichkeiten des Vergleichs bspw. die 3, 5 oder 7 (usw.) Referenzvektoren ermittelt werden, die dem Vergleichsvektor im Vektorraum am nächsten sind; das Mass „am nächsten” kann dabei wiederum durch eine geeignete Metrik (bspw. wieder dem euklidischen Abstand) gebildet werden. Hierbei wird vorzugsweise eine ungerade Zahl benachbarter Referenzvektoren analysiert, sodass eine klare Zuordnung zu einer Klasse derart erfolgen kann, dass die blosse Anzahl nächstliegender Referenzvektoren über die Zuordnung entscheidet. Selbstverständlich ist bei einer Betrachtung mehrerer Referenzvektoren aber auch eine Berücksichtigung sowohl der Anzahl benachbarter Referenzvektoren einer Klasse als auch deren jeweiliger Abstand zum Vergleichsvektor berücksichtigbar. Hierbei kann mit Routineversuchen ggf. auch eine geeignete Gewichtung der beiden Parameter ermittelt werden.In further embodiments, in deviation from the possibilities of comparison described above, for example, 3, 5 or 7 (etc.) reference vectors can be determined, which are closest to the comparison vector in the vector space; The measure "nearest" can in turn be formed by a suitable metric (for example, again the Euclidean distance). In this case, an odd number of adjacent reference vectors is preferably analyzed so that a clear assignment to a class can be made such that the mere number of nearest reference vectors decides on the assignment. Of course, consideration of both the number of adjacent reference vectors of a class as well as their respective distance from the comparison vector can be taken into account when considering a plurality of reference vectors. If necessary, a suitable weighting of the two parameters can also be determined with routine tests.

Die vorstehend beschriebenen Verfahren sind deshalb vorteilhaft, weil damit aufgrund der Transformation der Kurvenzüge in Vektoren beliebig komplexe Klassengrenzen modelliert werden können, da die Vektoren der verschiedenen Klassen nicht wohlgeordnet im Raum verteilt sein müssen, sondern beliebig komplex ineinander verschachtelt im Vektorraum angeordnet sein können. Egal wie komplex die Trennfläche von bspw. zwei Klassen ausgestaltet ist, es gibt immer einen Referenzvektor, der dem Vergleichsvektor am nächsten liegt. Dadurch lässt sich auf einfache Art und Weise eine ausreichende Genauigkeit der Ermittlung des Gedankens des Probanden erreichen. Genügt die Genauigkeit der Zuordnung im Einzelfall nicht, so kann die Trenngenauigkeit der Klassen und damit die Genauigkeit der Zuordnung erhöht werden bspw. durch Erhöhung der Anzahl der Mittelungen (bspw. von 30 auf 40 oder auch 100, s. o.); durch Erhöhung der Anzahl der Referenzvektoren (bspw. von 10 auf 20 je Klasse; s. o.); durch Veränderung der Zuordnungs-Metrik (bspw. statt des quadratischen Abstands (euklidisch) können Abstandsmasse der vierten, sechsten oder achten Potenz verwendet werden). Alle diese Möglichkeiten haben zwar einen erhöhten Rechenaufwand zur Folge, sind aber ansonsten durch den Fachmann mit Routinemassnahmen zu implementieren.The above-described methods are advantageous because, because of the transformation of the curves into vectors, arbitrarily complex class boundaries can be modeled since the vectors of the different classes need not be well-distributed in space, but can be arranged arbitrarily complex in one another in the vector space. No matter how complex the separation surface of, for example, two classes is designed, there is always a reference vector that is closest to the comparison vector. This makes it possible to achieve in a simple manner a sufficient accuracy of the determination of the subject's thought. If the accuracy of the assignment does not suffice in individual cases, then the separation precision of the classes and thus the accuracy of the assignment can be increased, for example by increasing the number of averages (for example from 30 to 40 or even 100, see above). by increasing the number of reference vectors (for example from 10 to 20 per class, see above); by changing the assignment metric (eg, instead of the quadratic distance (Euclidean) distance measures of the fourth, sixth or eighth power can be used). Although all these options result in increased computational effort, they are otherwise to be implemented by the person skilled in the art with routine measures.

Eine derartige Nutzbarkeit der Mittelung („Averaging”) war nicht zu erwarten; während in der Medizin eine vom Probanden nicht aktiv beeinflussbare Reaktion des Hirns (Verschiebung eines Peaks aufgrund einer krankhaften Veränderung des Hirns) detektiert wird, ist die vorliegende Erfindung mit Veränderungen der Signale des Hirns aufgrund eines ausschliesslich vom Probanden beeinflussbaren bzw. bewusst erzeugten Signal befasst (Gedanken). Auch hätte der Fachmann allenfalls aufgrund der bekannten medizinischen Anwendung des Averaging noch Referenzkurvenzüge bzw die Verschiebung von Charakteristika von Referenzkurvenzügen überhaupt in Betracht gezogen. Auf eine solche Art und Weise ist eine Abgrenzung von Elementen des Datensatzes für die vorliegende Anwendung nicht möglich.Such usability of averaging was not expected; While in the medical field a reaction of the brain (displacement of a peak due to a pathological change of the brain) is not actively influenced by the subject, the present invention is concerned with changes of the signals of the brain due to a signal that can be influenced or deliberately generated by the test subject only ( Thoughts). Also, the skilled person would at best have considered reference curves or the shift of characteristics of reference curves due to the known medical application of averaging. In such a way a delimitation of elements of the record for the present application is not possible.

Ein weiterer Aspekt der Erfindung betrifft eine berührungslose Mensch/Maschine-Schnittstelle, insbesondere zur Durchführung des vorstehend beschriebenen Verfahrens, wobei die Mensch/Maschine-Schnittstelle umfasst:

  • • wenigstens einen ersten Signalgeber, der mit mindestens einem ein Rauschsignal aufweisendes Bauteil ausgestattet ist;
  • • wenigstens eine Kalibrierungs- und Auswertungseinheit, umfassend
  • – wenigstens einen zweiten Signalgeber, der ein optisches, akustisches oder haptisches Signal liefert, das vom Menschen wahrgenommen werden kann;
  • – wenigstens eine EDV-Anlage für die
  • • Erhebung, Bearbeitung und Speicherung von Signalen des ersten Signalgebers;
  • • Steuerung oder Regelung einer Maschine auf der Basis von Signalen des ersten Signalgebers.
A further aspect of the invention relates to a contactless human-machine interface, in particular for carrying out the method described above, wherein the human-machine interface comprises:
  • At least one first signal transmitter equipped with at least one component having a noise signal;
  • • at least one calibration and evaluation unit, comprising
  • - at least one second signal generator which provides an optical, acoustic or haptic signal that can be perceived by humans;
  • - at least one computer system for the
  • • collection, processing and storage of signals from the first signal generator;
  • • Control or regulation of a machine on the basis of signals from the first signal generator.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Figuren erläutert, ohne dass der Gegenstand der Erfindung auf diese Ausführungsformen zu beschränken wäre. Es zeigen:The invention is explained below with reference to embodiments and figures, without the subject of the invention would be limited to these embodiments. Show it:

1: Blockschaltbild eines ersten Signalgebers; 1 : Block diagram of a first signal generator;

2: Stromlaufplan eines ersten Signalgebers; 2 : Circuit diagram of a first signal generator;

3: Exemplarisches Rauschsignal (Oszilloskop-Plot, Rohdaten), erhalten in 10 cm Abstand vom Kopf des Probanden, während eines zufälligen Gedanken

  • a: „rechts” (Einzelmessung);
  • b: „links” (Einzelmessung);
  • c: „rechts” (nach Mittelung);
  • d: „links” (nach Mittelung).
3 : Exemplary noise signal (oscilloscope plot, raw data), obtained at 10 cm distance from the subject's head, during a random thought
  • a: "right" (single measurement);
  • b: "left" (single measurement);
  • c: "right" (after averaging);
  • d: "left" (after averaging).

Das Blockschaltbild in 1 zeigt einen erfindungsgemässen ersten Signalgeber, bei welchem von einem Avalanche-Transistor auf eine Z-Diode umschaltbar ist. Es sind jeweils zwei derartige Rauschquellen mit einem Differenzverstärker wirkverbunden, so dass sich ein aus zwei Avalanche-Transistoren oder zwei Z-Dioden ergebendes Rauschsignal PRG1 bzw. PRG2 ergibt.The block diagram in 1 shows a first inventive signal generator in which is switched from an avalanche transistor to a Zener diode. In each case, two such noise sources are operatively connected to a differential amplifier, resulting in a noise signal PRG1 or PRG2 resulting from two avalanche transistors or two Zener diodes.

In 2 ist ein Stromlaufplan des ersten Signalgebers gemäss 1 gezeigt. An der Stelle A des Stromlaufplans beträgt die Signalstärke des Rauschsignals ca 200 mV; an der Stelle B beträgt die Signalstärke des Ausgangssignals, das an eine Auswerteeinheit geleitet wird, ca 2 V.In 2 is a circuit diagram of the first signal generator according 1 shown. At the point A of the circuit diagram, the signal strength of the noise signal is approximately 200 mV; at the point B, the signal strength of the output signal, which is passed to an evaluation unit, about 2 V.

In 3 ist jeweils ein Referenzkurvenzug RKnL für „links” und RKnR für „rechts” gezeigt, wie sie typischerweise nach 24 Mittelungen einzelner Kurvenzüge KmL bzw. KmR erhalten werden (mit m = 1 bis 24, bei 24 Mittelungen). Es werden vorteilhaft jeweils 10 oder mehr Referenzkurvenzüge erfasst; n = 1 bis 10 (oder mehr). Diese Referenzkurvenzüge RKnL und RKnR werden jeweils in einen Referenzvektor RVnL bzw. RVnR umgewandelt. In dem gezeigten Ausführungsbeispiel wurde je Millisekunde ein Messwert aufgenommen, über einen Zeitraum von 400 ms; hieraus ergibt sich bei der Umwandlung in einen Vektor ein 400-dimensionaler Vektor, wie vorstehend beschrieben. Eine erhöhte Genauigkeit ergibt sich, falls gewünscht, bei Verringerung des Intervalls auf unter 1 ms auf bspw. 1 ms. In dem gezeigten Ausführungsbeispiel wurde das Rauschsignal mit 8 bit diskretisiert (Abszisse).In 3 In each case a reference curve RK n L for "left" and RK n R for "right" are shown, as typically obtained after 24 averages of individual curves K m L and K m R (with m = 1 to 24, with 24 averages ). In each case, 10 or more reference curves are advantageously detected; n = 1 to 10 (or more). These reference curves RKnL and RKnR are each converted into a reference vector RVnL or RVnR. In the exemplary embodiment shown, one measured value was recorded per millisecond, over a period of 400 ms; this results in the conversion into a vector, a 400-dimensional vector, as described above. Increased accuracy, if desired, results in reducing the interval to less than 1 ms to, for example, 1 ms. In the embodiment shown, the noise signal was discretized with 8 bits (abscissa).

Gemäss der Erfindung wurden bei einem Testlauf mit 60 Probanden (28 männlich, 32 weiblich; alle zwischen 18–40 Jahre alt) folgende Ergebnisse erhalten:
Für den Testlauf wurden zwei verschiedene, vollständig separierte Computersysteme bereitgestellt: Ein Computersystem für die Vorgabe der Gedanken an die Probanden und ein weiteres Computersystem für die Detektion. In der Kalibrierungsphase erzeugt das Vorgabesystem zeitgleich ein akustisches und visuelles Signal für „links” oder „rechts”. Das heisst, im Falle von „links” bewegt sich beispielsweise ein Pfeil nach links oder es erscheint im linken Feld eines Bildschirms ein Pfeil; gleichzeitig mit diesem Erscheinen des optischen Signals ertönt ein akustisches Signal. In einem Zeitfenster von 500 ms nach dem akustischen (und gleichzeitig visuellen) Signal werden die EEG-Signale des Probanden von dem separierten Aufnahmesystem detektiert. Das ganze wurde jeweils 3× repliziert für jede Aufforderung „links” und „rechts”, und zwar immer zu dem mit dem akustischen und visuellen Signal vorgegebenen Zeitpunkt. Mittels Averaging dieser drei Signale werden, wie vorstehend beschrieben, Referenzvektoren für rechts und links erzeugt. Dies wurde jeweils zehn Mal wiederholt, so dass letztendlich jeweils zehn Referenzvektoren für rechts und links erhalten wurden, wie vorstehend beschrieben. In der Kalibrierungsphase ist auch im Aufnahmesystem als Information hinterlegt, welche Signale in welcher Reihenfolge von dem Vorgabesystem ausgegeben werden; dies ist notwendig, um die Zuordnung der Messdaten zu den Gedanken des Probanden als Kalibrationsdaten zu ermöglichen.
According to the invention, in a test run with 60 subjects (28 male, 32 female, all between 18-40 years old) the following results were obtained:
Two separate, completely separate computer systems were provided for the test run: one computer system for specifying the thoughts of the subjects and another computer system for the detection. During the calibration phase, the preselection system simultaneously generates an audible and visual signal for "left" or "right". This means that in the case of "left", for example, an arrow moves to the left or an arrow appears in the left field of a screen; simultaneously with this appearance of the optical signal sounds an acoustic signal. In a time window of 500 ms after the acoustic (and simultaneously visual) signal, the EEG signals of the subject are detected by the separated recording system. The whole was replicated 3 times for each request "left" and "right", always at the time specified by the acoustic and visual signal. By averaging these three signals, as described above, right and left reference vectors are generated. This was repeated ten times each so that ultimately ten reference vectors each were obtained for right and left, as described above. In the calibration phase is also stored in the recording system as information which signals are output in which order from the default system; this is necessary to allow the assignment of the measurement data to the subject's thoughts as calibration data.

In der Anwendungsphase sind, im Gegensatz zur Kalibrierungsphase, im Aufnahmesystem keinerlei Information darüber hinterlegt, welche Signale in welcher Reihenfolge von dem Vorgabesystem ausgegeben werden. Es erscheint auf dem Vorgabesystem wiederum jeweils 3× die Kombination des akustischen und optischen Signals. Nach Erscheinen bspw. der Pfeile werden wiederum binnen 500 ms jeweils die Signale des Probanden von dem Aufnahmesystem erfasst; mittels Averaging wird aus diesen drei Signalen, analog wie bei der Kalibrierung, ein neuer Vergleichsvektor erstellt, wie vorstehend beschrieben. Dieser wurde dann mit den gespeicherten Referenzvektoren verglichen. Aufgrund des Vergleichs mit den Referenzvektoren wurde dann (aufgrund des geringsten Abstands zum Referenzvektor im euklidischen Raum ermittelt, ob der Proband links oder rechts gedacht hat. Hinterher wurde ausgewertet, in wie vielen Fällen das System den Gedanken des Probanden richtig ermittelt hat.In the application phase, in contrast to the calibration phase, no information is stored in the recording system as to which signals are output in which order by the default system. Again, on the default system, the combination of the acoustic and optical signals appears 3 × each time. After the appearance, for example, of the arrows, the signals of the test person are in turn detected by the recording system within 500 ms; By means of averaging, a new comparison vector is created from these three signals, analogously to the calibration, as described above. This was then compared with the stored reference vectors. Based on the comparison with the reference vectors, it was then determined (because of the shortest distance to the reference vector in Euclidean space whether the subject thought left or right.) In this case, it was evaluated in how many cases the system correctly identified the subject's thoughts.

Dabei ist ein Erwartungswert von 50% richtiger Klassifikation durch blosses Raten zu erwarten. Als Schwellwert wurde daher eine Probanden-Messung dann als erfolgreich definiert, wenn die Gedanken des Probanden zu 60% richtig und nur zu 40% ausgewertet wurden, da sich in diesem Fall bereits technisch interessante Applikationen realisieren lassen. Die Auswertung ergab, dass bei 14 von 60 Probanden unter den oben genannten Bedingungen eine richtige Klassifikation in ≥ 60% erreicht wurde. Das Ergebnis über alle Probanden ist statistisch hoch-signifikant, der p-Wert beträgt 0.004. Damit erfüllt das System bereits industrielle und wissenschaftliche Anforderungen, da Verfahren mit einem p-Wert < 0.05 (5%) als statistisch signifikant anzusehen sind und damit eingesetzt werden.An expected value of 50% of correct classification is to be expected by mere guessing. Therefore, a test subject measurement was defined as successful as a threshold value if the subjects' thoughts were evaluated 60% correctly and only 40%, as in this case already technically interesting applications can be realized. The evaluation showed that in 14 of 60 subjects under the above conditions a correct classification in ≥ 60% was achieved. The result over all subjects is statistically highly significant, the p-value is 0.004. Thus, the system already meets industrial and scientific requirements, since processes with a p-value <0.05 (5%) are to be regarded as statistically significant and thus used.

Die Ergebnisse zeigen weiterhin, dass manche Probanden noch sehr viel besser mit dem erfindungsgemässen Verfahren ausgemessen werden können, als oben dargelegt. So wurden in diversen, anderen Experimenten Probanden ermittelt, deren Gedanken mit viel höherer Genauigkeit ermittelt werden konnten. Der p-Wert dieser Probanden aus einem einseitigen Binomialtest war 0.00015 (und ist damit extrem signifikant), so dass diese selbst nach einer vom Fachmann durchgeführten Bonferroni-Korrektur über die Anzahl aller p-Werte als äusserst geeignet für die Methode gemäss der vorliegenden Erfindung gelten.The results further show that some subjects are even better measured with the inventive method can, as stated above. Thus, in various other experiments subjects were identified, whose thoughts could be determined with much higher accuracy. The p-value of these subjects from a one-sided binomial test was 0.00015 (and is thus extremely significant), so that they are considered to be extremely suitable for the method according to the present invention even after a Bonferroni correction made by the skilled person over the number of all p-values ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

  • Ralf Otte, „Untersuchung von Artefakten bei der Messung von akustisch evozierten Hirnstammpotentialen”, Diplomarbeit, S. 15 ff, TU Berlin, Institut für Regelungstechnik und Systemdynamik in Kooperation mit der TU Chemnitz, Institut für Informationstechnik [0003] Ralf Otte, "Examination of Artifacts in the Measurement of Auditory Brainstem Potentials", diploma thesis, p. 15 ff, TU Berlin, Institute of Control Engineering and Systems Dynamics in cooperation with the TU Chemnitz, Institute of Information Technology [0003]
  • U. Kischka, C. Wallesch, G. Wolf, „Methoden der Gehirnforschung”, Spektrum Akademischer Verlag, 1997, S. 171 ff. [0003] U. Kischka, C. Wallesch, G. Wolf, "Methods of Brain Research", Spektrum Akademischer Verlag, 1997, p. 171 et seq. [0003]

Claims (10)

Verfahren zum Steuern oder Regeln einer Maschine mittels einer berührungslosen Mensch/Maschine-Schnittstelle, umfassend die Schritte: a) Bereitstellen eines ersten Signalgebers, der mit mindestens einem ein Rauschsignal aufweisendes Bauteil ausgestattet ist; b) Bereitstellen eines Datensatzes von Befehlen zur Steuerung einer Maschine; c) optional Erhebung von Kalibrierungsdaten durch ca) Anordnung des ersten Signalgebers und eines Menschen in räumlicher Nähe; cb) wiederholte Aufnahme des Rauschsignals des ersten Signalgebers in Abhängigkeit von einem dem Menschen vorgegebenen Gedanken, wobei der Gedanke ausgewählt ist aus den Elementen des Datensatz gemäss b); cc) Mittelung der gemäss cb) erhaltenen Rauschsignale für die einzelnen vorgegebenen Gedanken; cd) ggf. mathematische Bearbeitung des/der gemäss cc) gemittelten Rauschsignals/Rauschsignale; ce) Speicherung der gemäss cc) erhaltenen Rauschsignale und/oder der hiervon gemäss cd) abgeleiteten Daten, zugeordnet zu Elementen des Datensatzes; cf) ggf. Wiederholung der Verfahrensschritte cb)–ce) und Speicherung einer Mehrzahl von gemäss cc) erhaltenen Rauschsignalen und/oder den hiervon gemäss cd) abgeleiteten Daten, zugeordnet zu Elementen des Datensatzes, so dass zu einem Element des Datensatzes jeweils eine Mehrzahl von Rauschsignalen oder davon abgeleiteten Daten gespeichert werden; d) Steuerung oder Regelung einer Maschine insbesondere unter Verwendung der gemäss c) erhobenen Kalibrierungsdaten durch da) wiederholte Aufnahme des Rauschsignals des ersten Signalgebers in Abhängigkeit von einem dem Menschen nicht vorgegebenen (sondern von diesem frei gewählten) Gedanken, ausgewählt aus den Elementen des Datensatz gemäss b); db) Mittelung der gemäss da) erhaltenen Rauschsignale für die nicht vorgegebenen Gedanken; dc) ggf. mathematische Bearbeitung des/der gemäss db) gemittelten Rauschsignals/Rauschsignale; dd) Zuordnung des/der gemäss dc) erhaltenen Rauschsignals/Rauschsignale zu einem Gedanken des Datensatzes insbesondere aufgrund eines Vergleichs mit den gemäss c) erhobenen Kalibrierungsdaten und/oder vorgegebenen Referenzdaten.A method of controlling or controlling a machine by means of a non-contact human machine interface comprising the steps of: a) providing a first signal transmitter, which is equipped with at least one component having a noise signal; b) providing a record of instructions for controlling a machine; c) optional collection of calibration data by ca) arrangement of the first signal transmitter and a human in spatial proximity; cb) repeatedly recording the noise signal of the first signal generator as a function of a thought given to a human being, wherein the thought is selected from the elements of the data set according to b); cc) averaging the noise signals obtained according to cb) for the individual given thoughts; cd) possibly mathematical processing of the / according to cc) averaged noise signal / noise signals; ce) storage of the noise signals obtained according to cc) and / or the data derived therefrom according to cd), assigned to elements of the data set; cf) if necessary repetition of the method steps cb) -ce) and storage of a plurality of noise signals obtained according to cc) and / or the data derived therefrom according to cd), assigned to elements of the data set, so that in each case a plurality of Noise signals or data derived therefrom are stored; d) controlling or regulating a machine, in particular using the calibration data obtained in accordance with c) da) repeated recording of the noise signal of the first signal transmitter in dependence on a not given to humans (but freely chosen by this) thought, selected from the elements of the record according to b); db) averaging the noise signals obtained according to da) for the non-predefined thoughts; dc) if necessary, mathematical processing of the / according to db) averaged noise signal / noise signals; dd) assignment of the noise signal (s) obtained in accordance with dc) to a thought of the data set, in particular on the basis of a comparison with the calibration data obtained according to c) and / or predetermined reference data. Verfahren gemäss Anspruch 1, dadurch gekennzeichnet, dass das Rauschsignal ein Schrotrauschen oder Lawinenrauschen ist.A method according to claim 1, characterized in that the noise signal is a shot noise or avalanche noise. Verfahren gemäss Anspruch 1 oder 2, dadurch gekennzeichnet, dass der erste Empfänger als dasjenige Bauteil, welches ein Rauschsignal aufweist, ein Bauteil enthält, das ausgewählt ist aus der Gruppe bestehend aus Dioden, insbesondere Oberhalb ihrer Sperrspannung betriebenen Z-Dioden; Gasentladungsröhren; Avalanche-Transistoren.A method according to claim 1 or 2, characterized in that the first receiver contains as the component which has a noise signal, a component which is selected from the group consisting of diodes, in particular operated above its reverse voltage Z-diodes; Gas discharge tubes; Avalanche transistors. Verfahren gemäss einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der in Schritt b) bereitgestellte Datensatz von Befehlen zur Steuerung einer Maschine Elemente enthält ausgewählt aus der Gruppe bestehend aus „links”, „rechts”, „oben”, „hoch”, „unten”, „runter”, „vorne”, „vor wärts”, „hinten”, „rückwärts”.Method according to one of claims 1 to 3, characterized in that the data set of instructions for controlling a machine provided in step b) contains elements selected from the group consisting of "left", "right", "top", "high", Down, down, forward, forward, back, backward. Verfahren gemäss einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass Signalgeber und Mensch in Schritt ca) in einem Abstand von > 1 cm, vorzugsweise von > 50 cm, besonders bevorzugt von > 1 m angeordnet werden.Method according to one of claims 1 to 4, characterized in that signal generator and human are arranged in step ca) at a distance of> 1 cm, preferably of> 50 cm, more preferably of> 1 m. Verfahren gemäss einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Aufnahme des Rauschsignals des ersten Signalgebers in Abhängigkeit von einem dem Menschen vorgegebenen Gedanken in Schritt cb) über einen vordefinierten Zeitraum nach der Vorgabe des Gedanken erfolgt, insbesondere über den Zeitraum von 0 bis 1 s, vorzugsweise über den Zeitraum von 0 bis 500 ms nach der Vorgabe des Gedanken.Method according to one of claims 1 to 5, characterized in that the recording of the noise signal of the first signal transmitter in response to a man's idea in step cb) over a predefined period after the specification of the thought takes place, in particular over the period from 0 to 1 s, preferably over the period of 0 to 500 ms after the specification of the thought. Verfahren gemäss einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die mathematische Bearbeitung des in Schritt cc) erhaltenen, gemittelten Rauschsignals die Darstellung des erhaltenen Kurvenzugs als multidimensionalen Vektor umfasst.Method according to one of Claims 1 to 6, characterized in that the mathematical processing of the averaged noise signal obtained in step cc) comprises the representation of the resulting curve as a multidimensional vector. Verfahren gemäss einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass in Schritt a) ein erster Signalgeber bereitgestellt wird, der mit mindestens zwei ein Rauschsignal aufweisenden Bauteilen ausgestattet ist, welche zwei Bauteile über einen Differenzverstärker derart wirkverbunden sind, dass die Rauschsignale der wenigstens zwei Bauteile zu einem Rauschsignal vereinigt werden.Method according to one of claims 1 to 7, characterized in that in step a) a first signal generator is provided, which is equipped with at least two components having a noise signal, which two components are operatively connected via a differential amplifier such that the noise signals of at least two Components are combined to form a noise signal. Berührungslose Mensch/Maschine-Schnittstelle, insbesondere zur Durchführung des Verfahrens gemäss einem der Ansprüche 1 bis 8, umfassend: – wenigstens einen ersten Signalgeber, der mit mindestens einem ein Rauschsignal aufweisendes Bauteil ausgestattet ist; – Kalibrierungs- und Auswertungseinheit, umfassend • wenigstens einen zweiten Signalgeber, der ein optisches, akustisches oder haptisches Signal liefert, das vom Menschen wahrgenommen werden kann; • wenigstens eine EDV-Anlage für die • Erhebung, Bearbeitung und Speicherung von Signalen des ersten Signalgebers; • Steuerung oder Regelung einer Maschine auf der Basis von Signalen des ersten Signalgebers.Non-contact human / machine interface, in particular for carrying out the method according to one of claims 1 to 8, comprising: - At least a first signal transmitter, which is equipped with at least one component having a noise signal exhibiting; - Calibration and evaluation unit, comprising • at least one second transducer that provides an optical, auditory or haptic signal that can be perceived by humans; • at least one computer system for the • collection, processing and storage of signals from the first signal generator; • Control or regulation of a machine on the basis of signals from the first signal generator. Berührungslose Mensch/Maschine-Schnittstelle gemäss Anspruch 9, dadurch gekennzeichnet, dass der erste Signalgeber mit mindestens zwei ein Rauschsignal aufweisenden Bauteilen ausgestattet ist, welche zwei Bauteile über einen Differenzverstärker derart wirkverbunden sind, dass die Rauschsignale der wenigstens zwei Bauteile zu einem Rauschsignal vereinigt werden. Non-contact human / machine interface according to claim 9, characterized in that the first signal transmitter is equipped with at least two components having a noise signal, which two components are operatively connected via a differential amplifier such that the noise signals of the at least two components are combined to form a noise signal.
DE201010003230 2010-03-24 2010-03-24 Method for controlling machine using contactless human/machine interface, involves recording noise signal of signal transmitter based on thoughts given by humans so that data derived from noise signals is stored in element of record Withdrawn DE102010003230A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201010003230 DE102010003230A1 (en) 2010-03-24 2010-03-24 Method for controlling machine using contactless human/machine interface, involves recording noise signal of signal transmitter based on thoughts given by humans so that data derived from noise signals is stored in element of record

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201010003230 DE102010003230A1 (en) 2010-03-24 2010-03-24 Method for controlling machine using contactless human/machine interface, involves recording noise signal of signal transmitter based on thoughts given by humans so that data derived from noise signals is stored in element of record

Publications (1)

Publication Number Publication Date
DE102010003230A1 true DE102010003230A1 (en) 2011-09-29

Family

ID=44585760

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201010003230 Withdrawn DE102010003230A1 (en) 2010-03-24 2010-03-24 Method for controlling machine using contactless human/machine interface, involves recording noise signal of signal transmitter based on thoughts given by humans so that data derived from noise signals is stored in element of record

Country Status (1)

Country Link
DE (1) DE102010003230A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013113348A1 (en) 2013-12-02 2015-06-03 Karlheinz Mayer Device for measuring DNA quantum states and use thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6254536B1 (en) * 1995-08-02 2001-07-03 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
DE10149049A1 (en) * 2001-10-05 2003-04-17 Neuroxx Gmbh Method for creating and modifying virtual biological representation of computer application user, requires forming virtual biological representation of user in computer application
US20100016752A1 (en) * 2003-12-31 2010-01-21 Sieracki Jeffrey M System and method for neurological activity signature determination, discrimination, and detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6254536B1 (en) * 1995-08-02 2001-07-03 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
DE10149049A1 (en) * 2001-10-05 2003-04-17 Neuroxx Gmbh Method for creating and modifying virtual biological representation of computer application user, requires forming virtual biological representation of user in computer application
US20100016752A1 (en) * 2003-12-31 2010-01-21 Sieracki Jeffrey M System and method for neurological activity signature determination, discrimination, and detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ralf Otte, "Untersuchung von Artefakten bei der Messung von akustisch evozierten Hirnstammpotentialen", Diplomarbeit, S. 15 ff, TU Berlin, Institut für Regelungstechnik und Systemdynamik in Kooperation mit der TU Chemnitz, Institut für Informationstechnik
U. Kischka, C. Wallesch, G. Wolf, "Methoden der Gehirnforschung", Spektrum Akademischer Verlag, 1997, S. 171 ff.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013113348A1 (en) 2013-12-02 2015-06-03 Karlheinz Mayer Device for measuring DNA quantum states and use thereof
WO2015082366A2 (en) 2013-12-02 2015-06-11 Karlheinz Mayer Device for measuring dna quantum states and use thereof
WO2015082366A3 (en) * 2013-12-02 2015-07-30 Karlheinz Mayer Device for measuring dna quantum states and use thereof
DE102013113348B4 (en) * 2013-12-02 2017-04-13 Karlheinz Mayer Device for measuring DNA quantum states and use thereof

Similar Documents

Publication Publication Date Title
Lemm et al. Spatio-spectral filters for improving the classification of single trial EEG
Marathe et al. Sliding HDCA: single-trial EEG classification to overcome and quantify temporal variability
EP2704629B1 (en) Method for consciousness and pain monitoring, module for analyzing eeg signals and eeg narcosis monitor
US10499823B2 (en) Selection of electroencephalography (EEG) channels valid for determining cognitive load of a subject
CN112084879B (en) Block selection common space mode feature extraction method for motor imagery electroencephalogram
DE102016123159A1 (en) Apparatus and method for detecting a driver condition based on biometric signals of the driver
EP0355506A1 (en) Arrangement for measuring local bioelectric currents in biological tissue
DE102007028861A1 (en) Method for computer-aided prediction of intended movements
Hettiarachchi et al. Motor imagery data classification for BCI application using wavelet packet feature extraction
Turnip et al. Improvement of BCI Performance Through Nonlinear Independent Component Analysis Extraction.
CN109009098B (en) Electroencephalogram signal feature identification method under motor imagery state
Gligorijević et al. A new and fast approach towards sEMG decomposition
CN104127179A (en) Electroencephalogram (EEG) feature extraction method based on dominant electrode combination and empirical mode decomposition (EMD)
Aldea et al. Classifications of motor imagery tasks in brain computer interface using linear discriminant analysis
EP2302485B1 (en) Method for controlling or regulating a machine
Waterstraat et al. Non-invasive single-trial EEG detection of evoked human neocortical population spikes
DE102010003230A1 (en) Method for controlling machine using contactless human/machine interface, involves recording noise signal of signal transmitter based on thoughts given by humans so that data derived from noise signals is stored in element of record
CN107423668A (en) Eeg signal classification System and method for based on wavelet transformation and sparse expression
Lombardi et al. Beyond pulsed inhibition: Alpha oscillations modulate attenuation and amplification of neural activity in the awake resting state
Islam et al. Frequency recognition for SSVEP-based BCI with data adaptive reference signals
DE102006053613A1 (en) Device and method for synchronizing a magnetic resonance system with the heart rhythm of a patient
An et al. UAV control in 2D space based on brain computer interface
WO2016090396A1 (en) Method for quantifying the perceptive faculty of a person
Carra et al. Development of a brain-computer interface system based on sensorimotor rhythms
Chen et al. Automatic extracting event-related potentials within several trials using Infomax ICA algorithm

Legal Events

Date Code Title Description
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: TECDATA AG, CH

Free format text: FORMER OWNER: BUEHLER AG, UZWIL, CH

Effective date: 20120927

R082 Change of representative

Representative=s name: ISARPATENT PATENTANWAELTE BEHNISCH, BARTH, CHA, DE

Effective date: 20120927

Representative=s name: ISARPATENT GBR PATENT- UND RECHTSANWAELTE, DE

Effective date: 20120927

R120 Application withdrawn or ip right abandoned
R120 Application withdrawn or ip right abandoned

Effective date: 20140910