„Zwei Zähler – eine Lösung“: Wie das Gehirn Ton und Bild kombiniert, um schneller auf eine Taste zu drücken

Auf ein Rascheln im Gras und einen flackernden Schatten reagieren wir schneller, als wenn es nur ein Geräusch oder ein Blitz wäre. Klassisch. Doch was genau passiert in diesen Sekundenbruchteilen im Gehirn? Eine neue Studie in Nature Human Behaviour zeigt, dass Seh- und Hörsinn unabhängig voneinander Informationen sammeln und im Moment der Entscheidung ihre „Summe“ einen einzigen motorischen Auslöser auslöst. Mit anderen Worten: Es gibt zwei sensorische Akkumulatoren im Kopf, die gemeinsam einen einzigen motorischen Mechanismus aktivieren.

Hintergrund

Wie das Gehirn in einer „lauten Welt“ aus Geräuschen und Bildern schnelle Entscheidungen trifft, ist eine jahrhundertealte Frage ohne eindeutige Antwort. In der Psychophysik ist seit dem späten 19. und 20. Jahrhundert der „Effekt redundanter Signale“ (RSE) bekannt: Wird ein Ziel gleichzeitig in zwei Modalitäten präsentiert (z. B. als Blitz und als Ton), ist die Reaktion schneller als bei einem einzelnen Signal. Der Streit drehte sich um den Mechanismus: ein „Rennen“ unabhängiger Kanäle (Rennmodell), bei dem der schnellste sensorische Prozess gewinnt, oder Koaktivierung, bei der sich Signale aus verschiedenen Modalitäten tatsächlich summieren, bevor eine Reaktion ausgelöst wird. Formale Tests (wie Millers Ungleichung) halfen auf Verhaltensebene, zeigten aber nicht, wo genau die „Faltung“ auftritt – auf der Seite der sensorischen Akkumulatoren oder bereits beim motorischen Auslöser.

In den letzten 10 bis 15 Jahren hat die Neurophysiologie zuverlässige Marker für diese latenten Stadien geliefert. Besonders hervorzuheben sind die zentroparietale Positivität (CPP), ein supramodales EEG-Signal der „Akkumulation bis zur Schwelle“, das gut zu Drift-Diffusionsmodellen der Entscheidungsfindung passt, und die Beta-Reduktion (~20 Hz) über dem linken Motorkortex als Index der Bewegungsvorbereitung. Diese Signale haben es ermöglicht, Computermodelle mit realen Gehirnschaltkreisen zu verknüpfen. Es bleiben jedoch wichtige Lücken: Werden akustische und visuelle Beweise in einem oder zwei separaten Akkumulatoren akkumuliert? Und gibt es eine einzige motorische Schwelle für multimodale Entscheidungsfindung oder wird jede Modalität nach separaten Kriterien „beurteilt“?

Eine weitere Komplikation ist das Timing. Unter realen Bedingungen sind Sehen und Hören mit Mikrosekunden- bis Millisekunden-Desynchronisationen verbunden: Eine leichte Zeitverschiebung kann die wahre Architektur des Prozesses verschleiern. Daher werden Paradigmen benötigt, die gleichzeitig die Reaktionsregel steuern (um auf jede Modalität oder nur auf beide gleichzeitig zu reagieren), die Asynchronität variieren und die Kombination von Verhaltensverteilungen von Reaktionszeiten mit der Dynamik von EEG-Markern in einer einzigen Modellierung ermöglichen. Dieser Ansatz ermöglicht es uns, zwischen der „Summation sensorischer Akkumulatoren mit anschließendem Start eines einzelnen Motors“ und den Szenarien des „Kanalrennens“ oder der „frühen Zusammenführung zu einem einzigen sensorischen Strom“ zu unterscheiden.

Schließlich gibt es praktische Gründe, die über die grundlegende Theorie hinausgehen. Wenn die sensorischen Akkumulatoren tatsächlich getrennt sind und der motorische Auslöser gemeinsam ist, dann kann der Engpass bei klinischen Gruppen (z. B. Parkinson, ADHS, Spektrumstörungen) auf verschiedenen Ebenen liegen – bei der Akkumulation, der Konvergenz oder der motorischen Vorbereitung. Für Mensch-Maschine-Schnittstellen und Warnsysteme sind Phase und Zeitpunkt der Signale entscheidend: Die richtige Phasenlage von Ton und Bild sollte den gemeinsamen Beitrag zur motorischen Schwelle maximieren und nicht einfach „die Lautstärke/Helligkeit erhöhen“. Diese Fragen stehen im Kontext eines neuen Artikels in Nature Human Behaviour, der die multimodale Erkennung gleichzeitig auf der Ebene des Verhaltens, der EEG-Dynamik (CPP und Beta) und der computergestützten Modellierung untersucht.

Was genau haben sie herausgefunden?

• In zwei EEG-Experimenten (n=22 und n=21) erkannten die Teilnehmer Änderungen in einer Punktanimation (sehen) und einer Reihe von Tönen (hörend), indem sie eine Taste drückten, entweder wenn sich eines von beiden änderte (redundante Erkennung) oder nur, wenn sich beide änderten (konjunktive Erkennung).
• Die Forscher überwachten einen neuronalen Beweiszähler – die zentroparietale Positivität (CPP) – und die Beta-Aktivitätsdynamik der linken Hemisphäre (~20 Hz) als Marker der Bewegungsvorbereitung. Diese Signale wurden mit Reaktionszeitverteilungen und Computermodellen verglichen.
• Fazit: Akustische und visuelle Beweise werden in getrennten Prozessen gesammelt, und wenn sie redundant erkannt werden, aktiviert ihr kumulativer Beitrag subadditiv (weniger als eine einfache Summe) gemeinsam einen motorischen Schwellenprozess – den eigentlichen „Auslöser“ der Aktion.

Ein wichtiges Detail ist die Überprüfung auf Synchronität. Als die Forscher eine kleine Asynchronität zwischen den Audio- und Bildsignalen einführten, erklärte ein Modell, bei dem die sensorischen Akkumulatoren zunächst integriert werden und dann das motorische System informieren, die Daten besser als ein „Wettlauf“ der Akkumulatoren gegeneinander. Dies untermauert die Annahme, dass die sensorischen Ströme parallel verlaufen, aber an einem einzigen motorischen Entscheidungsknoten zusammenlaufen.

Warum Sie das wissen müssen (Beispiele)

• Klinik und Diagnostik. Wenn die sensorischen Akkumulatoren getrennt sind und die motorische Schwelle gleich ist, können bei verschiedenen Patientengruppen (mit Autismus, ADHS, Parkinson) unterschiedliche „Störungsknoten“ erwartet werden – in der Akkumulation, in der Konvergenz oder in der motorischen Auslösung. Dies hilft, Biomarker und Aufmerksamkeits-/Reaktionstrainings präziser zu gestalten.
• Mensch-Maschine-Schnittstellen: Die Gestaltung von Warnsignalen und multimodalen Schnittstellen kann von einer optimalen Phasenabstimmung von akustischen und visuellen Hinweisen profitieren, sodass die motorische Koaktivierung schneller und stabiler erfolgt.
• Neuronale Modelle der Entscheidungsfindung. Die Ergebnisse verknüpfen langfristige Verhaltenskontroversen (Rasse vs. Koaktivierung) mit spezifischen EEG-Markern (CPP und Beta-Rhythmus des Motorkortex) und bringen so die Computermodelle näher an die reale Physiologie heran.

Wie es gemacht wurde (Methodik, aber kurz)

• Paradigmen: redundant (auf jede Modalität reagieren) und konjunktiv (nur auf beide gleichzeitig reagieren) – eine klassische Technik, mit der Sie den Beitrag jedes Sinneszweigs „abwägen“ können. Plus ein separates Experiment mit einer gegebenen Asynchronität zwischen Audio und Video.
• Neurosignale:
  • CPP – „supramodaler“ Index der Ansammlung sensorischer Beweise bis zur Schwelle;
  • Die Abnahme des Beta-Werts über dem linken Motorkortex ist ein Indikator für die Bewegungsvorbereitung. Der Vergleich ihrer Zeitprofile zeigte unterschiedliche CPP-Amplituden für auditive und visuelle Ziele (ein Zeichen für separate Akkumulatoren) und einen gemeinsamen Antrieb des Beta-Mechanismus (ein Zeichen für eine gemeinsame motorische Schwelle).
• Simulation: Gemeinsame Anpassung von RT-Verhaltensverteilungen und EEG-Dynamik. Das Modell mit Integration sensorischer Akkumulatoren vor dem motorischen Knoten gewann den Vergleich, insbesondere bei Vorhandensein von Asynchronität.

Was ändert sich dadurch im Gehirnbild?

• Multimodalität ≠ „Mischen und vergessen“. Das Gehirn wirft nicht alle Informationen in einen Topf; es speichert parallele Aufzeichnungen über verschiedene Kanäle hinweg, und die Integration erfolgt näher am Geschehen. Dies erklärt, warum multimodale Reize die Reaktionszeit beschleunigen – sie lösen gemeinsam die gleiche motorische Warnmeldung aus.
• Subadditivität ist die Norm. Die „Summe“ der sensorischen Eingaben ist kleiner als einfache Arithmetik, reicht aber aus, um die motorische Schwelle schneller zu erreichen. Das Ziel der Schnittstelle ist also nicht „Lautstärke und Helligkeit zu addieren“, sondern die Konvergenz zu synchronisieren.
• Eine Brücke zwischen Psychophysik und Neurophysiologie: Alte verhaltensbezogene „Redundant Cue“-Effekte erhalten eine mechanistische Erklärung über CPP und Beta-Marker.

Einschränkungen und der nächste Schritt

• Die Stichprobe besteht aus gesunden Erwachsenen in Labortests; klinische Schlussfolgerungen sind der nächste Schritt. Tests sind an Patienten und in natürlichen multimodalen Umgebungen erforderlich.
• Das EEG liefert ein hervorragendes zeitliches, aber räumlich begrenztes Bild; es ist logisch, es durch MEG/invasive Registrierung und effektive Konnektivitätsmodelle zu ergänzen.
• Die Theorie sagt voraus, dass das Training des Timings audiovisueller Hinweise die motorische Phase selektiv verbessern sollte, ohne die sensorischen Akkumulatoren zu verändern – dies ist eine überprüfbare Hypothese bei angewandten Aufgaben (Sport, Luftfahrt, Rehabilitation).

Zusammenfassung

Das Gehirn verfügt über separate „Zähler“ für Sehen und Hören, entscheidet aber mit einem Knopf. Wenn wir verstehen, wo genau die „Faltung“ sensorischer Informationen in Aktion erfolgt, können wir Diagnostik, Schnittstellen und Rehabilitation – von Pilotenhelmen über Telemedizin bis hin zur Neuroedukation der Aufmerksamkeit – präziser anpassen.

Quelle: Egan, JM, Gomez-Ramirez, M., Foxe, JJ et al. Unterschiedliche Audio- und visuelle Akkumulatoren aktivieren gemeinsam die motorische Vorbereitung für die multisensorische Erkennung. Nat Hum Behav (2025). https://doi.org/10.1038/s41562-025-02280-9