„FreiPose“ ermöglicht das Messen der Neuronen-Aktivität bei der Bewegung einzelner Körperteile

Ein Team um Artur Schneider und Prof. Dr. Ilka Diester vom Institut für Biologie III sowie Prof. Dr. Thomas Brox vom Institut für Informatik der Universität Freiburg haben ein neues System entwickelt, welches die 3D-Bewegung von frei benennbaren Körperpunkten erfasst: „FreiPose“ erkennt mithilfe mehrerer Kameras und einer speziellen Netzwerkarchitektur definierte Körperpunkte und trackt diese. Die Methode ermöglicht Forschenden, Bewegungseinflüsse bestimmter Körperteile in ihrer Analyse herauszurechen, die nicht von Interesse sind. Ihr neues Verfahren stellt die Gruppe in der Zeitschrift Neuron vor.

Körperpunkte werden mithilfe verschiedener Kameraperspektiven und geeigneter Netzwerkarchitektur direkt in 3D rekonstruiert

„Wir haben uns gefragt, ob es möglich ist, die neuronale Aktivität im Gehirn mit den Bewegungen einzelner Körperteile zu verknüpfen, wenn sich Lebewesen frei bewegen und nur spontane Bewegungen ausführen“, erklärt Diester. Dafür müssen laut den Forschenden zwei Voraussetzungen erfüllt sein: Zum einen braucht es eine detaillierte 3D-Verfolgung der Bewegungen auf der Ebene einzelner Körperteile und zum anderen die Isolierung des interessierenden Körperteils von der Beeinflussung durch andere Körperteile.

Mit „FreiPose“ haben die Wissenschaftler*innen ein System geschaffen, das mithilfe von verschiedenen synchronisierten Kameraperspektiven detaillierte Körperhaltungen und Bewegungen einzelner Körperpunkte direkt in 3D rekonstruiert. Die Körperpunkte werden vorher frei gewählt.

„Das Neue an FreiPose ist die Projektion von gelernten Bildmerkmalen aus einzelnen Kameraansichten in einen gemeinsamen 3D-Raum, in dem eine Netzwerkarchitektur in der Lage ist, alle Informationen zu kombinieren, um Rückschlüsse auf die Position der Körperpunkte zu ziehen. Aufgrund seines Multiview-Ansatzes und der nativen 3D-Rekonstruktion ist FreiPose besonders geeignet für sich frei bewegende Lebewesen in verschiedenen Umgebungen, einschließlich Hindernissen“, sagt Brox.

„FreiPose“ könnte bei Epilepsie-Patient*innen eingesetzt werden

Um die neuronalen Repräsentationen von Bewegungen einzelner Körperteile zu sehen, reduzieren die Forschenden die Beiträge der jeweils anderen Körperteile und Bewegungen. „Diese Strategie ermöglicht uns, das interessierende Verhalten, zum Beispiel nur die Bewegungen der Hände, zu analysieren. Das Verfahren ließe sich beispielsweise bei Epilepsiepatient*innen einsetzen, denen Elektroden implantiert wurden. Wenn zur Überprüfung der Elektroden neuronale Aktivitäten gemessen werden, könnte man mit FreiPose die Bewegungen der Patient*in verfolgen und die ungewollten Bewegungseinflüsse herausrechnen“, erklärt Diester.

 „Mit dieser Methode kann das Verhalten von Lebewesen besser studiert werden, weil sie sich völlig frei und natürlich bewegen können“, ergänzt Brox. „Einmal etabliert, kann unser System auf große Datensätze angewandt werden und somit die Arbeitsbelastung minimieren.“

Faktenübersicht:

• Originalpublikation: Schneider, A., Zimmermann, C., Alyahyay, M., Steenbergen, F., Brox, T., Diester, I. (2022): 3D pose estimation enables virtual head-fixation in freely moving rats. Neuron, DOI: 10.1016/j.neuron.2022.04.019
• Ilka Diesters Forschungsschwerpunkte liegen in den neuronalen Grundlagen der motorischen Kontrolle und der kognitiven Kontrolle sowie den Interaktionen zwischen präfrontalem und motorischen Kortex.
• Diester ist Sprecherin und Mitglied des Zentrums BrainLinks-BrainTools und Sprecherin des Forschungsbaus „Intelligent Machine-Brain Interfacing Technology“ an der Universität Freiburg.
• Thomas Brox leitet die Computer Vision Group am Institut für Informatik und ist mit dieser Teil des Exzellenzclusters CIBSS –Centre for Integrative Biological Signalling Studies und des Zentrums BrainLinks-BrainTools. Brox forscht unter anderem im Bereich Deep Learning mit Schwerpunkt auf dem Lernen visueller Darstellungen, Videoanalyse und erlernten 3D-Darstellungen.