Michael Wibral, Universität Göttingen: Eine Informationstheorie für das Zeitalter der neuronalen Netzwerke

Eine Informationstheorie für das Zeitalter der neuronalen Netzwerke

In unseren Gehirnen arbeiten viele eher einfache Rechenelemente -- die Nervenzellen oder Neurone -- zusammen, um erstaunlich komplexe Berechnungen durchzuführen. Diese ermöglichen dann unsere kognitiven Leistungen, wie Wahrnehmung, Gedächtnis und Handlungsplanung. Diese Berechnungen erfordern verschiedene Teilprozesse bezüglich der zu verarbeitenden Information – so muss diese Information für einen Zugriff vorgehalten werden, zwischen Neuronen transferiert werden und zusätzlich muss in einem Neuron 'neue' Information aus den verschiedenen im Neuron zusammenlaufenden Quellen synthetisiert werden.

In meinem Vortrag versuche ich eine Perspektive einzunehmen, welche die neuronale Informationsverarbeitung über viele verschiedene Aufgaben und Teile unseres Gehirns, aber auch über andere biologische und künstliche neuronale Netzwerke hin vereinheitlicht beschreibt. Eine solche vereinheitlichte Betrachtungsweise würde es erlauben, allgemeine Prinzipien von Informationsverarbeitung in neuronalen Netzwerken von Insekten bis zum Menschen und in den neuronalen Netzwerken 'künstlicher' intelligenter Systeme in einer einheitlichen Sprache zu beschreiben. Eine solche vereinheitlichte Betrachtungsweise scheint im Rahmen der sogenannten Informationstheorie möglich, welche in der Vergangenheit schon sehr erfolgreich zur Analyse von Informationstransfer und -speicherung in technischen und biologischen Systemen genutzt wurde.

Zur erfolgreichen Beschreibung neuronaler Systeme müssen wir jedoch auch verstehen, wie die Synthese neuer Information aus zusammenlaufenden Informationsquellen zu beschreiben ist – und dies ist in der klassichen Infromationstheorie nur sehr eingeschränkt möglich. Es ist daher eine Erweiterung der klassischen Informationstheorie nötig, welche Beschreiben kann, ob die in einem Neuron aus seinen Quellen synthetisierte Information einzelnen Quellen exklusiv zuzuordnen ist, ob diese redundant aus den Quellen stammt oder nur durch die Zusammenschau vieler Quellen ('synergistisch') vorliegt.

Mein Vortrag stellt die Prinzipien und praktische Implementierung einer solchen Erweiterung der Informationstheorie auf einfache Weise vor und zeigt wie diese sich zum Verständnis biologischer und künstlicher neuronaler Netzwerke nutzen lässt und wie man mit ihrer Hilfe sogar neue Arten von künstlichen lernenden Systemen konstruieren kann.

Über den Vortragenden

Prof. Dr. Michael Wibral