Page Areas:



Current Submenu:

Additional Information:

FAW @ Lange Nacht der Forschung 2016

Lange Nacht der Forschung 2016

Campus map

Campusplan JKU Linz

Our location on campus ...  more of Campus map (Titel)

Softwarepark Hagenberg

Hier den Alternativtext zum Bild eingeben!

Our location on Softwarepark Hagenberg ...  more of Softwarepark Hagenberg (Titel)


Position Indication:

Content

Parallelität und Verteilung in Neuronalen Netzwerken

Student: Horst Hagmüller
Supervisors: Univ.-Prof. Dr. Roland Wagner , A.Univ.-Prof. Dr. Josef Küng
End: 15.11.1999

Abstract(DE)
Die neuronalen Netzwerke Neunet-3, Neunet-3S und das regelmäßige Neunet, die an der Universität Linz entwickelt wurden, verfügen über einige hervorragende Eigenschaften, wie die parallele und serielle Assoziation. Diese Netzwerke werden in dieser Arbeit unter dem Aspekt der Parallelität untersucht und erweitert. Das Lernen wird in diesen Modellen dadurch realisiert, daß sich das Netz dynamisch an den richtigen Stellen erweitert. Die daraus resultierenden Netze sind unregelmäßig, wodurch eine parallele bzw. verteilte Abarbeitung unmöglich scheint. Nach einem Einführungsteil, der, aufgrund ihrer zentralen Rolle, den Begriffen Parallelität und neuronalen Netzen gewidmet ist, werden für alle drei Neunet Modelle zunächst Varianten entwickelt, in denen Parallelität auf Knotenebene eingesetzt wird. Alle Knoten einer Schicht können parallel berechnet werden. Dieser Ansatz kann jedoch immer nur für eine Schicht gleichzeitig angewendet werden, da zu starke Abhängigkeiten zwischen den einzelnen Schichten bestehen. Ein zweiter Ansatz wird mit den in dieser Arbeit entwickelten Versionen Neunet-3V und Neunet-3VS vorgestellt. Bei beiden Weiterentwicklungen kommt Parallelität auf Teilnetzebene zur Anwendung, d.h. es besteht nun ein Neunet-3 nicht aus einer einzigen zusammenhängenden Struktur, sondern aus beliebig vielen Rechennetzen, die mit Hilfe eines Synchronisierungsnetzes miteinander kommunizieren. Diese Realisierung ermöglicht einen wesentlich höheren Grad an Parallelität, da die einzelnen Teilnetze unabhängiger voneinander arbeiten können. Dies bedeutet, daß ein Netzwerk dieser Art von mehreren Rechnern gleichzeitig abgearbeitet werden kann. Jedes der Teilnetze wurde wiederum mit Parallelität auf Knotenebene realisiert, d.h. es wurde eine Kombination der beiden Parallelitätsarten durchgeführt. Die Implementierungen der einzelnen Modelle erfolgte in Form von multi-threaded Algorithmen, sodaß vorhandene Ressourcen optimal ausgenutzt werden. Zahlreiche Abbildungen und Beispiele verdeutlichen die Lösungsansätze und viele Laufzeittests auf einem Doppelprozessorsystem zeigen die Geschwindigkeitssteigerung gegenüber den sequentiellen Vorgängermodellen. Mit den Ergebnissen dieser Arbeit ist es erstmals möglich nahezu beliebig große Netze auf Standardhardware (Windows NT oder Windows 2000 Mehrprozessorsysteme oder mehrere Windows NT bzw. Windows 2000 Systeme über ein Netzwerk verbunden) zu berechnen. Auch der Geschwindigkeitsvorteil gegenüber den bisherigen Neunet Algorithmen und Implementierungen ist enorm. Es konnte ein nahezu linearer Speed-up im Hinblick auf die Anzahl der parallel arbeitenden Einheiten erreicht werden.