Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,

  • Published on
    05-Apr-2015

  • View
    107

  • Download
    4

Embed Size (px)

Transcript

<ul><li> Folie 1 </li> <li> Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik, Bioinformatik </li> <li> Folie 2 </li> <li> Ein organischer Computer" (OC) ist definiert als ein selbst-organisierendes System, das sich den jeweiligen Umgebungsbedrfnissen dynamisch anpasst. Organische Computersysteme haben sog. Self-x-Eigenschaften": Sie sind selbst-konfigurierend, selbst-optimierend, selbst-heilend, selbst- erklrend und selbst-schtzend. Organische Computersysteme verhalten sich eher wie intelligente Assistenten als starre Befehlsempfnger. Sie sind flexibel, robust gegenber (Teil)ausfllen und in der Lage, sich selbst zu optimieren. Der Entwurfsaufwand sinkt, da nicht jede Variante im Voraus programmiert werden muss. Gesellschaft fr Informatik e.V. </li> <li> Folie 3 </li> <li> Entwicklung Neuronaler Netze Ein Meilenstein der Bionik </li> <li> Folie 4 </li> <li> Anwendung neuronaler Netze: Mustererkennung, Bildverarbeitung, Robotik, Prozessautomatisierung, Diagnose, Medizin, Betriebswirtschaft, Finanzdienstleistungen Wissensverarbeitung </li> <li> Folie 5 </li> <li> Natrliches Neuronales Netz </li> <li> Folie 6 </li> <li> Eingangsneuronen Zwischenneuronen Ausgangsneuron Knstliches Neuronales Netz KNN Neuronales Netz NN </li> <li> Folie 7 </li> <li> Eigenheiten einer Nervenzelle Schwellverhalten des Encoders Impulsfortleitung im Axon Zeitverhalten der Synapse Summiereigenschaft des Zellsomas Signalgewichtung durch Lnge des Dendriten </li> <li> Folie 8 </li> <li> Soma Encoder Axon Dendrit PSP PSP &gt; 50mV Arbeitsweise einer (biologischen) Nervenzelle </li> <li> Folie 9 </li> <li> Streichung des Schwellverhaltens des Encoders Neuron 0. Ordnung Spannungshhe statt Impulse Streichung des Zeitverhaltens der Synapse Summiereigenschaft des Zellsomas Signalgewichtung durch Lnge des Dendriten </li> <li> Folie 10 </li> <li> Neuron 0. Ordnung (Technische Realisierung) </li> <li> Folie 11 </li> <li> Neuron 1. Ordnung Spannungshhe statt Impulse Streichung des Zeitverhaltens der Synapse Streichung des Schwellverhaltens des Encoders aufgehoben ! Signalgewichtung durch Lnge des Dendriten Summiereigenschaft des Zellsomas </li> <li> Folie 12 </li> <li> (Technischen Realisierung) Neuron 1. Ordnung (a) UeUe UaUa UeUe UaUa </li> <li> Folie 13 </li> <li> (Technischen Realisierung) Neuron 1. Ordnung (b) UeUe UaUa UaUa UeUe </li> <li> Folie 14 </li> <li> Neuron 2. Ordnung Impulsfortleitung Spannungs- Frequenzwandler mit Schwelle Verzgerungs- glied 1. Ordnung Summiereigenschaft des Zellsomas Signalgewichtung durch Lnge des Dendriten </li> <li> Folie 15 </li> <li> Neuron 2. Ordnung (Technische Realisierung) Berliner Bionik-Neuron U U F F VZ1 </li> <li> Folie 16 </li> <li> Zurck zum Neuron 0. Ordnung </li> <li> Folie 17 </li> <li> Eingangsneuronen Zwischenneuronen Ausgangsneuron Netz mit Neuronen 0. Ordnung </li> <li> Folie 18 </li> <li> Reduktionsgesetz fr eine Neuronales Netz 0. Ordnung </li> <li> Folie 19 </li> <li> Belehren statt programmieren eines NN </li> <li> Folie 20 </li> <li> Donald O. Hebb (1904-1985) H EBB -Regel Hufiger Gebrauch einer Synapse macht diese strker leitfhig ! </li> <li> Folie 21 </li> <li> Frank R OSENBLATT s Perceptron Neuronales Netz 1. Ordnung (a) 2-schichtig mit springendem U e -U a -Verhalten (Schwell- wertelement) und diskreter Verstellung der Gewichte UeUe UaUa </li> <li> Folie 22 </li> <li> Regel 1: Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingnge um +1 erhhen. Regel 2: Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingnge um -1 erniedrigen. +1 1 1 0 statt 1 1 statt 0 Die Perceptron Lernregel </li> <li> Folie 23 </li> <li> Lernregel: Back Propagation Evolutionsstrategie UeUe UaUa Heute Neuronales Netz 1. Ordnung (b) 3-schichtig mit sigmoidem U e -U a -Verhalten (weiches Schwellwertelement) und kontinuierlicher Verstellbarkeit der Gewichte </li> <li> Folie 24 </li> <li> Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben: x y Sie zeichnet sich durch die besondere mathematische Eigenschaft aus: UeUe UaUa </li> <li> Folie 25 </li> <li> Belehrung (Training) mit Backpropagation </li> <li> Folie 26 </li> <li> Neuron 1: Neuron 3: Neuron 2: Neuron i : Fermi net i 414313 1 awawnet 424323 2 awawnet 636535 3 awawnet w 46 a5a5 w 24 w 35 a2a2 a3a3 a1a1 w 13 w 14 w 23 w 45 w 36 1 2 3 4 56 a4a4 a6a6 Einfachstes 3-schichtiges Neuronales Netz j = nummerierte Eingnge Durchrechnung des gesamten Netzes Weiches Schwellwertelement </li> <li> Folie 27 </li> <li> grad h sei = 1 h sei = 2 Die Idee des Gradientenfortschritts Unsichtbare geneigte Ebene 2 Elementarschritte in die x -Richtung 1 Elementarschritt in die y -Richtung Experimentator </li> <li> Folie 28 </li> <li> Fehler: Soll Ist Angenommen, die 8 Gewichte knnen ber Zahnrder eines Getriebes verstellt werden. Dann gibt es eine bersetzung fr jedes Zahnrad, bei der sich F maximal schnell ver- mindern wrde, wenn wir an der Hauptwelle drehen. Die bersetzungen sind gleich den Ableitungen von F nach den Gewichten w. w 46 a5a5 w 24 w 35 a2a2 a3a3 a1a1 w 13 w 14 w 23 w 45 w 36 1 2 3 4 56 a4a4 a6a6 Getriebebersetzung fr 13 w w F w Getriebebersetzung fr 35 w w F w = Schrittweite Der Gradientenfortschritt Approximation als Ebenenstckchen Oder nach der Gradientenidee: Jedes Gewicht muss so gendert werden wie sich der Fehler mit einer nderung des Gewichts ndert ! Gewichtsnderungen </li> <li> Folie 29 </li> <li> Bei den richtigen Getriebebersetzungen folgt man dem Gradientenweg zum Minimum. Getriebefaktor (Gewichtsnderung) fr 414313 1 awawnet Vorteil der Fermi-Funktion (weiches Schwellwertelement) Fermi: </li> <li> Folie 30 </li> <li> Weg der Rechnung 1. Vorwrtsrechnung zur Bestimmung von und Fehler w 46 a5a5 w 24 w 35 a2a2 a3a3 a1a1 w 13 w 14 w 23 w 45 w 36 1 2 3 4 56 a4a4 a6a6 </li> <li> Folie 31 </li> <li> w 45 w 46 w 35 w 14 w 23 w 24 2 w 13 Weg der Rechnung 1. Vorwrtsrechnung zur Bestimmung von und Fehler 2. Rckwrtsrechnung zur Bestimmung von bis 13 w 24 w 14 w 23 w 35 w 46 w 36 w 45 w a2a2 a1a1 1 3 4 56 13 w 46 w </li> <li> Folie 32 </li> <li> Weg der Rechnung 1. Vorwrtsrechnung zur Bestimmung von und Fehler 2. Rckwrtsrechnung zur Bestimmung von bis 3. Einstellung der neuen Gewichte bis w 46 w 24 w 35 a2a2 a1a1 w3w3 w 14 w 23 w 45 w 36 1 2 3 4 56 13 w 46 w 13 w 46 w z. B. 35)( )( www altneu Text </li> <li> Folie 33 </li> <li> Belehrung (Training) mit der Evolutionsstrategie </li> <li> Folie 34 </li> <li> w 46 a5a5 w 24 w 35 a2a2 a3a3 w 13 w 14 w 23 w 45 w 36 1 2 3 4 56 a4a4 a6a6 a1a1 Mutieren der Gewichte bis 1 Bestimmung des Fehlers 3 Durchlaufen des Netzes zur Bestimmung von und 2 Die Operation wird -mal durchgefhrt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen Generation. Text </li> <li> Folie 35 </li> <li> Es sei w ein Vektor mit den Komponenten </li> <li> Folie 36 </li> <li> Algorithmus der (1, ) Evolutionsstrategie mit MSR -Wrfel z -Wrfel Streuung </li> <li> Folie 37 </li> <li> Mutation der Mutabilitt und Vererbbarkeit der Mutabilitt Knackpunkt der Evolutionsstrategie DNA-Kopierer DNA -Mutation z -Mutation </li> <li> Folie 38 </li> <li> w 0 2 + zizi 0 1 w i Zur Erzeugung der Mutationen z und 23 4 1 2 1 3 Interpretetion der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so hufig wie zwischen 2 und 3 logarithmisch normalverteilt (Dichte ) normalverteilt (Dichte z ) </li> <li> Folie 39 </li> <li> ES-Theorie: 10 - 20% optimale Erfolgswahscheinlichkeit Von-Neumann-Computer versus Neuronencomputer Mutation Verbesserung unwahrscheinlich </li> <li> Folie 40 </li> <li> Kausalitt Schwache Kausalitt Starke Kausalitt Gleiche Ursache Gleiche Wirkung hnliche Ursache Andere Wirkung hnliche Ursache hnliche Wirkung Text </li> <li> Folie 41 </li> <li> Schwach kausales Verhalten Stark kausales Verhalten Klassischer Computer Neuronencomputer Nicht evolutionsfhig Evolutionsfhig </li> <li> Folie 42 </li> <li> Exemplarische Anwendungsgebiete Neuronaler Netze Signalverarbeitung: Spracherkennung, Bilderkennung, Bildanalyse, Biometrie Robotik: Motorische Steuerung, Handlungsentscheidungen, Autonome Systeme Wirtschaft: Kreditwrdigkeitsbeurteilungen, Brsenkurs- und Wirtschaftsprognosen Psychologie: Modellierung kognitiver Vorgnge, Simulation neuronaler Strukturen Medizin: Elektronische Nasen, Diagnose, Protein Design, EEG-Auswertung </li> <li> Folie 43 </li> <li> Das Netz wurde in zwei Verarbeitungspfade unterteilt. Der obere Pfad griff auf Farbinformationen des Hintergrundes zurck, whrend der untere Pfad die Farbe des betrachte- ten Objekts analysierte. Dem neuronalen Netz wurde das Objekt in der Trainings- phase unter 40 verschiedenen Farben dargeboten, wh- rend die Farbe des Hintergrundes nicht variierte. Jedoch konnte auch das vom Hintergrund reflektierte Licht in Ab- hngigkeit der verwendeten Beleuchtung unterschied-liche Wellenlngen annehmen. Insgesamt kamen in verschie- denen Trainingsdurchlufen maximal neun verschiedene Beleuchtungen zum Einsatz. Ziel des Trainings war die korrekte Identifikation der Objektfarbe unter den unter- schiedlichen Beleuchtungsbedingungen. In der Trainingsphase wurden die korrekten Output-Werte vorgegeben (supervised learning) und die variablen Ge- wichte mit Hilfe der Backpropagation Lernregel angepasst. Sofern mindestens fnf verschiedene Beleuchtungsbedin- gungen in der Trainingsphase zur Verfgung stehen und diese relativ gleichmig ber den Farbraum verteilt sind, ist eine Generalisierung des Gelernten festzustellen. In die- sem Fall zeigt sich Farbkonstanz auch unter neuen, dem Netz unbekannten Beleuchtungsbedingungen. Vergleicht man die Ergebnisse des knstlichen neuronalen Netzes mit Befunden zur Farbkonstanz bei menschlichen Probanden, so zeigen sich trotz vereinzelter Unterschiede groe Gemeinsamkeiten bei der Farbeinschtzung von Ob- jekten unter verschiedenen Beleuchtungsbedingungen. Gleicher Farbeindruck bei unterschiedlicher Beleuchtung Nachbildung des Phnomens der Farbkonstanz </li> <li> Folie 44 </li> <li> Die Entscheidungshilfe fr Aktienanleger Was ist Stock NeuroMaster? Stock NeuroMaster wurde entwickelt, um Vorhersagen aus bestimmten Marktsituationen zu treffen, die Ihnen bei der Bestimmung des richtigen Kauf- und Verkaufszeitpunktes helfen. Jetzt verdienen Sie an der Brse endlich Geld! Modernste neuronale Netzwerktechnologie ("knstliche Intelligenz") hat es jetzt ermglicht mit einem Standard-PC Vorhersagen ungeahnter Genauigkeit zu treffen. Der Stock NeuroMaster nutzt neuronale Netze als Instrument, um die historischen Brsen- kurse interessanter Aktien zu analysieren. Basierend auf den Ergebnissen dieser Analyse spricht die Software konkrete Kauf- oder Verkaufsempfehlungen aus. ? </li> <li> Folie 45 </li> <li> Ende </li> <li> Folie 46 </li> <li> Bei den richtigen Getriebebersetzungen folgt man dem Gradientenweg zum Minimum. Getriebefaktor (Gewichtsnderung) fr Deshalb Rckwrtrechnung </li> <li> Folie 47 </li> <li> Man mache sich klar: Bei idealer starker Kausalitt (Funktionsstetigkeit) ist bei kleinen Mutationen die Erfolgswahrscheinlichkeit gleich 50%. Es trifft also nicht zu (wie oft behauptet wird), dass eine erfolgreiche Mutation in der Evolution ein extrem seltenes Ereignis darstellt. Nur groe erfolg- reiche Mutationen sind sehr selten! Die 50% Erfolgswahrscheinlichkeit (differentiell) kleiner Mutationen ergibt sich aus der Tatsache, dass eine Berglandschaft in der unmittelbaren Nhe durch ein geneigtes Ebenenstckchen approximiert werden kann (Prinzip der Linearisierung). </li> <li> Folie 48 </li> <li> Vorteil der evolutionsstrategischen Trainingsmethode: Die Fehler an den Ausgngen mssen nicht explizit bekannt sein. Die Ausgnge des Neuronalen Netzes knnen z. B. die Bewegung eines Roboters steuern, dessen Ist-Trajektorie mit der Soll-Trajektorie verglichen wird und den zu minimierenden Fehler darstellt. </li> </ul>

Recommended

View more >