You are not logged in |
Statistical neurodynamics of deep networks: geometry of signal spaces
- Speaker(s)
- Mateusz Przyborowski
- Affiliation
- MIMUW
- Date
- Oct. 16, 2020, 4 p.m.
- Information about the event
- https://meet.google.com/jbj-tdsr-aop
- Seminar
- Research Seminar of the Logic Group: Approximate reasoning in data mining
Link do spotkania/Link to meeting - https://meet.google.com/jbj-tdsr-aop
Uwaga: spotkanie o godzinie póżniejeszej niż standardowa.
Caution: meeting is scheduled for later than usual.
Neurodynamika statystyczna, wykorzystując metody statystyki, zajmuje się opisem działania losowo połączonych sieci neuronowych w zależności od sygnałów pojedynczych neuronów. Szczególnie interesująca z punktu widzenia uczenia się głębokich sieci neuronowych może być geometria sygnału przetwarzanego do kolejnych warstw sieci.
W ramach seminarium pragnę zreferować artykuł "Statistical neurodynamics of deep networks: geometry of signal spaces" (Amari, Karakida, Oizumi), w którym autorzy, przy zastosowaniu neurodynamiki statystycznej, badali własności rozmaitości generowanych przez kolejne warstwy głębokich sieci neuronowych. W szczególności, przekształcenie zanurzające wejściowy sygnał sieci neuronowej w jej liczniejszą (głębszą) warstwę jest konforemne, a tensor krzywizny (pod pewnymi założeniami) wraz z kolejnymi warstwami zbiega do stałej liczby. Ponadto opisane jest, w jaki sposób zmienia się "odległość" pomiędzy różnymi sygnałami liczona w dalszych warstwach.
W pewnym zakresie teoria przewiduje określone wyniki dot. zbieżności, które nie pokrywają się w eksperymentach (krzywizna zachowuje się jak fraktal). To zjawisko jest opisane i wyjaśnione postawionymi założeniami o nieskończonej liczbie warstw i/lub neuronów, które nie są spełniane w realnych zastosowaniach.
