Nie jesteś zalogowany | Zaloguj się

Statistical neurodynamics of deep networks: geometry of signal spaces

Prelegent(ci)
Mateusz Przyborowski
Afiliacja
MIMUW
Termin
16 października 2020 16:00
Informacje na temat wydarzenia
https://meet.google.com/jbj-tdsr-aop
Seminarium
Research Seminar of the Logic Group: Approximate reasoning in data mining

Link do spotkania/Link to meeting - https://meet.google.com/jbj-tdsr-aop

Uwaga: spotkanie o godzinie póżniejeszej niż standardowa.

Caution: meeting is scheduled for later than usual.

Neurodynamika statystyczna, wykorzystując metody statystyki, zajmuje się opisem działania losowo połączonych sieci neuronowych w zależności od sygnałów pojedynczych neuronów. Szczególnie interesująca z punktu widzenia uczenia się głębokich sieci neuronowych może być geometria sygnału przetwarzanego do kolejnych warstw sieci.
W ramach seminarium pragnę zreferować artykuł "Statistical neurodynamics of deep networks: geometry of signal spaces" (Amari, Karakida, Oizumi), w którym autorzy, przy zastosowaniu neurodynamiki statystycznej, badali własności rozmaitości generowanych przez kolejne warstwy głębokich sieci neuronowych. W szczególności, przekształcenie zanurzające wejściowy sygnał sieci neuronowej w jej liczniejszą (głębszą) warstwę jest konforemne, a tensor krzywizny (pod pewnymi założeniami) wraz z kolejnymi warstwami zbiega do stałej liczby. Ponadto opisane jest, w jaki sposób zmienia się "odległość" pomiędzy różnymi sygnałami liczona w dalszych warstwach.
W pewnym zakresie teoria przewiduje określone wyniki dot. zbieżności, które nie pokrywają się w eksperymentach (krzywizna zachowuje się jak fraktal). To zjawisko jest opisane i wyjaśnione postawionymi założeniami o nieskończonej liczbie warstw i/lub neuronów, które nie są spełniane w realnych zastosowaniach.