guest ::
SFB 1481 A01
Gradientenabstieg für das Lernen tiefer neuronaler Netze (A01)
| Coordinator | Professor Dr. Holger Rauhut ; Professor Dr. Michael Westdickenberg |
| Grant period | 2022 - |
| Funding body | Deutsche Forschungsgemeinschaft |
| DFG | |
| Identifier | G:(GEPRIS)504263168 |
⇧ SFB 1481: Sparsity und singuläre Strukturen ⇧
Note: Das Ziel des Projektes ist es, Fortschritte im mathematischen Verständnis der Konvergenzeigenschaften von (stochastischen) Gradientenabstiegsverfahren für das Training tiefer neuronaler Netze zu erzielen. Ein besonderer Schwerpunkt liegt auf dem hochrelevanten Phänomen des impliziten Bias, das darin besteht, dass Gradientenabstiegsalgorithmen unter vielen möglichen Netzen, die die Daten interpolieren, häufig eines lernen, das gute Vorhersagen auf unbekannten Daten macht. Wir zielen sowohl auf vereinfachte Modelle (strukturierter) linearer Netzwerke als auch auf realistische ReLU-Netzwerke ab.
Recent Publications
There are no publications
Record created 2023-01-05, last modified 2026-06-26