Introduit les réseaux de mémoire à long terme (LSTM) comme une solution pour la disparition et l'explosion des gradients dans les réseaux neuronaux récurrents.
Couvre les Perceptrons multicouches, les neurones artificiels, les fonctions d'activation, la notation matricielle, la flexibilité, la régularisation, la régression et les tâches de classification.
Introduit un apprentissage profond, de la régression logistique aux réseaux neuraux, soulignant la nécessité de traiter des données non linéairement séparables.
Introduit des réseaux neuronaux, des fonctions d'activation et de rétropropagation pour la formation, en répondant aux défis et aux méthodes puissantes.
Plonge dans l'impact de l'apprentissage profond sur les systèmes de connaissances non conceptuels et les progrès dans les transformateurs et les réseaux antagonistes génératifs.
Explore l'optimalité des splines pour l'imagerie et les réseaux neuraux profonds, démontrant la sparosité et l'optimalité globale avec les activations des splines.
Couvre les concepts fondamentaux de l'apprentissage profond et de l'architecture Transformer, en se concentrant sur les réseaux neuronaux, les mécanismes d'attention et leurs applications dans les tâches de modélisation de séquence.
Explore l'optimisation des réseaux neuronaux, y compris la rétropropagation, la normalisation des lots, l'initialisation du poids et les stratégies de recherche d'hyperparamètres.
