Propriétés théoriques des RNN

Cette séance de cours s'inscrit dans les propriétés théoriques des réseaux neuraux récurrents (RNN), en se concentrant sur leur précision infinie et finie au fil du temps. L'instructeur discute d'architectures RNN communes comme les LSTM et les GRU, ainsi que d'architectures non conventionnelles comme les QRNN. La séance de cours explore la relation entre les RNN et les machines d'état, en se demandant si les RNN sont équivalents à des automates finis déterministes. Il couvre également l'exhaustivité Turing des RNN, en les comparant aux machines Turing. Le pouvoir pratique des RNN est examiné par leur capacité à gérer des tâches basées sur le comptage, révélant les forces et les limites des différents mécanismes RNN. En outre, la séance de cours présente le concept de réseaux neuraux quasi-récurrents (RRQ) comme une alternative aux MTSL, en discutant de leurs forces et faiblesses potentielles.