Les réseaux à mémoire à long terme, le plus souvent appelés “LSTM“, sont une classe unique de RNN qui peuvent reconnaître les dépendances à long terme.
Ils ont été présentés pour la première fois par Hochreiter & Schmidhuber (1997), et plusieurs auteurs les ont développés et popularisés dans des travaux ultérieurs. Ils sont actuellement fréquemment utilisés et donnent d’excellents résultats lorsqu’ils sont appliqués à un large éventail de problèmes.
Les LSTM ont été créés intentionnellement pour éviter le problème de la dépendance à long terme. Ils ne s’efforcent pas d’apprendre ; au contraire, la mémorisation des connaissances pendant de longues périodes est leur habitude par défaut.
Tous les réseaux neuronaux récurrents prennent la forme d’une série de modules de réseau neuronal qui se répètent. Ce module récurrent dans les RNN typiques sera constitué d’une seule couche tanh, par exemple.
La ligne horizontale qui traverse le haut de la figure et représente l’état de la cellule est la clé des LSTM. L’état cellulaire ressemble à certains égards à un tapis roulant. Avec seulement quelques minuscules interactions linéaires, il progresse directement le long de toute la chaîne. Les informations peuvent très facilement continuer à circuler le long de la chaîne sans être modifiées.
Étant donné qu’il peut y avoir des délais d’une longueur incertaine entre les occurrences significatives d’une série chronologique, les réseaux LSTM sont bien adaptés à la catégorisation, au traitement et à la génération de prédictions basées sur des données de séries chronologiques. Pour résoudre le problème du gradient évanescent[16] qui peut survenir lors de l’entraînement des RNN conventionnels, les LSTM ont été créés. Dans de nombreux cas, le LSTM présente un avantage par rapport aux RNN, aux modèles de Markov cachés et à d’autres techniques d’apprentissage de séquences en raison de sa relative insensibilité à la longueur de l’écart.
Travaillez-vous sur le développement des réseaux LSTM ? Les entreprises de toutes tailles travaillant dans le secteur des logiciels peuvent bénéficier d’un financement.
Contactez notre équipe pour en savoir plus !
