Les réseaux à mémoire à long terme (LSTM)

  • Par Annan Liu
    • 6 Févr. 2023
    • read
  • Twitter
  • Linkedin
Long short term memory AI

Les réseaux à mémoire à long terme, le plus souvent appelés “LSTM“, sont une classe unique de RNN qui peuvent reconnaître les dépendances à long terme.

Ils ont été présentés pour la première fois par Hochreiter & Schmidhuber (1997), et plusieurs auteurs les ont développés et popularisés dans des travaux ultérieurs. Ils sont actuellement fréquemment utilisés et donnent d’excellents résultats lorsqu’ils sont appliqués à un large éventail de problèmes.

Les LSTM ont été créés intentionnellement pour éviter le problème de la dépendance à long terme. Ils ne s’efforcent pas d’apprendre ; au contraire, la mémorisation des connaissances pendant de longues périodes est leur habitude par défaut.

Tous les réseaux neuronaux récurrents prennent la forme d’une série de modules de réseau neuronal qui se répètent. Ce module récurrent dans les RNN typiques sera constitué d’une seule couche tanh, par exemple.

Long short term memory artificial intelligence

La ligne horizontale qui traverse le haut de la figure et représente l’état de la cellule est la clé des LSTM. L’état cellulaire ressemble à certains égards à un tapis roulant. Avec seulement quelques minuscules interactions linéaires, il progresse directement le long de toute la chaîne. Les informations peuvent très facilement continuer à circuler le long de la chaîne sans être modifiées.

Étant donné qu’il peut y avoir des délais d’une longueur incertaine entre les occurrences significatives d’une série chronologique, les réseaux LSTM sont bien adaptés à la catégorisation, au traitement et à la génération de prédictions basées sur des données de séries chronologiques. Pour résoudre le problème du gradient évanescent[16] qui peut survenir lors de l’entraînement des RNN conventionnels, les LSTM ont été créés. Dans de nombreux cas, le LSTM présente un avantage par rapport aux RNN, aux modèles de Markov cachés et à d’autres techniques d’apprentissage de séquences en raison de sa relative insensibilité à la longueur de l’écart.

Travaillez-vous sur le développement des réseaux LSTM ? Les entreprises de toutes tailles travaillant dans le secteur des logiciels peuvent bénéficier d’un financement.

Contactez notre équipe pour en savoir plus !

Auteur

Annan Liu
Annan Liu

Senior Innovation Funding Consultant

Découvrir nos derniers articles

Voir plus arrow_forward
plastic recycling
Recyclage du plastique – La prochaine frontière environn...

Le recyclage des plastiques etes un défi connu dans la lutte pour une planète plus durable. Les e...

Quebec Business Grants
5 subventions québécoises pour entreprises

Vous souhaitez obtenir des subventions québécoises, mais vous ne savez pas par où commencer ? Alo...

SR&ED updates
Actualisations de la RS&DE dans le budget 2024

Le budget fédéral 2024 a proposé des actualisations intéressants en matière de RS&DE ! Que vo...

water harvester
Un collecteur d’eau portable alimenté par le soleil pour...

Des chercheurs de l’université de Californie à Berkeley ont conçu un collecteur d’eau...