Le rôle de la technologie dans l’alimentation de la popu...
La population mondiale compte actuellement 8 milliards d’habitants. Les projections des Nat...
Les réseaux à mémoire à long terme, le plus souvent appelés “LSTM“, sont une classe unique de RNN qui peuvent reconnaître les dépendances à long terme.
Ils ont été présentés pour la première fois par Hochreiter & Schmidhuber (1997), et plusieurs auteurs les ont développés et popularisés dans des travaux ultérieurs. Ils sont actuellement fréquemment utilisés et donnent d’excellents résultats lorsqu’ils sont appliqués à un large éventail de problèmes.
Les LSTM ont été créés intentionnellement pour éviter le problème de la dépendance à long terme. Ils ne s’efforcent pas d’apprendre ; au contraire, la mémorisation des connaissances pendant de longues périodes est leur habitude par défaut.
Tous les réseaux neuronaux récurrents prennent la forme d’une série de modules de réseau neuronal qui se répètent. Ce module récurrent dans les RNN typiques sera constitué d’une seule couche tanh, par exemple.
La ligne horizontale qui traverse le haut de la figure et représente l’état de la cellule est la clé des LSTM. L’état cellulaire ressemble à certains égards à un tapis roulant. Avec seulement quelques minuscules interactions linéaires, il progresse directement le long de toute la chaîne. Les informations peuvent très facilement continuer à circuler le long de la chaîne sans être modifiées.
Étant donné qu’il peut y avoir des délais d’une longueur incertaine entre les occurrences significatives d’une série chronologique, les réseaux LSTM sont bien adaptés à la catégorisation, au traitement et à la génération de prédictions basées sur des données de séries chronologiques. Pour résoudre le problème du gradient évanescent[16] qui peut survenir lors de l’entraînement des RNN conventionnels, les LSTM ont été créés. Dans de nombreux cas, le LSTM présente un avantage par rapport aux RNN, aux modèles de Markov cachés et à d’autres techniques d’apprentissage de séquences en raison de sa relative insensibilité à la longueur de l’écart.
Travaillez-vous sur le développement des réseaux LSTM ? Les entreprises de toutes tailles travaillant dans le secteur des logiciels peuvent bénéficier d’un financement.
Contactez notre équipe pour en savoir plus !
Découvrir nos derniers articles
Voir plus arrow_forwardLe rôle de la technologie dans l’alimentation de la popu...
La population mondiale compte actuellement 8 milliards d’habitants. Les projections des Nat...
Connaître vos subventions – Épisode 14: Programme AgrIn...
Découvrez le programme AgrInnovate avec Leyton ! Pour cet épisode, nous expliquons comment cette ...
Possibilités de financement pour les entreprises canadiennes e...
Le budget du gouvernement pour 2023-4 présente des informations clés pour tous ceux qui cherchent...
Qu’est-ce que la gouvernance des données et pourquoi est...
la gouvernance des données est l'établissement de droits de décision et d'un cadre de responsabil...