Bài giới thiệu RNN cuối cùng này được dịch lại từ trang blog WILDML.
Trong phần này ta sẽ tìm hiểu về LSTM (Long Short-Term Memory) và GRU (Gated Recurrent Units). LSTM lần đầu được giới thiệu vào năm 1997 bởi Sepp Hochreiter và Jürgen Schmidhuber. Nó giờ hiện diện trên hầu hết các mô hình có sử dụng học sâu cho NPL. Còn GRU mới được đề xuất vào năm 2014 là một phiên bản đơn giản hơn của LSTM nhưng vẫn giữ được các tính chất của LSTM.