Dưới đấy là slide giới thiệu về RNNs, LSTM, GRU tại Tokyo ML Event hôm chủ nhật 08/07/2018 vừa qua. Tiện đây, blog mình có thêm mục Chém gió lưu trữ lại các slide trình bày của mình tại các hội nhóm.
Bài giới thiệu RNN cuối cùng này được dịch lại từ trang blog WILDML.
Trong phần này ta sẽ tìm hiểu về LSTM (Long Short-Term Memory) và GRU (Gated Recurrent Units). LSTM lần đầu được giới thiệu vào năm 1997 bởi Sepp Hochreiter và Jürgen Schmidhuber. Nó giờ hiện diện trên hầu hết các mô hình có sử dụng học sâu cho NPL. Còn GRU mới được đề xuất vào năm 2014 là một phiên bản đơn giản hơn của LSTM nhưng vẫn giữ được các tính chất của LSTM.
Bài giới thiệu RNN thứ 3 này được dịch lại từ trang blog WILDML.
Trong phần này tôi sẽ giới thiệu tổng quan về BPTT (Backpropagation Through Time) và giải thích sự khác biệt của nó so với các giải thuật lan truyền ngược truyền thống. Sau đó ta sẽ cùng tìm hiểu vấn đề mất mát đạo hàm (vanishing gradient problem), nó dẫn ta tới việc phát triển của LSTM và GRU - 2 mô hình phổ biến và mạnh mẽ nhất hiện nay trong các bài toán NLP (và cả các lĩnh vực khác).
Bài giới thiệu RNN thứ 2 này được dịch lại từ trang blog WILDML.
Trong phần này chúng ta sẽ cài đặt một mạng nơ-ron hồi quy từ đầu sử dụng Python và tối ưu với Theano - một thư viện tính toán trên GPU. Tôi sẽ chỉ đề cập các thành phần quan trọng để giúp bạn có thể hiểu được RNN, còn toàn bộ mã nguồn bạn có thể xem trên Github.
Bài LSTM này được dịch lại từ trang colah’s blog.
LSTM là một mạng cải tiến của RNN nhằm giải quyết vấn đề nhớ các bước dài của RNN. Có nhiều bài đã viết về LSTM, nhưng được đề cập tới nhiều và dễ hiểu nhất có lẽ là của anh Christopher Olah. Nên mình quyết định dịch lại cho bản thân có thể hiểu thêm và cho cả các bạn đang tìm hiểu.
Bài giới thiệu RNN này được dịch lại từ trang blog WILDML.
Mạng nơ-ron hồi quy (RNN - Recurrent Neural Network) là một thuật toán được chú ý rất nhiều trong thời gian gần đây bởi các kết quả tốt thu được trong lĩnh vực xử lý ngôn ngữ tự nhiên.
