RNN, LSTM, Seq2seq series. part 1: RNN

Khác với các mô hình khác, RNN sử dụng đầu ra của step trước làm đầu vào của step sau, nhờ đó nó đặc biệt phù hợp với các bài toán xử lý chuỗi. Ví dụ như bài toán machine translation trong NLP.

Khi thực hiện Backpropagation cho 1 mạng RNN, Gradient giảm dần theo cấp số mũ (từ tầng cuối cùng đến tầng đầu tiên) các tầng nên ở những tầng đầu, tốc độ training là rất thấp.