Những cải tiến của mạng LSTM so với mạng RNN là gì?
Ví dụ một bài toán cụ thể mà mạng LSTM có thể giải quyết tốt còn mạng RNN thì không giải quyết được ?
ai
,trí tuệ nhân tạo
Một điểm nổi bật của RNN chính là ý tưởng kết nối các thông tin phía trước để dự đoán cho hiện tại. Việc này tương tự như ta sử dụng các cảnh trước của bộ phim để hiểu được cảnh hiện thời. Nhưng thật không may là với khoảng cách càng lớn dần thì RNN bắt đầu không thể nhớ và học được nữa. Do đó Mạng bộ nhớ dài-ngắn (Long Short Term Memory networks)Mạng bộ nhớ dài-ngắn (Long Short Term Memory networks) thường được gọi là LSTM - là một dạng đặc biệt của RNN ra đời, nó có khả năng học được các phụ thuộc xa. Chúng hoạt động cực kì hiệu quả trên nhiều bài toán khác nhau nên dần đã trở nên phổ biến như hiện nay.
Nội dung liên quan
Nguyễn Văn Thịnh
Một điểm nổi bật của RNN chính là ý tưởng kết nối các thông tin phía trước để dự đoán cho hiện tại. Việc này tương tự như ta sử dụng các cảnh trước của bộ phim để hiểu được cảnh hiện thời. Nhưng thật không may là với khoảng cách càng lớn dần thì RNN bắt đầu không thể nhớ và học được nữa. Do đó Mạng bộ nhớ dài-ngắn (Long Short Term Memory networks)Mạng bộ nhớ dài-ngắn (Long Short Term Memory networks) thường được gọi là LSTM - là một dạng đặc biệt của RNN ra đời, nó có khả năng học được các phụ thuộc xa. Chúng hoạt động cực kì hiệu quả trên nhiều bài toán khác nhau nên dần đã trở nên phổ biến như hiện nay.
Trần B. V. Sơn
Theo lí thuyết, RNN có thể nhớ chuỗi có độ dài bất kì, nhưng trên thực tế, RNN chỉ nhớ được thông tin của vài bước trước đó. Cải tiến lớn nhất của mạng LSTM so với RNN là LSTM giải quyết vấn đề Vanishing/Exploding của RNN. Ví dụ như bài toán NER, bài toán gán nhãn...