Những xu hướng hiện tại trong Machine Learning
Những xu hướng hiện tại trong Machine Learning
*Được dịch từ bài viết của tác giả Andrej Karpathy
Bài viết sẽ phân tích về xu hướng phát triển của lĩnh vực học máy trong khoảng 5 năm trở lại đây thông qua các thống kê thú vị về những bài báo khoa học trong lĩnh vực này. Các bài báo sử dụng để phân tích được lấy từ
Số lượng các bài báo được gửi đi
Đây là biểu đồ số lượng các bài viết được gửi trong 5 năm trở lại đây:
Các bài báo này thuộc 1 trong các chủ đề (
Các Framework trong Deep Learning
Độ phổ biến của các framework được biểu diễn thông qua tỷ lệ các bài báo có trích dẫn những framework này. Với những bài báo trong tháng 3/2017, ta có các thông số sau:
% bài báo framework thời gian tính từ lúc xuất hiện (tháng) ------------------------------------------------------------ 9.1 tensorflow 167.1 caffe 374.6 theano 543.3 torch 372.5 keras 191.7 matconvnet 261.2 lasagne 230.5 chainer 160.3 mxnet 170.3 cntk 130.2 pytorch 10.1 deeplearning4j 14
Có thể thấy khoảng 10% bài báo có nhắc đến Tensorflow, một framework Deep Learning được phát triển bới Google. Theano là framework có tuổi đời lâu nhất, tuy nhiên độ phổ biến đã bị giảm đi với sự xuất hiện của Caffe và Tensorflow. Dưới đây là biểu đồ độ phổ biến theo thời gian của các framework trên:
Thuật toán tối ưu
Biểu đồ độ phổ biến của các thuật toán tối ưu:
Thuật toán Adam thể hiện sự áp đảo so với các thuật toán khác với 23% tỷ lệ xuất hiển trong các bài báo. Tỷ lệ sử dụng trong thưc tế khá khó để ước lượng nhưng có thể còn cao hơn 23% vì nhiều bài báo không nhắc đến thuật toán tối ưu được sử dụng.
Những từ khóa nổi bật
Tỷ lệ phổ biến của các từ khóa được đo bằng số lần được nhắc đến trong năm ngoái / số lần được nhắc đến tính trong cả 5 năm trở lại. Những từ khóa có tần số xuất hiện trong năm ngoái cao sẽ đứng đầu danh sách:
Dựa vào những thông số trên, có thể thấy được độ nóng của lĩnh vực image processing - computer vision với Deep Learning qua vị trí đầu danh sách của từ khóa residual networks. Không chỉ vậy, Deep Learning đã chứng minh hiệu quả khi được áp dụng vào trong những bài toán xử lý ngôn ngữ tự nhiên như Dịch máy - Neural Machine Translation với mô hình encoder - decoder kết hợp word2vec. Như đã đề cập ở trên, với sự phát triển nhanh chóng của Deep Learning trong những năm gần đây với những từ khóa như gated - lstm - gru, framework tensorflow cũng đi kèm như một công cụ hiệu quả để xây dững những mô hình sử dụng công nghệ Deep Learning.
Nguồn: Medium A Peek At Trends in Machine Learning
