Cách chọn siêu tham số cho mạng neuron?
Chào mọi người ạ, em là sv mới bắt đầu học về mạng neuron. Em đang chạy thử trên data set MNIST và CIFAR-10 và có thắc mắc là làm sao để chọn siêu tham số (hyper-parameters) tốt nhất. Em thấy có rất nhiều thứ cần tune như số lớp, số neuron trong mỗi lớp, learning rate, vv. Làm sao để chọn để có độ chính xác cao nhất ạ?
trí tuệ nhân tạo
Chỉnh các tham số trong mạng Neuron khá là phức tạp. Theo kinh nghiệm cho thấy, đầu tiền tunning learning rate (giảm training time và tránh bị local min) chọn learning rate nhỏ và tăng dần. Ngoài ra có thể chọn gradient direction. Sau đó tiếp đến độ sâu và độ rộng của neural net. Cuối cùng là training errors.
Nội dung liên quan
An DANG
Chỉnh các tham số trong mạng Neuron khá là phức tạp. Theo kinh nghiệm cho thấy, đầu tiền tunning learning rate (giảm training time và tránh bị local min) chọn learning rate nhỏ và tăng dần. Ngoài ra có thể chọn gradient direction. Sau đó tiếp đến độ sâu và độ rộng của neural net. Cuối cùng là training errors.