Khái niệm drop-out?
Mình thắc mắc về khái niệm dropout trong neural network, tại sao nên dropout các node ở mỗi layer? trong khi không phải nếu giữ nguyên các node thì sẽ có thể phủ được nhiều hơn dataset sao?
ai
,machine learning
,neural network
,trí tuệ nhân tạo
,trí tuệ nhân tạo
Trong sách nói là nó để "prevent over-fitting" bởi vì khi mà full-connected sẽ có nhiều params, nhiều functions,... --> f(X) tìm được quá phức tạp. (dẫn đến khả năng over fitting cao).
Ngoài ra, có một vài kinh nghiệm khi làm khi mà có drop-out
1. Dropout giúp tìm ra được nhiều features quan trọng.
2. Thông thường, Dropout sẽ double số lượng iterations để converge nhưng giảm thời gian training.
Có thể tham khảo paper này thử:
Trong đây có 1 đoạn khá vui trong phần motivation:
A motivation for dropout comes from a theory of the role of sex in evolution (Livnat et al., 2010). Sexual reproduction involves taking half the genes of one parent and half of the other, adding a very small amount of random mutation, and combining them to produce an offspring. The asexual alternative is to create an offspring with a slightly mutated copy of the parent’s genes. It seems plausible that asexual reproduction should be a better way to optimize individual fitness because a good set of genes that have come to work well together can be passed on directly to the offspring. On the other hand, sexual reproduction is likely to break up these co-adapted sets of genes, especially if these sets are large and, intuitively, this should decrease the fitness of organisms that have already evolved complicated coadaptations. However, sexual reproduction is the way most advanced organisms evolved"
Dang Quang An
Trong sách nói là nó để "prevent over-fitting" bởi vì khi mà full-connected sẽ có nhiều params, nhiều functions,... --> f(X) tìm được quá phức tạp. (dẫn đến khả năng over fitting cao).
Ngoài ra, có một vài kinh nghiệm khi làm khi mà có drop-out
1. Dropout giúp tìm ra được nhiều features quan trọng.
2. Thông thường, Dropout sẽ double số lượng iterations để converge nhưng giảm thời gian training.
Có thể tham khảo paper này thử:
Trong đây có 1 đoạn khá vui trong phần motivation:
A motivation for dropout comes from a theory of the role of sex in evolution (Livnat et al., 2010). Sexual reproduction involves taking half the genes of one parent and half of the other, adding a very small amount of random mutation, and combining them to produce an offspring. The asexual alternative is to create an offspring with a slightly mutated copy of the parent’s genes. It seems plausible that asexual reproduction should be a better way to optimize individual fitness because a good set of genes that have come to work well together can be passed on directly to the offspring. On the other hand, sexual reproduction is likely to break up these co-adapted sets of genes, especially if these sets are large and, intuitively, this should decrease the fitness of organisms that have already evolved complicated coadaptations. However, sexual reproduction is the way most advanced organisms evolved"