Cách xử lý trong trường hợp tập dữ liệu là không cân bằng (imbalanced dataset)?

  1. Trí tuệ nhân tạo

Từ khóa: 

trí tuệ nhân tạo

Data augmentation:

  • Oversampling -> Tạo thêm dữ liệu cho phần dữ liệu bị thiếu
  • Down sampling -> Bỏ bớt dữ liệu cho phần dữ liệu đang dư
Optimization:
  • Classweighting -> Tăng weight cho phần dữ liệu thiếu cao lên
  • Training -> Tăng xác suất phần dữ liệu thiếu được sử dụng trong quá trình training
  • Ngoài ra còn một số phương pháp khác mời các chuyên gia khác thêm vào

Trả lời

Data augmentation:

  • Oversampling -> Tạo thêm dữ liệu cho phần dữ liệu bị thiếu
  • Down sampling -> Bỏ bớt dữ liệu cho phần dữ liệu đang dư
Optimization:
  • Classweighting -> Tăng weight cho phần dữ liệu thiếu cao lên
  • Training -> Tăng xác suất phần dữ liệu thiếu được sử dụng trong quá trình training
  • Ngoài ra còn một số phương pháp khác mời các chuyên gia khác thêm vào

Mình cũng đang thắc mắc câu hỏi này mà chưa có lời giải tốt. Following
Mình comment để follow câu hỏi này. Thực sự trong cuộc số có nhiều tập dữ liệu bị lệch chẳng hạn bài toán phát hiện gian lận trong giao dịch. Mình cũng chưa tìm được phương pháp ổn cho bài toán này^^
Nội dung liên quan

Bạn sẽ chọn cách nào trong trường hợp này?

Mọi người có nghĩ đến một ngày nào đó Trí tuệ nhân tạo (AI) sẽ đe doạ loài người ko?

Cách để cân bằng cuộc sống sau khi chia tay?

Tại sao kẻ xấu thì thường sống tốt, còn người lương thiện lại phải sống rất khổ?

Vì sao 2 người không có kết quả, ông trời vẫn sắp đặt cho họ gặp nhau?

Phong Thủy là khoa học hay mê tín?

Nội dung sắp xếp theo thời gian

Làm thế nào để xây dựng model trong trường hợp ít dữ liệu?

Các phương pháp để tunning hyper parameters hiệu quả?

Hàm activition trong neural networks?

Yếu tố nào quan trọng nhất để xây dựng 1 model?

Best practice để thực hiện 1 dự án AI như thế nào?