TECHSCENE DIGEST 01 - Tổng quan Hệ thống Machine Learning

(5 min read)

Hàng tuần, chuyên mục TechScene Digest sẽ giới thiệu tới các bạn những chia sẻ thú vị về Khoa học và Công nghệ từ các "tech guru". Mở đầu là chủ đề "hot hit" Machine Learning từ anh Quân Đặng - Machine Learning Engineer - Cộng đồng MLOps VN.

"Hồi mới nhận nhiệm vụ triển khai hệ thống ML, mình cứ nghĩ là chắc build một Web API đơn giản là xong. Tuy nhiên khi thực sự bắt tay vào làm, cộng thêm đọc tài liệu trên trời dưới đất, mình mới chợt nhận ra API chỉ là một phần nhỏ xíu thôi. Hy vọng bài viết này giúp mọi người có cái nhìn tổng quan hơn về một hệ thống ML, để khi nhận task đỡ bỡ ngỡ.

Do tính tình bộc trực thẳng thắn nên mình xin phép đi thẳng vào vấn đề chính bằng cách để bức ảnh tổng quan về hệ thống ML ở đây luôn (xem ảnh ở phần comment).

Ở đây, ngoài môi trường để Data Scientist (DS) thử nghiệm model, mình dùng thêm 2 môi trường là staging và production.

Thực hiện unit test để đảm bảo tính chính xác của các hàm riêng lẻ. Thực hiện integration test để khi kết hợp các hàm với nhau không xảy ra vấn đề gì.

Trả về kết quả dự đoán (có thể kèm giải thích cho dự đoán tuỳ model và bài toán) cho user, và lưu lại log để phân tích thêm

Monitor model: sử dụng log của bước dự đoán, kết hợp cùng dữ liệu có sẵn (ví dụ label cho user) để đánh giá xem model đã bị giảm performance chưa, hoặc có sự biến đổi nhiều trong phân bố của kết quả dự đoán không, vân vân và mây mây.

Kết luận

Hệ thống ML không chỉ đơn giản là làm xong một Web API rồi ném đấy. Mình cần xem xét các yếu tố khác, ví dụ như làm sao để quá trình từ lúc model còn đang ở môi trường research lên môi trường production nhanh nhất, hoặc khi nào thì cần thay thế một model đang trên production rồi, và thay thế như nào để giảm downtime, và nhiều thứ khác.

Tuỳ từng yêu cầu bài toàn, mà hệ thống ML sẽ được phát triển theo các hướng khác nhau, với các thành phần khác nhau, do đó nên xác định rõ yêu cầu và timeline từ đầu, để có định hướng xây dựng hệ thống phù hợp.

Tài liệu tham khảo