Giới thiệu
Đây là challenge tổng hợp đầu tiên. Bạn sẽ quay lại bài toán nhà đất nhưng làm ở mức trưởng thành hơn: pipeline, xử lý missing, feature engineering, cross-validation và tuning. Mục tiêu là ghép các kỹ năng rời rạc thành một workflow hoàn chỉnh.
Mục tiêu bài học
- Hoàn thành một challenge regression tương đối đầy đủ.
- Kết hợp preprocessing, pipeline và tuning trong cùng một luồng.
- Viết phần tổng kết rõ ràng như một mini báo cáo kỹ thuật.
Yêu cầu challenge
Bạn cần nộp 3 đầu ra: notebook hoặc script huấn luyện, file mô tả quyết định kỹ thuật và bảng so sánh ít nhất 3 thử nghiệm mô hình.
Hướng làm đề xuất
- Bắt đầu bằng baseline đơn giản.
- Kiểm tra missing values và kiểu dữ liệu.
- Tạo một pipeline chuẩn.
- Chạy cross-validation.
- Tuning ít tham số quan trọng.
- Phân tích model tốt nhất và các lỗi nổi bật.
Những câu hỏi bạn phải tự trả lời
- Feature nào quan trọng nhất?
- Sai số lớn nhất rơi vào nhóm nhà nào?
- Thêm feature engineering có cải thiện thật không?
- Model hiện tại có đủ tin cậy để dùng ước lượng sơ bộ hay chưa?
Sai lầm thường gặp
- Viết notebook dài nhưng không có kết luận rõ.
- Tuning rất nhiều nhưng không lưu kết quả cũ.
- Đánh giá theo cảm giác mà không dùng metric nhất quán.
Bài tập thực hành
- Làm challenge như một submission độc lập.
- Tạo bảng thí nghiệm với cột: model, preprocessing, CV score, ghi chú.
- Viết phần bài học rút ra dài khoảng 10 dòng.
Tiêu chí hoàn thành
- Có pipeline hoàn chỉnh chạy được end-to-end.
- Có so sánh thí nghiệm có cấu trúc.
- Có kết luận rõ vì sao chọn model cuối cùng.
Thực hành từng bước (nâng cao)
- Time-box 60 phút theo ba pha: chuẩn bị, mô hình, tổng kết.
- Thiết kế ít nhất 3 thí nghiệm có khác biệt rõ ràng.
- Ghi đầy đủ giả định cho từng thí nghiệm.
- Chọn model cuối bằng tiêu chí metric + tính ổn định.
- Viết post-mortem: nếu có thêm 2 giờ bạn sẽ làm gì.
Artifact nên nộp
- Bảng experiment tracking tối thiểu 3 dòng.
- Notebook sạch, chạy từ đầu đến cuối.
- Tóm tắt 1 trang theo format kỹ thuật + business.
Câu hỏi tự kiểm tra
- Bạn đã thực sự kiểm soát leakage chưa?
- Tuning nào mang lại lợi ích lớn nhất?
- Kết quả hiện tại đủ để ship bản beta chưa?