Chuyên viên phân tích dữ liệu · Bước 4/8 · 9 phút
Làm sạch dữ liệu mà không làm sai sự thật
Bạn tìm được dòng trùng, giá trị thiếu, kiểu dữ liệu sai, và ghi lại mọi thao tác sửa.
Nhìn kỹ trước khi sửa
Trước khi đụng vào bất cứ thứ gì, hãy khảo sát dữ liệu: bao nhiêu dòng, bao nhiêu mã duy nhất, mỗi cột trống bao nhiêu ô, giá trị nhỏ nhất và lớn nhất của từng cột số và cột ngày. Giá trị bất thường sẽ lộ ra rất nhanh, như đơn hàng ngày 1900 hay giá âm 5.000 đồng.
Luôn giữ nguyên file gốc. Làm trên bản sao, hoặc làm bằng SQL và code để dữ liệu gốc không bị thay đổi.
Dòng trùng và giá trị thiếu
Dòng trùng sinh ra do xuất file hai lần, hệ thống ghi lại khi lỗi, hoặc khi gộp dữ liệu. Xác định điều gì làm một dòng là duy nhất (mã đơn, hay khách hàng cộng ngày cộng sản phẩm) rồi đếm số dòng theo khóa đó. Xóa dòng trùng hoàn toàn; dòng gần giống thì tìm hiểu kỹ trước khi xóa.
Giá trị thiếu cần một quyết định, không phải phản xạ. Ô trống có thể là bằng không, là chưa biết, hoặc là không áp dụng. Điền số 0 vào ô trống có thể làm lệch trung bình rất nhiều. Thường cách trung thực là loại ra và nói rõ đã loại bao nhiêu dòng.
Kiểu dữ liệu, ngày tháng và chữ
Sửa số lưu dạng văn bản, cắt khoảng trắng thừa, và chuẩn hóa danh mục để “Hà Nội”, “Ha Noi” và “HN” thành một giá trị. Ngày tháng là cái bẫy quen thuộc: 03/04/2026 ở Việt Nam là ngày 3 tháng 4, nhưng ở Mỹ là ngày 4 tháng 3. Kiểm tra vài ngày có số ngày lớn hơn 12 để xác nhận định dạng.
Để ý cả múi giờ. Một đơn lúc 23:30 theo giờ Việt Nam có thể rơi vào ngày khác nếu hệ thống lưu theo giờ UTC.
Ghi lại từng bước
Giữ một nhật ký làm sạch ngắn: đã sửa gì, vì sao, ảnh hưởng bao nhiêu dòng. “Xóa 214 đơn trùng hoàn toàn. Loại 37 đơn không có ngày.” Nhờ vậy người khác tin được con số của bạn, và bạn làm lại được khi có dữ liệu mới.
Các bước làm bằng SQL, Power Query hay notebook Python tự ghi lại chính nó. Sửa tay trong bảng tính thì không, nên hãy ghi chép lại.
Thử ngay
Làm sạch một bộ dữ liệu lộn xộn
- 1.Nhờ chatbot tạo một bộ dữ liệu giả lộn xộn bằng câu lệnh bên dưới.
- 2.Dán vào bảng tính và khảo sát: số dòng, ô trống, số mã duy nhất.
- 3.Sửa những gì tìm thấy, ghi nhật ký từng thay đổi kèm số dòng bị ảnh hưởng.
- 4.So nhật ký của bạn với danh sách lỗi mà chatbot đã cài vào.
Hãy tạo một bộ dữ liệu giả gồm 40 đơn hàng online của một shop bán trên sàn thương mại điện tử, định dạng CSV, với các cột order_id, order_date, customer_city, product, quantity, price (đồng). Cố tình cài vào: 3 dòng trùng, vài ô giá bị trống, số có kèm ký hiệu tiền tệ, tên thành phố viết không thống nhất, và ngày tháng lẫn nhiều định dạng. Sau phần dữ liệu, liệt kê riêng mọi lỗi đã cài để tôi tự kiểm tra.