Bài 25. Từ dữ liệu thô đến bảng số liệu đáng tin
Trước khi vẽ được bất kỳ biểu đồ nào, người làm dữ liệu phải trả lời hai câu hỏi rất thực tế: lấy dữ liệu ở đâu, và làm sao biết dữ liệu đó có dùng được không. Bài học này đi vào các nguồn dữ liệu thường gặp, cách một bảng dữ liệu được lưu trong tệp CSV, và bốn loại lỗi phải nhặt ra cùng cách xử lí từng loại.
- Cánh DiềuTin học 12 (Khoa học máy tính) - Chủ đề F(CS) · Bài 3. Giới thiệu về khoa học dữ liệu (tiếp theo)tr. 139
- Chân trời sáng tạoTin học 12 (Khoa học máy tính) - Bài F16. Máy tính, thuật toán và Khoa học dữ liệutr. 151
- Kết nối tri thứcTin học 12 (Khoa học máy tính) - Bài 27. Máy tính và Khoa học dữ liệutr. 145–148
Bắt đầu bằng một hình dung
Câu lạc bộ Xe đạp xanh của một trường THPT muốn đề xuất nhà trường mở thêm chỗ để xe. Để có căn cứ thuyết phục, các bạn làm một cuộc hỏi ý kiến nhỏ: mỗi học sinh cho biết mình đi từ nhà đến trường bằng phương tiện gì và mất khoảng bao nhiêu phút. Phiếu hỏi được gửi qua mạng, chỉ sau ba ngày đã có hơn bốn trăm bạn trả lời. Cả nhóm mừng rỡ, tưởng chừng chỉ còn việc tính toán rồi viết báo cáo.
Nhưng khi mở bảng kết quả ra thì mọi chuyện không đơn giản như vậy. Hơn chục bạn điền những con số ba chữ số - 400, 700, có bạn ghi tới 1200 - vì các bạn ấy hiểu nhầm câu hỏi và tính bằng giây thay vì bằng phút. Có bạn ghi ‘khoảng mười lăm đến hai mươi’ nên máy không tính được. Có mấy chục ô để trống vì người trả lời bỏ qua câu hỏi. Lại có những dòng giống hệt nhau từng chữ, do bạn nào đó bấm gửi hai lần cho chắc.
Nhóm trưởng thử tính ngay giá trị trung bình trên bảng thô: kết quả ra 38 phút. Con số này khiến ai cũng ngờ ngợ, vì trường nằm giữa thị trấn, hầu hết học sinh nhà chỉ cách trường vài cây số. Chỉ mười mấy dòng ghi sai đơn vị, mỗi dòng lớn gấp mấy chục lần một dòng bình thường, đã đủ sức kéo lệch con số trung bình của cả hơn bốn trăm phiếu.
Thế là cả nhóm dành trọn một buổi chiều ngồi rà lại từng dòng: đổi các số ghi bằng giây về phút, bỏ các dòng lặp, hỏi lại vài bạn có số liệu lạ. Tính lại lần nữa, con số trung bình chỉ còn 14 phút - hợp lí hẳn. Buổi chiều hôm đó dạy các bạn một điều: việc tốn công nhất trong một bài phân tích không phải là vẽ biểu đồ, mà là làm cho bảng số liệu trở nên đáng tin.
Nội dung bài học
- 1) Dữ liệu đến từ những nguồn nào?
- 2) Bảng dữ liệu và tệp CSV
- 3) Bốn lỗi thường gặp và cách xử lí từng lỗi
- 4) Dữ liệu bẩn, mô hình thiên lệch và trách nhiệm khi thu thập
Tóm tắt lý thuyết cần nhớ
- Dữ liệu thường đến từ bốn nguồn: khảo sát và biểu mẫu trực tuyến, cảm biến và thiết bị đo, nhật kí hoạt động của hệ thống (
log) và dữ liệu mở do cơ quan nhà nước công bố. - Trong một bảng dữ liệu, mỗi hàng là một quan sát, mỗi cột là một thuộc tính; tệp CSV lưu bảng đó dưới dạng văn bản thuần, mỗi dòng một hàng, các giá trị ngăn cách bởi dấu phẩy.
- Bốn lỗi phải soi khi làm sạch là giá trị bị thiếu, bản ghi trùng lặp, sai kiểu hoặc sai định dạng và giá trị bất thường - xử lí lần lượt bằng điền trung bình hoặc bỏ hàng, xoá bản trùng, chuẩn hoá định dạng và đơn vị, kiểm tra lại trước khi quyết định.
- Dữ liệu bẩn dẫn tới kết luận sai, và mô hình học máy huấn luyện trên dữ liệu thiên lệch sẽ thiên lệch theo; khi thu thập dữ liệu về con người phải xin phép, nêu rõ mục đích, ẩn danh thông tin định danh và chỉ thu vừa đủ.
Thuật ngữ tiếng Anh trong bài
| Tiếng Anh | Đọc là | Nghĩa |
|---|---|---|
| data science | đây-tơ sai-ơns | khoa học dữ liệu Là môn tìm hiểu thật nhiều số liệu để rút ra điều hay. |
| big data | bích đây-tơ | dữ liệu lớn Là lượng thông tin khổng lồ, nhiều đến mức đếm bằng tay không xuể. |
Câu hỏi trắc nghiệm có đáp án
Mấy câu mẫu để bạn tự kiểm tra ngay. Trong ứng dụng, bài này có đủ 25 câu, chấm điểm tự động và giải thích từng câu sai.
- Mỗi hàng là một thuộc tính, mỗi cột là một quan sát
- Mỗi hàng là một quan sát, mỗi cột là một thuộc tính
- Mỗi hàng là một tệp dữ liệu, mỗi cột là một bảng con
- Mỗi hàng và mỗi cột đều là một quan sát độc lập
- Là tệp nhị phân, chỉ mở được bằng một phần mềm bảng tính chuyên dụng
- Chỉ lưu được duy nhất một cột dữ liệu trong mỗi tệp
- Là tệp văn bản thuần, mỗi dòng ứng với một hàng của bảng, các giá trị ngăn cách bởi dấu phẩy
- Tự động phát hiện và sửa các ô bị thiếu hoặc các dòng trùng lặp trong bảng
- Giữ nguyên tất cả, vì càng nhiều phiếu thì kết quả thống kê càng đáng tin
- Xoá toàn bộ 24 phiếu liên quan, kể cả bản gửi lần đầu, cho chắc chắn
- Điền giá trị trung bình của cả cột vào các phiếu bị trùng
- Chỉ giữ lại đúng một bản cho mỗi phiếu và xoá các bản trùng còn lại
- a)Tệp CSV lưu bảng dữ liệu dưới dạng văn bản thuần nên có thể mở xem bằng một trình soạn thảo văn bản đơn giản.Đúng
- b)Khi một cột số bị thiếu vài ô, cách duy nhất được phép làm là xoá toàn bộ những hàng có ô trống đó.Sai
- c)Nhật kí hoạt động của hệ thống và dữ liệu mở do cơ quan nhà nước công bố đều có thể trở thành nguồn dữ liệu cho một bài phân tích.Đúng
- d)Nếu dữ liệu huấn luyện đã thiên lệch thì chỉ cần đổi sang một thuật toán học máy mạnh hơn là mô hình sẽ hết thiên lệch.Sai
- (a) Đúng - CSV là văn bản thuần, mỗi dòng một hàng của bảng, các giá trị cách nhau bởi dấu phẩy, nên mở được bằng trình soạn thảo văn bản thông thường chứ không cần phần mềm chuyên dụng.
- (b) Sai - xoá hàng chỉ là một lựa chọn, và chỉ nên dùng khi hàng đó thiếu quá nhiều ô; nếu chỉ thiếu lác đác ở một cột số thì điền bằng giá trị trung bình của cột sẽ giữ lại được các thông tin còn lại của hàng.
- (c) Đúng - bên cạnh khảo sát trực tuyến và cảm biến, nhật kí hoạt động của hệ thống và dữ liệu mở là hai nguồn dữ liệu rất thông dụng.
- (d) Sai - mô hình chỉ học được từ đúng những gì có trong dữ liệu, nên dữ liệu thiên lệch sẽ cho mô hình thiên lệch theo bất kể thuật toán mạnh đến đâu; muốn khắc phục phải sửa từ khâu thu thập dữ liệu.
Thử ngay: minh hoạ từng bước
Bấm từng bước để tự xem cơ chế hoạt động, hoặc bấm “Tự chạy” cho nó tiến mỗi giây một lần. Đổi được dữ liệu đầu vào - không cần đăng nhập.
Học trọn bài này trong ứng dụng
Bài giảng đầy đủ, 25 câu luyện tập chấm tự động, thi thử đúng cấu trúc đề tốt nghiệp (24 trắc nghiệm + 4 Đúng/Sai), bài thực hành máy tự chấm và gia sư AI giải thích chỗ sai.
Phần học miễn phí, không cần tạo tài khoản.
Bài liên quan - Trí tuệ nhân tạo & Học máy
Cùng mạch kiến thức với bài này, học nối tiếp cho chắc phần lí thuyết.