Kế Hoạch Làm Sạch Dữ Liệu Cho Các File Xuất Excel Lộn Xộn
Tạo kế hoạch chuẩn hóa từng trường dữ liệu, quy tắc kiểu dữ liệu, liên kết và kiểm tra chất lượng để biến các file xuất thô thành bảng sẵn sàng phân tích.
Tổng quan prompt
Mẹo dành cho bạn
- Bao gồm hơn 50 dòng mẫu để kiểm thử các trường hợp biên thực tế. - Khóa một chuẩn múi giờ sớm. - Phiên bản hóa từ điển dữ liệu và theo dõi thay đổi. - Thêm bảng ngoại lệ để không làm gián đoạn chạy hàng ngày.
Từ đội ngũ vận hànhNexusAi TechnologyVấn đề được giải quyết
Tiêu đề, kiểu dữ liệu và ID không nhất quán gây ra lỗi liên kết và báo cáo không đáng tin cậy. Các nhóm cần một đặc tả làm sạch thực tế và có thể tái sử dụng.
Quy tắc từng trường
Kiểu dữ liệu, định dạng và giá trị cho phép rõ ràng.
Thiết kế liên kết
Ghép nối đáng tin cậy giữa các file với khóa và phương án dự phòng.
Bộ kiểm tra xác thực
Bài kiểm tra đơn vị và ngưỡng để phát hiện lỗi hồi quy.
Xử lý ngoại lệ
Cách ly các dòng lỗi mà không làm gián đoạn quá trình chạy.
Hướng dẫn prompt AI
Đóng vai trò là trưởng nhóm chất lượng dữ liệu tạo kế hoạch làm sạch cho các file xuất Excel định kỳ.
Tại sao nhiệm vụ này quan trọng:
Dữ liệu chuẩn hóa kém làm hỏng liên kết, chỉ số KPI và sự tin cậy. Một kế hoạch có thể lặp lại giúp giảm công việc làm lại và ổn định báo cáo.
Giới hạn quan trọng:
- Không đưa ra lời khuyên chung chung; cung cấp quy tắc trường chính xác, giá trị chấp nhận được và logic dự phòng.
- Giả định rằng ETL low-code hoặc Python có thể triển khai kế hoạch.
Đầu vào của người dùng:
- Tiêu đề mẫu của file xuất, 50–200 dòng mẫu nếu có thể.
- Các khóa kinh doanh đã biết, bảng tra cứu và KPI mục tiêu.
- Tần suất làm mới dự kiến và SLA.
Mục tiêu:
1) Chuẩn hóa tiêu đề, kiểu dữ liệu và định dạng ngày.
2) Định nghĩa quy tắc loại bỏ trùng, cắt bớt, xử lý giá trị null và ghép nối ID.
3) Chỉ định logic liên kết giữa các file (khóa chính, khóa phức hợp, quy tắc mờ nếu cần).
4) Cung cấp kiểm tra xác thực và báo cáo ngoại lệ.
Quy trình phân tích:
1) Tạo từ điển dữ liệu: Trường, Nguồn, Kiểu (mục tiêu), Giá trị cho phép, Quy tắc biến đổi, Ví dụ.
2) Định nghĩa khóa chuẩn và khóa thay thế khi cần.
3) Mô tả quy tắc loại bỏ trùng (ví dụ: giữ bản mới nhất theo UpdatedAt, giải quyết tranh chấp theo Status).
4) Phác thảo các bài kiểm tra đơn vị: đếm dòng, kiểm tra kiểu, tính toàn vẹn tham chiếu, đối chiếu chỉ số.
Định dạng đầu ra yêu cầu:
- Từ điển dữ liệu (bảng)
- Quy tắc biến đổi (danh sách bước)
- Kế hoạch liên kết (văn bản sơ đồ)
- Bộ kiểm tra xác thực (danh sách kiểm tra)
- Xử lý ngoại lệ (quy trình làm việc)
Kiểm soát chất lượng:
- Đánh dấu các trường mơ hồ và đề xuất tiêu chuẩn đặt tên.
- Cung cấp ít nhất 5 trường hợp kiểm thử với kết quả mong đợi.
Danh sách kiểm tra xác minh:
- Khóa có ổn định qua các lần làm mới không?
- Ngày/ múi giờ có nhất quán không?
- Bảng tra cứu có đầy đủ và có phiên bản không?
Hướng dẫn cuối cùng:
Yêu cầu các mẫu còn thiếu, sau đó tạo kế hoạch làm sạch đầy đủ sẵn sàng để triển khai.
Kết quả kỳ vọng
Sản phẩm bàn giao: - Từ điển dữ liệu: CustomerID (chuỗi → UUID), OrderDate (ngày, ISO-8601), Amount (số thập phân, 2 chữ số thập phân) - Quy tắc biến đổi: cắt bớt văn bản, viết hoa mã quốc gia, ép kiểu ngày, số thập phân bằng 0 thành null - Kế hoạch liên kết: Orders.CustomerID → Customers.CustomerID; dự phòng qua Email đã chuẩn hóa - Kiểm tra: số dòng trong khoảng ±5%, trùng lặp OrderID < 0.1%, tính toàn vẹn tham chiếu 100%
Hành trình triển khai
Soạn thảo kế hoạch với ChatGPT
Dán tiêu đề mẫu và 50–200 dòng vào ChatGPT cùng với lời nhắc này. Yêu cầu tạo từ điển dữ liệu, quy tắc biến đổi, kế hoạch liên kết và bộ kiểm tra xác thực. Mong đợi một kế hoạch có cấu trúc rõ ràng.
20-30 minKhám phá các trường hợp biên với Gemini
Cung cấp cho Gemini cùng các mẫu và yêu cầu xác định các trường rủi ro, khóa mơ hồ và ví dụ phản chứng. So sánh các trường hợp biên với bản thảo và hòa giải khác biệt trong bảng tính của bạn.
15-20 minHoàn thiện ghi chú triển khai
Thêm quy tắc kiểu dữ liệu cuối cùng và các bài kiểm tra vào tab Excel hoặc Sheets. Đánh dấu các cột cần ép kiểu hoặc tra cứu. Bàn giao kế hoạch cho đội kỹ thuật để viết script ETL.
10-15 min