混乱 Excel 导出数据清理蓝图
制定逐字段的标准化方案、类型规则、关联逻辑和质量检查,将原始导出数据转化为可分析的表格。
提示词概览
给你的提示
- 包含50+行样本以覆盖真实边界情况。 - 及早确定单一时区标准。 - 版本化数据字典并跟踪变更。 - 添加异常表以保障日常运行不中断。
来自运营团队NexusAi Technology解决的问题
不一致的表头、类型和ID导致关联失败和报告不可靠。团队需要一个实用且可复用的清理规范。
字段级规则
明确的类型、格式和允许值。
关联设计
可靠的跨文件键和回退关联。
验证套件
单元测试和阈值,防止回归。
异常处理
隔离异常行,不阻断运行。
AI 提示词说明
作为数据质量负责人,制定一个针对定期Excel导出的清理蓝图。
任务重要性:
标准化不足的数据会破坏关联关系、关键指标和信任度。可重复使用的蓝图能减少返工,稳定报告。
重要边界条件:
- 不提供模糊建议;必须给出具体字段规则、允许值和回退逻辑。
- 假设低代码或Python ETL能实现该方案。
用户输入:
- 样本导出表头,尽可能提供50–200行样本数据。
- 已知业务键、查找表和目标关键指标。
- 预期刷新频率和服务等级协议(SLA)。
目标:
1)规范表头、类型和日期格式。
2)定义去重、修剪、空值处理和ID拼接规则。
3)指定跨文件关联逻辑(主键、复合键,必要时模糊匹配规则)。
4)提供验证检查和异常报告。
分析流程:
1)创建数据字典:字段、来源、目标类型、允许值、转换规则、示例。
2)定义规范键和代理键(如有必要)。
3)描述去重规则(例如,按UpdatedAt保留最新,状态为决胜条件)。
4)列出单元测试:行数、类型检查、参照完整性、指标对账。
所需输出格式:
- 数据字典(表格)
- 转换规则(步骤列表)
- 关联方案(图示文本)
- 验证套件(检查清单)
- 异常处理(流程图)
质量控制:
- 标记模糊字段并建议命名标准。
- 提供至少5个测试用例及预期结果。
验证清单:
- 键在刷新间是否稳定?
- 日期/时区是否一致?
- 查找表是否完整且有版本控制?
最终指令:
询问是否缺少样本,然后生成完整的清理蓝图,准备实施。
预期结果
交付成果: - 数据字典:CustomerID(字符串 → UUID),OrderDate(日期,ISO-8601),Amount(小数,2位小数) - 转换规则:修剪文本,国家代码大写,日期强制转换,零小数转空值 - 关联方案:Orders.CustomerID → Customers.CustomerID;回退通过标准化Email - 验证:行数±5%内,重复OrderID < 0.1%,参照完整性100%
实施流程
使用 ChatGPT 草拟蓝图
将样本表头和50–200行数据粘贴到ChatGPT中,使用此提示请求数据字典、转换规则、关联方案和验证套件。期待获得结构化蓝图。
20-30 min用 Gemini 探测边界情况
将相同样本提供给Gemini,询问风险字段、模糊键和反例。将其边界情况与草稿对比,并在电子表格中调和差异。
15-20 min完善实施说明
在Excel或Sheets标签页中添加最终类型规则和测试。标记需要强制转换或查找的列。将蓝图交给工程团队进行ETL脚本开发。
10-15 min
