先定义记录身份,再谈去重
同一个客户两笔订单、同一个套餐两次历史记录,名字相同但并非重复。要求AI“删除重复项”之前,明确唯一键由哪些字段组成,以及重复是相同事件重复录入还是合法多条记录。
若没有可靠唯一键,先列候选重复组由人确认。不能让模型按看起来相似就删除,这会把不确定判断变成不可逆的数据损失。
建立原件、工作副本和变化表
原件只读保存,工作副本增加稳定行标识。每次修改记录原值、新值、规则和原因,删除行也保留可回查清单。这样出错时可以撤回一类规则,而不是重做全部数据。
批量任务先在少量样本验证:普通记录、空值、异常值和边界记录都要包含。只看前十行整齐,不能证明整张表的规则正确。
格式统一不能擅自改变事实
去掉多余空格、统一明确的日期格式属于表现调整;纠正日期、填补价格或替换姓名属于事实修改,需要依据。两类操作应分别授权和记录。
邮编、订单号与账号可能是文字标识,前导零有意义;自动转成数字可能破坏它们。日期如03/04也有日月歧义,不能按环境默认值静默转换。
空白与零各有含义
空白可能表示缺失、未适用或尚未统计,零则是一项数值。用零填满空白会改变平均值与汇总;用上一行填补也可能将不同对象的事实串在一起。
要求AI先统计各类缺失的分布,再根据已确认规则处理。资料冲突标记待核实,不取平均或投票制造单一答案;原始数据自己矛盾时,清洗不能替代核验。
用数量与汇总作验收线索
比较处理前后行数、唯一键数、缺失数和关键汇总,解释每项变化。抽查变化最大与规则最复杂的行,确认公式、单位和引用仍然正确;保留说明并不等于所有行都经过人工确认。
导出给别人时检查隐藏表、敏感字段与可能被执行的单元格内容。AI负责辅助识别与生成规则,数据是否可以据此作业务决定,仍取决于来源和验收范围。