精准对账零丢数，异常全暴露 - Data quality & reconciliation with exception

通过稳定标识符（工资号、驾驶证等）实现数据源自动对账，生成异常报告并强制阻断静默失败，确保每条记录都有明确归属。

基本信息

• 技能名称?Data quality & reconciliation with exception
• 中文名称?精准对账零丢数，异常全暴露
• 作者?kowl64
• 分类?其他
• 版本?1.0.0
• 标签?data-quality, data-reconciliation, exception-reporting, data-engineering, compliance, etl-pipeline, data-governance, payroll, matching-rules

使用方法

使用说明
核心用法
该技能专注于 数据对账与质量监控 ，通过层级化的稳定标识符（Pay Number → 驾驶证 → 司机卡 → 资格证）实现多源数据匹配。核心流程包括：

1. 标识符优先级匹配 ：首选工资号精确连接，未匹配项依次降级至其他证件号码
2. 规范化预处理 ：统一大小写、去除空格与标点，消除格式差异导致的假性不匹配
3. 异常分类报告 ：强制输出五类状态——已匹配、A源缺失、B源缺失、字段冲突、重复键值、无效键值
4. 静默失败阻断 ：设置计数校验门控，异常率超阈值即中断流水线，杜绝"看起来成功实则丢数据"
   显著优点
   确定性优先 ：基于稳定ID的精确匹配，避免模糊算法带来的不可解释性
   全量可追溯 ：零记录丢弃策略，每条数据都有明确的归属结论
   工程友好 ：直接输出CSV格式的异常报告模板与匹配规则文档，可嵌入ETL流水线
   风险前置 ：门控机制将数据质量问题暴露在生产阶段，而非下游分析时
   潜在局限
   依赖稳定标识符 ：若全量数据缺失关键ID（如临时工未录入工资号），技能效用大幅下降
   非模糊匹配 ：姓名拼写差异、证件号录入错误等需人工介入或额外 fuzzy 流程
   单一场景聚焦 ：专为周期性对账（周/月报）设计，非实时流处理场景
   权限假设 ：默认只读源数据，若需自动修正需用户显式授权
   适合人群
   数据工程师、合规专员、HR系统管理员——尤其需要处理 薪酬系统与合规系统交叉验证 、或 多系统员工主数据同步 的组织。
   常规风险
   优先级误设 ：若工资号存在历史重复记录却设为最高优先级，可能导致错误匹配
   阈值宽松 ：异常率容忍度设置过高，可能掩盖系统性数据质量问题
   时序忽略 ：未考虑证件换发导致的号码变更，产生假性"B源缺失"
   过度依赖自动化 ：门控阻断后若缺乏人工复核流程，可能造成业务停摆