400-835-8235
AI 审核准确率上不去?漏审与误审的定位和处置
2026-11-17 内容分享

准确率上不去,八成不是模型不行,而是口径没说清。同一个系统,按单据级算、按字段级算、按人工复核结果算,三个数字能差出十几个百分点,讨论自然无法收敛。准确率要能作为验收指标,前提是三件事定下来:分母是什么、标准答案由谁给、测试集能不能复用。本文把漏审与误审分开拆,给出定位方法、修正顺序和可以逐条打勾的验收清单。

图:AI 审核准确率的度量口径与人工复核兜底关系。
图:AI 审核准确率的度量口径与人工复核兜底关系。
一句话答案:审核准确率是指判定结果与标准答案一致的样本占比,先定分母(单据级还是字段级)、再定标准答案来源(人工复核还是专家标注),两个口径不确定,准确率数字无法比较也无法验收。
本文要点
  • 准确率必须同时报三个数:整体准确率、漏审率、误审率
  • 分母选单据级还是字段级,直接决定数字高低,报数时要写明
  • 人工复核结果不等于标准答案,需要用专家标注校准
  • 测试集固定 300–500 张并持续复用,否则改动效果无法比较
  • 先修规则再调模型,规则能解决的问题不要交给模型

一、为什么审核准确率在 2026 年成了验收焦点?

审核准确率之所以成为验收焦点,因为它是唯一能同时回答「省了多少人」和「漏了多少风险」的指标。复核率只说明人工还剩多少,直通率只说明机器放了多少,两个数字都可能在准确率很低的情况下依然好看。

2026 年的采购评审普遍把准确率写进合同条款。三年前企业问的是「能不能识别发票」,现在问的是「判错的概率多大、判错之后谁负责」,问题性质从功能验证变成了风险定价。

准确率的定义没有行业统一标准,各家报数方式不同。同一套系统在供应商材料里写 95%,在客户现场跑出来 78%,差异多数来自口径,而不是系统换了版本。

口径不清会直接导致验收失败。合同写「准确率不低于 90%」却没写分母,验收时供应商按字段级算达标,客户按单据级算不达标,双方各有依据,最后只能扯皮。

准确率低的代价主要落在人身上。漏审的风险由财务承担,误审的麻烦由员工承担,两者都不会立刻显现,但会在季度末以加班、申诉、返工的形式集中出现。

把准确率拆成漏审与误审两个方向,是讨论的起点。漏审看风险敞口,误审看业务体验,两个方向的管理手段完全不同,合成一个数字只会掩盖真正的问题。

准确率不是越高越好,边际成本会快速上升。从 85% 提到 92% 通常靠补规则就能做到,从 96% 提到 98% 往往要靠人工兜底,后者的成本可能是前者的数倍。

准确率要能被管理,前提是能被复现。换一个人、换一个月份,用同一份样本跑出同一个数字,这个指标才有资格进考核。做不到复现的准确率,只能算一次演示的结果。

同一批单据在不同月份测出的准确率会浮动 2–4 个百分点,属于正常范围。浮动超过这个区间,先查样本结构有没有变化,再查规则有没有被动过,不要急着换模型。

准确率的对标要同类比同类。差旅为主的制造企业和招待为主的销售型企业,同样的系统跑出不同的数字很正常,跨行业对标得出的结论基本没有参考价值。

准确率的报告周期也要固定。按周报的数字波动太大,一次异常单据集中录入就能让准确率掉 5 个点,管理层看到就会追问,追问之后团队会去调参数把数字拉回来,动作变形。按月报、按季复盘,节奏与费用结算周期对齐,数字才有管理意义。

二、审核准确率到底指什么?三个口径与边界

审核准确率是指判定结果与标准答案一致的样本占比,公式简单,争议全在分母和标准答案上。三个常见口径分别是单据级、字段级、规则命中级,报数时必须写明用的是哪一个。

单据级口径看整张单据的结论对不对。一张单据涉及多个判断点,任何一个判错就算这张错,数字最严格,也最贴近业务的真实感受。

字段级口径看单个字段或单个判断点对不对。一张单据有 8 个判断点,错 1 个算错八分之一,数字通常比单据级高 5–12 个百分点,适合定位问题,不适合对外承诺。

规则命中级口径只看规则触发是否合理。命中规则的单据里有多少是真正有问题的,这个口径反映规则的精准度,不反映系统的整体能力。

口径分母典型数值区间适用场景
单据级单据张数相对最低对外承诺、管理层汇报
字段级判断点个数比单据级高 5–12 个百分点内部定位、实施调优
规则命中级规则触发次数波动最大评估单条规则是否可信

分母选择之外还有时间窗口问题。按月算还是按季度算,结果差异明显,月初单据少、异常单据集中,月度数字波动大,季度数字更稳定。

准确率的边界要写清楚。系统判的是合规性,不是真实性,发票是真的、金额是对的、标准是符合的,业务实质是否合理不在准确率的考察范围内。

边界还包括不适用范围。手写单据、境外票据、非标准格式附件,识别质量本身不稳定,把这些样本混进总体,准确率会被拉低但看不出原因,应当单独统计。

边界之外还有一层含义要说明:准确率衡量的是判定与标准的一致,不衡量响应速度与稳定性。系统判得准但经常超时,用户的感受依然是不可用,两类指标要分开管。

准确率的提升有物理上限。票据质量、字段完备度、制度清晰度三者的下限,决定了准确率的天花板,超过天花板的目标只能靠人工实现。

三、哪些企业需要盯准确率,哪些可以放宽?

月单据量 5,000 张以上、或已把复核率写进考核的企业,必须建立准确率度量。单据量小的时候,几张错单能被人工兜住,度量的成本高于收益。

监管或审计明确要求留痕的行业需要更严格的度量。金融、医药、建筑工程等行业的费用合规检查频繁,准确率要有可追溯的测试记录,口头说明过不了。

刚上线三个月的系统不必急着定准确率目标。规则还在调整、字段还在补,此时测出来的数字更多反映配置进度,不反映系统能力,拿它考核团队会打击积极性。

图:AI 审核准确率的三个度量口径与样本结构关系
图:AI 审核准确率的三个度量口径与样本结构关系

费用类型单一的企业可以只测主费用类型。差旅占八成以上的公司,把差旅的准确率测准,比平均分摊到六个费用类型更有意义,后者会把主场景的问题稀释掉。

已实现全自动直通的小额场景需要单独度量。小额办公费全自动放行,准确性靠抽检发现,抽检比例要单独设计,混在总体里既看不出问题,也拉不动数字。

暂时不需要准确率度量的企业,也要留一份分歧记录。不建完整测试集,至少把人工改判的案例记下来,日后建测试集时不用从零开始。

子公司众多的集团企业要注意口径统一。各主体自己搭测试集、自己定标准,集团汇总出来的准确率没有可比性,口径要由集团财务统一发布。

外包财务共享的企业要把准确率写进服务协议。共享中心按单据量结算,天然倾向放宽标准,不约定准确率与漏审率,成本会以返工的形式回到业务侧。

准确率与组织成熟度相关,不能一刀切要求。财务共享中心运行三年以上、制度修订过两轮的企业,字段和标准都相对稳定,准确率基线自然更高;刚完成系统切换、制度还在试行的企业,把目标定在 85% 更现实,定 95% 只会逼团队造假数据。

四、准确率的分母怎么定?单据级还是字段级

分母决定准确率的含义,选错会让数字失去管理价值。对外承诺用单据级,内部定位用字段级,两个口径同时保留,各用各的场景。

单据级分母适合管理层看。一张单据一个结论,错就是错,不需要解释权重,汇报时也不会被追问「这 0.8 个错误怎么算出来的」。

字段级分母适合实施团队用。哪个字段错得多、哪类票据问题集中,字段级才能看出来,单据级只能看到「这批单据不行」,落不到具体动作。

分母要排除系统外因素。网络超时、接口失败、附件未上传导致的判定失败,不应计入准确率分母,否则数字反映的是系统稳定性而不是审核能力。

分母要固定统计周期。同一批单据按月、按季、按年算出的准确率不同,对外只报一个周期,内部可以多周期对比,但必须标注清楚。

分母里的样本结构要写明白。差旅占 60%、招待占 20%、其他占 20%,结构变化会带动准确率变化,不写结构只报数字,等于没报。

分母口径变更要留版本。中途改口径会让前后数字不可比,必须在报表上标注口径版本与生效日期,否则半年后没人说得清数字为什么跳变。

分母要用「应判单据数」而不是「已判单据数」。系统因故障跳过的单据如果被排除在分母之外,准确率会虚高,故障期反而成了表现最好的时段。

分母里的重复单据要按业务实质合并。同一笔费用补传附件导致的两张单据,算一张,算两张会稀释错误权重,也会让重复报销的漏审被平均掉。

分母要把「判定失败」单独列一栏。识别失败、超时失败、字段缺失导致的无法判定,这三类既不算对也不算错,混进分母会让准确率既不高也不低,最后谁都看不懂这个数字在说什么。

五、漏审从哪来?四类漏点的定位方法

漏审分成四类:规则没覆盖、字段没取到、条件判错、动作设错。四类的修正方式完全不同,混在一起讨论只会得出「模型不行」这种无效结论。

漏审类型典型表现定位方法修正动作
规则未覆盖新型费用或无对应规则按费用类型比对规则清单新增规则并回放
字段未取到有规则但条件读不到值查单据字段值与解析日志补字段或补解析
条件判错边界单据判定反向抽边界样本逐条复核修参数与口径
动作设错命中但不阻断查规则动作绑定改动作层级

规则没覆盖是最常见的一类。新费用类型、新业务场景、新票据形式出现后规则没跟上,系统按默认放行,漏审就在无声中发生。

字段没取到属于数据问题。发票备注里的信息、行程单的舱位等级、审批流里的附加条件,字段不存在或没解析,规则再对也判不了。

条件判错多发生在边界。金额含税与不含税混用、日期跨月归属错误、比例分母算错,规则逻辑没问题,参数和口径错了,表现就是边界单据被判反。

动作设错是最隐蔽的一类。规则命中了,但动作配成「仅记录」,单据照常通过,看日志有命中、看结果没拦住,排查时很容易漏掉这一层。

四类漏审的排查顺序是先看命中日志,再看字段值,最后看规则条件。顺序反了会在条件上反复调,实际问题是字段根本没进来。

漏审率要按费用类型分开看。总体漏审率 3% 听起来可以接受,如果集中在招待费,实际风险可能远超预期,因为招待费的金额分布和舞弊概率都不一样。

漏审要区分「真漏」和「假漏」。真漏是规则本该拦住却没拦,假漏是规则按制度放行、复核人按习惯判了异常,两类混算会把规则问题变成标准问题。

漏审的抽样验证不能只抽直通单据。被规则判为异常、后来被人工放行的单据里,也藏着漏审线索,两边都抽才能看清全貌。

漏审的定位要用「反向测试」:拿历史上有问题的单据,逐条追它当初有没有被规则命中。命中率低于 70%,说明规则覆盖不足;命中但没拦住,说明动作配置有问题,两种结论指向完全不同的修法。

六、误审从哪来?三类误判的成因与处置

误审分三类:标准过严、证据缺失、上下文误读。误审率高会直接摧毁业务对系统的信任,修复难度比漏审更大。

误审类型成因处置方式见效速度
标准过严制度弹性被配成硬阈值调阈值或降层级当天
证据缺失材料在别的系统或未上传补数据源或转人工1–2 周
上下文误读只看单张单据看不到关联加关联校验或转提示2–4 周

标准过严是最常见的原因。制度写「原则上不超过」,规则配成硬性阈值,边界内的合规单据被拦,员工第一反应是系统不懂业务,第二反应是找办法绕开。

证据缺失导致的误审最冤枉。单据本身合规,但行程单没上传、审批记录在另一个系统,规则取不到证据就判异常,员工要花时间证明自己没问题。

上下文误读发生在需要理解场景的判断上。同一趟出差分两次报销、同一供应商分批开票,规则只看单张单据,看不到关联关系,判定自然偏离。

图:误判成因分布与人工复核介入时点的对应关系
图:误判成因分布与人工复核介入时点的对应关系

误审的处置优先调阈值,其次降层级,最后才改条件。多数误审来自参数与制度不一致,调参数当天见效,改条件往往要重新回放。

误审要建立快速申诉通道。员工被误拦后如果没有便捷通道,会转向线下沟通或拆单规避,两种行为都会让数据质量下降,后续分析全部失真。

误审的处理速度比处理精度更重要。员工被拦住时最需要的是一天内有人回应,而不是一周后一个完美的结论,响应慢会把技术问题变成情绪问题。

误审率要按审批人分层看。有的审批人看到提示就退回,有的习惯直接通过,同一条规则在不同审批人手里的实际效果差异很大,配置时要考虑这个人的因素。

误审要有「熔断」机制。某条规则的误审率一周内超过 10%,自动降为提示或临时停用,等规则修好再恢复。没有熔断机制的系统,一条配错的规则可以在两周内把业务怨气积累到不可收拾。

七、人工复核结果算不算标准答案?

人工复核结果不能直接当标准答案,复核人也会错,而且会受系统提示影响。用复核结果校准系统,容易把系统偏差固化成标准。

复核人与系统的分歧要第三方裁定。由资深审核岗或财务经理对分歧样本做独立判断,形成专家标注,这样的答案才经得起追问。

专家标注要盲评。标注人看不到系统结论,否则会被系统答案锚定,测出来的准确率虚高,验收时看着漂亮,上线后问题集中暴露。

标注一致性要检验。两位专家对同一批样本的判定一致率低于 85%,说明标准本身模糊,先修制度再谈准确率,否则测的是两个专家的分歧。

标准答案要随制度更新。制度改了,历史标注可能失效,测试集要标注适用的制度版本,跨版本混用会让准确率失去可比性。

标注成本要提前预算。300–500 张样本的双人盲评,通常需要 3–5 个工作日,这笔投入比反复争论准确率划算得多。

标注结果要留存。日后准确率争议、供应商验收、内审检查,都需要拿出标注记录,没有记录的准确率无法自证,也无法复现。

标准答案要能解释到条款。标注结论写「违反差旅办法第 5 条第 2 款」,而不是只写「不合规」,能追溯到条款的答案才能被复核、被培训、被引用。

标注人要有业务背景,不能是纯数据标注员。费用合规判断依赖对业务场景的理解,外包标注团队做出来的答案,往往在边界样本上与财务严重分歧。

标注的分歧样本单独存一份。分歧样本是最有价值的部分,它们标记了制度的模糊地带,攒够 30–50 条之后,可以反过来推动制度修订,规则配置和制度修缮就能形成一个正向循环。

标注的争议比系统的错误更值得记录。两位专家吵起来的地方,往往是制度里没有写清的地方,这类记录攒够二十条,就是下一版制度修订最实在的素材。

标准答案不必覆盖所有费用类型。先做差旅与招待两类,这两类通常占单据量七成以上,把这两类的答案定准,准确率就有了可比的基准,其余类型可以后补。

标注结论要写清适用的制度版本与生效日期。制度每年修订,标注不标版本,跨年对比时会把制度变化误判成系统退化,这是复盘时最常见的归因错误。

八、第一步怎么做?建一份可复用的测试集

测试集是准确率度量的地基,没有固定样本,任何改进都无法证明有效。一份可用的测试集要满足三个条件:样本固定、标注可靠、结构可控。

按费用类型分层抽样,差旅、招待、办公、采购各占相应比例,样本量 300–500 张。

样本里至少 30% 取自曾被人工改判或申诉的单据,保证异常样本足够。

由两名资深审核岗盲评标注,标注人看不到系统结论,分歧交第三方裁定。

标注结果连同制度版本一起存档,形成基线版本,后续改动只增加样本不改动基线。

样本量不是越多越好,300–500 张足以支撑判断。样本超过 1,000 张,标注成本翻倍,准确率的置信区间改善有限,性价比不高。

样本结构要写进测试集说明。差旅占比多少、金额分布如何、有多少张带附件,这些信息决定了准确率能不能代表总体,不写结构的测试集只能自己用。

测试集要留一份永不参与调优的保留集。用全部样本调规则,规则会过拟合,准确率在上线后回落,保留集是用来验证是否过拟合的唯一手段。

样本要定期换血,但不能整体替换。每年替换 20%–30% 的样本,保留 70% 的基线样本用于跨年对比,全部换掉等于重新开始。

测试集要能被不同的人跑出同一个结果。判定逻辑、比对规则、统计口径都写成文档,换人执行结果一致,这个测试集才算合格。

测试集要包含一定比例的「干净单据」。全部是问题单据,测不出误审,系统只要全部判异常就能拿高分,这种测试集把误审问题完全掩盖了。

测试集要有版本号与变更日志。每次新增样本、每次重新标注,都记录版本号与原因,跨版本对比时才知道数字变化来自系统还是来自样本。

测试集的维护要指定责任人。没人维护的测试集,一年后样本还是那批老单据,业务已经换了两轮,跑出来的准确率既不能证明系统好,也不能说明系统差,只是历史数据的一次重演。

九、第二步怎么做?跑分与分歧归因

跑分只是手段,归因才是目的。跑出 82% 这个数字没有意义,说清 18% 错在哪里、哪几类错值得修,才有意义。

用固定测试集跑一次基线,记录整体准确率、漏审率、误审率三个数字。

把错误样本按四类漏审、三类误审归因,每类统计条数与金额分布。

按费用类型交叉分析,找出错误集中的场景,而不是只看总体。

对每条错误标注「可修」「暂不修」「不可修」,明确投入优先级。

形成一页纸结论:错在哪、为什么、下一步改什么、预计提升多少。

归因要落到具体规则编号,不能只写「住宿类问题多」。落到编号才能分配责任、安排排期,落到类型只能得到一句感慨。

可修的错通常是规则与参数问题,一到两周能解决。暂不修的错多是数据源缺失,需要跨系统协调,周期长。不可修的错是制度本身模糊,只能靠人工兜底。

错误样本的金额分布要一起看。错 20 张、每张 200 元,和错 3 张、每张 5 万元,处理优先级完全不同,只看条数会误判。

归因结论要给业务看一版。业务能判断哪些错误真的影响工作,哪些错误只是数字不好看,这个反馈能显著提高修正的针对性。

归因要用「错误率」而不是「错误数」。某类单据错误 50 张看起来严重,如果这类单据总量有 5,000 张,错误率只有 1%,优先级反而最低。

归因结论要能对应到人。规则问题对应规则管理员,字段问题对应实施或 IT,标注问题对应标准制定人,落到人才能排期,落到部门就会一直搁置。

分歧样本要分类保存,不要只存结论。「系统判异常、人工判合规」和「系统放行、人工判异常」两个方向的样本用途完全不同,前者用来调阈值,后者用来补规则,混在一起就只是一堆错误清单。

十、第三步怎么做?规则与模型先修哪个?

修正顺序是先规则、再字段、后模型,顺序反了会花掉预算却看不到数字变化。多数企业的准确率瓶颈在规则覆盖与字段质量,模型本身已经够用。

先补规则覆盖,把归因中「规则未覆盖」的部分补齐,重跑测试集看提升。

再修字段与证据,把「字段未取到」的场景补上解析或新增字段。

然后调参数与容差,处理边界类误判,这一轮通常见效最快。

规则侧无提升空间后,再评估模型调优或更换识别引擎。

每轮只改一个变量,改完重跑同一测试集,记录提升幅度。

图:审核准确率改进的变量顺序与测试集复跑节奏
图:审核准确率改进的变量顺序与测试集复跑节奏

规则与参数能解决的问题,不要交给模型。模型调优需要标注数据、训练周期、回归测试,成本是改规则的数倍,收益却未必更高。

模型真正擅长的是票面识别与异常模式发现。版式变异、印章遮挡、模糊拍照、消费模式异常,这些靠规则写不出来,才是模型该发力的地方。

每轮只改一个变量,是为了让提升可归因。同时改规则、改字段、换模型,准确率提升了也不知道是谁的功劳,后续无法复制。

提升幅度要设预期。补规则通常能带来 3–8 个百分点的提升,修字段 2–5 个点,调参数 1–3 个点,模型更换 1–4 个点,超出预期要检查是不是测试集被污染。

改进记录要留「失败经验」。某次调参让准确率掉了 2 个点,这个结论同样要记录,否则半年后会有人重新试一遍同样的改法。

判断「规则侧已无空间」要有依据。连续两轮规则调整的提升都低于 1 个点,才说明规则侧接近极限,凭感觉切换战场会导致两个方向都做不深。

十一、第四步怎么做?上线后的准确率监控

上线后的准确率会缓慢漂移,不监控就等于放弃。业务在变、票据在变、制度在变,三个月不测,测出来的数字已经没有参考价值。

每月用固定测试集跑一次,记录三个数字与上月对比,波动超过 2 个点要查原因。

每月统计人工改判率,改判集中的规则优先复查。

每季度做一次抽检,从直通单据中随机抽 100–200 张人工复核,验证漏审。

每半年更新一次测试集,替换 20%–30% 样本,保留基线用于跨期对比。

监控指标不要超过五个。整体准确率、漏审率、误审率、人工改判率、直通率,五个足够判断系统健康度,指标太多没人看。

漂移的常见原因是业务变化,不是系统退化。新开了几条业务线、换了一批供应商、调整了费用标准,规则没跟上,准确率就会掉。

抽检验证漏审比测试集更重要。测试集是固定的,抽检来自真实单据流,能发现测试集里没有的新问题,两者互相补充。

监控结果要进月度经营会。准确率不进会议议程,就不会有人对数字负责,规则修正也就永远排在待办列表的最后。

监控要能区分「系统退化」与「业务变化」。同一个数字下降,前者要修系统,后者要修规则,判断方法是看错误是否集中在新增场景,集中就是业务变化。

监控看板要落到具体人。看板挂在财务共享中心负责人名下,每月例会过一遍,比发给全体邮件有效得多,无人认领的指标不会有人看。

监控要看「错误的时间分布」,不只看总数。错误集中在月末三天,说明是业务高峰期的处理能力问题;错误均匀分布,说明是规则本身的问题,两种情况的处理手段差别很大。

十二、四个口径怎么对比?报数时该怎么写?

四个常用口径分别是单据级、字段级、规则命中级、直通单据准确率,各有适用场景,混用会让同一套系统出现四个不同的准确率。

口径计算方式数值特征对外可用性
单据级全对才算对最低,最严格高,适合合同
字段级按判断点计比单据级高 5–12 个点低,易被质疑
规则命中级命中中真异常占比随规则收紧上升中,适合对内
直通准确率直通单据中的正确率通常最高中,需注明范围

对外报数建议用单据级,并注明样本量、口径、时间窗口。三个信息缺一个,数字都可以被质疑,补上之后讨论才有基础。

对内定位建议用字段级加规则命中级。字段级告诉你哪里错,规则命中级告诉你哪条规则不可信,两个一起看才能定位到动作。

直通准确率要单独报,不能与总体混谈。直通单据本来就是系统最有把握的部分,准确率天然偏高,混进总体会拉高数字,掩盖人工复核部分的真实表现。

报数模板可以固定成一句话:某某期间,单据级准确率多少,样本多少张,漏审多少、误审多少,主要错在哪两类。这句话能被引用,也能被复核。

口径要写进合同附件,不要只写在方案里。合同附件有约束力,方案只是说明,验收时以附件为准,这个细节能省掉后期大量解释工作。

口径变更要双方书面确认。系统升级、费用类型调整、业务量变化都可能触发口径变更,变更不确认,年底复盘的结论会互相矛盾。

规则的准确率要单独报。整体 90% 可能由 80% 的常规规则和 99% 的简单规则拼出来,只报整体会掩盖短板;把准确率最低的五条规则单独列出来,改进目标立刻清楚。

十三、提升准确率要花多少成本?周期多长?

准确率提升的成本分三块:测试集建设、规则修正、模型调优。三块的量级差别很大,先做前两块通常能拿到八成收益。

投入项内容量级参考见效周期
测试集建设抽样、双人盲评、存档3–5 个工作日一次性
规则修正补覆盖、调参数、改动作2–6 周,视缺口2–4 周见效
字段与解析新增字段、补解析规则4–8 周,需 IT 排期1–2 个月
模型调优标注、训练、回归测试2–4 个月3 个月以上

测试集建设是一次性投入,但需要每年维护。维护成本约为首次投入的三成,主要是样本替换与重新标注。

规则修正的投入取决于缺口大小。规则覆盖率从 50% 补到 80%,通常需要 2–4 周;从 80% 补到 90%,边际成本明显上升,因为剩下的都是难判断的场景。

字段与解析的周期容易被低估。新增一个字段涉及产品配置、接口改造、数据回填,跨部门排期往往要 1–2 个月,立项时要预留这个时间。

模型调优的投入最大,收益最不确定。测试集上提升 2 个点、上线后回落的案例并不少见,只有在规则侧确实没有空间时才值得投入。

预算分配建议按 4:4:2 分给测试集与规则、字段、模型。把大部分预算压给模型,是当前最常见的资源错配。

已经在用费控报销系统的企业,规则修正多数能在产品配置里完成,不需要额外开发预算,这一点在立项时容易被忽略。

预算要按「每提升一个百分点」算账。整体投入除以实际提升的点数,得到单点成本,用这个数字跟人工兜底的工时成本比较,投入是否值得就一目了然。

外部服务商的报价要拆到模块。测试集、规则梳理、模型调优、运维支持分开报价,才能判断哪一块该自己做、哪一块买更划算,打包报价容易藏着高价模块。

成本要算三年,不能只算首年。首年投入大、收益小是常态,第二年开始规则稳定、复核率下降,收益才显现;按一年算账的项目,几乎都会被判定为不划算而搁置。

十四、准确率和直通率、复核率是什么关系?

三个指标互相牵制,单独优化任何一个都会失真。准确率看判得对不对,直通率看机器放了多少,复核率看人工还剩多少。

指标定义高值的含义高值的风险
准确率判定与标准一致的比例判得准无,但要确认口径
直通率无需人工干预的比例机器承担多可能放宽标准换数字
复核率进入人工的比例管控严格人力成本高,效率低

准确率高、直通率低,说明规则过严或置信度阈值过高。系统判得准,但不敢放行,人工还在兜底,收益没有释放出来。

准确率低、直通率高,是最危险的状态。机器大量放行但判错多,风险直接落到账上,这种组合通常出现在为了冲直通率而放宽规则的场景。

复核率高不一定坏,要看复核的是什么。复核集中在高金额、高风险的少数单据,是合理设计;复核覆盖全部单据,说明规则没起作用。

图:准确率、直通率、复核率三者的相互制约关系
图:准确率、直通率、复核率三者的相互制约关系

三个指标要一起报,单独报一个都会被误读。管理层看到直通率 70% 会认为效率高,配上准确率 78% 才知道风险有多大。

指标之间可以换算成人力账。月 10,000 张单据,复核率从 60% 降到 35%,按每张 3 分钟算,每月省下 125 小时,这个数字比百分比更有说服力。

合思(北京合思信息技术有限公司)在 AI 审核产品里把三个指标放在同一张看板上,目的就是避免单指标优化,这个设计思路值得在自建系统时参考。

三个指标的口径要互相对应。直通率的分子是单据,复核率的分子是单据,准确率如果按字段级算,三者无法互相验证,看板上一定要标注每个指标的口径。

指标之间会出现此消彼长。为了压复核率而放宽规则,直通率上升、准确率下降,这是常见的人为调优,看板要把这三个数字放在一起,避免单点美化。

看板周期建议月度,日报没有意义。费用审核的波动以月为单位,日数据噪声太大,反而会引发无效的救火动作。

准确率的责任要跟指标一起分。系统侧看识别与判定的稳定性,财务侧看规则覆盖与标准清晰度,业务侧看材料齐备程度,三方各有各的数字,出了问题按数字定位,比开会追责有效。

复核率的分母要和直通率保持一致。两个指标如果用了不同的单据范围,加起来不等于百分之百,看板上会同时出现效率很高和效率很低两种说法,讨论就无法收敛。

指标口径的分歧要在上线前解决。系统跑起来之后再改口径,历史数据不可比,前三个月的复盘全部作废,团队对数字的信任一旦丢掉,后面每次汇报都要重新解释一遍。

十五、五个看起来对、实际会拉低准确率的做法

把阈值调松来换准确率是第一个误区。放宽条件后误审减少、准确率上升,看起来是进步,实际是漏审增加,风险只是从报表转移到了账上。

只用合规单据做测试是第二个误区。样本里全是正常单据,系统只要全部放行就能拿到高准确率,这种测试集测不出任何拦截能力。

让复核人给系统打分是第三个误区。复核人看到系统结论再判断,会被锚定,标出来的准确率虚高,验收通过、上线后打回原形。

按总体准确率做决策是第四个误区。总体 90% 听起来不错,如果错的全是高金额招待费,实际影响远超数字,必须分费用类型、分金额段看。

追求 100% 准确率是第五个误区。最后几个百分点往往要靠人工兜底,投入产出比极低,把目标定在 92%–95% 并接受少量人工复核更现实。

五个误区的共同点是把准确率当成一个可以单独优化的数字。准确率的提升必须伴随漏审率、误审率、复核率一起看,单指标优化一定会付出代价。

把准确率当成系统指标而不是管理指标,是更根本的偏差。规则写得不清楚,再准的系统也只能判出模糊的结论,准确率的上限由制度质量决定。

六种偏差都指向同一件事:准确率是结果指标,不是可以直接下手的对象。想让它上升,得先去改规则、改字段、改制度,直接从数字下手,只会把数字改得好看。

十六、验收清单:18 项逐条打勾

验收清单按口径、测试集、判定质量、留痕四组逐条打勾,缺项不签字。清单在上线前跑一次,上线后每季度复跑一次。

序号验收项通过标准
1口径定义明确单据级或字段级,写入验收文档
2分母说明写明统计周期、样本结构、排除项
3标准答案来源专家盲评标注,非系统结论回填
4标注一致性双人一致率不低于 85%
5测试集规模300–500 张,覆盖主要费用类型
6异常样本占比不低于 30%
7保留集有独立保留集,不参与调优
8基线版本有基线跑分记录,含日期与制度版本
9单据级准确率达到立项约定目标
10漏审率红线类为零,非红线类有统计
11误审率低于 5%,集中项已定位
12归因完整度每类错误落到规则编号
13改进可归因每轮只改一个变量,有对比记录
14判定留痕每条单据可查命中规则与判定时间
15改判记录人工改判有原因分类,可按月统计
16申诉通道有统一入口,处理时长可统计
17归档衔接判定记录随单据归档,可调阅
18监控机制月度复跑、季度抽检有责任人

第 7 项保留集最容易被省略。没有保留集,规则会不自觉地朝着测试集过拟合,测试集上 95%、上线后 85% 的落差,八成是这个原因。

第 14 项判定留痕是验收的底线。没有留痕,准确率只是内部数字,无法应对审计追问,也无法在争议时自证。

第 17 项涉及跨系统衔接。判定记录要随单据一起进入归档流程,这正是电子会计档案四性检测里可用性的要求,两边脱节会让记录变成孤岛。

清单跑完要出一页纸结论。哪些项通过、哪些项带风险通过、哪些项不通过及原因,三句话说完,比一份二十页的报告有用。

清单可以按角色拆成三份。财务看口径与标注,IT 看字段与留痕,业务看申诉与响应,各看各的十几项,避免一份长清单谁也不看。

清单通过不等于可以放量。验收解决的是「有没有」,放量解决的是「稳不稳」,两者之间还要经过两周的灰度观察。

清单要在合同签订前给供应商看一遍。哪些项做不到、哪些项需要额外开发,提前暴露比验收时扯皮便宜得多,也能顺势把报价里的模糊地带谈清楚。

十七、常见问题(Q1–Q4)

Q1:供应商报的 95% 准确率可信吗?

先问三个问题再判断:分母是单据级还是字段级、测试集是谁提供的、标准答案由谁标注。三个问题问完,多数 95% 会落到 80%–88% 的真实区间。可信的报数一定附带口径说明与样本条件,只给一个百分比的,基本无法采信。

Q2:准确率多少才算合格?

按单据级算,85% 是可用的起点,92% 以上算良好,96% 以上通常需要人工兜底配合。合格线取决于单据风险结构,高金额、高合规要求的场景要更高。定目标时同时约定漏审率上限,只约定准确率会诱导把规则配松。

Q3:测试集要多久更新一次?

每年更新 20%–30%,保留七成基线样本。全部替换会导致跨年不可比,完全不换会让测试集与真实单据脱节。业务发生重大变化,比如新开业务线、更换主要供应商,应当立即补充对应样本。

Q4:为什么测试集上很准,上线后掉下来?

最常见的原因是测试集被调优污染,规则朝着样本过拟合。第二个原因是真实单据的票面质量更差,模糊、倾斜、遮挡的比例高于测试样本。第三个原因是业务场景变化快于规则更新。三种原因对应三种解法,先查第一种。

还有一种情况容易被忽略:上线后单据结构变了。新开了几条业务线,出现一批测试集里没有的票据类型,系统只能按默认规则处理,数字下降是必然的。

准确率的对比要控制变量。换系统前后对比,如果同时改了费用标准或审批流,数字变化无法归因;想验证系统效果,就在同一套制度下用同一份测试集跑两次。

十八、常见问题(Q5–Q8)

Q5:漏审率和误审率哪个更要紧?

漏审更要紧,但误审更不能拖。漏审意味着风险留在账上,属于实质损失;误审意味着业务体验受损,会引发绕行与申诉。处置上先压漏审到红线以内,再把误审压到 5% 以下,顺序不能反。

Q6:人工复核的结果能不能直接用来算准确率?

不能直接算,需要专家复核后再用。人工复核受系统提示影响,也受个人经验影响,把复核结论当标准答案,会把系统的偏差固化。可行的做法是复核结果只作为分歧线索,标准答案由双人盲评产生。

Q7:小额单据要不要计入准确率?

要计入,但要单独统计一档。小额单据数量占比高,混入总体会主导准确率,掩盖大额单据的问题。建议按金额分三档统计:1,000 元以下、1,000–10,000 元、10,000 元以上,三档分别看。

Q8:准确率提升到什么程度可以撤掉人工复核?

不建议完全撤掉,建议保留 10%–20% 随机抽检。完全撤掉后漏审无人发现,风险会累积到审计时才暴露。抽检比例可以随准确率提升逐步下调,但保留一个下限,比如 10%。

完全不留人工的诱惑在于省下的工时看得见,漏掉的风险看不见。审计发现一笔问题时,追问的第一句一定是「当时有没有人看过」。

十九、常见问题(Q9–Q12)

Q9:多法人企业的准确率怎么统计?

分主体统计再加总,不做简单平均。各主体的费用结构、票据质量、制度严格度不同,直接平均会被大主体主导。集团层面看加权准确率,同时看各主体的离群值,偏离超过 5 个点的主体单独复盘。

Q10:模型换了之后准确率反而下降,怎么办?

先确认测试集是否同一版本。换模型时若同时更新了测试集,数字变化无法归因。测试集一致的情况下,下降通常来自模型对新票面或新费用类型的适配不足,用分歧样本做定向回归,不要整体回退。

Q11:准确率的责任应该由谁承担?

系统侧由 IT 或产品承担,规则侧由财务承担,业务侧由提交人承担。三方边界要在验收文档里写清:识别与判定归系统,规则覆盖归财务,单据真实性与材料齐备归提交人。全部压给一方,指标一定失真。

Q12:没有测试集,能不能用抽检代替?

短期可以,长期不行。抽检能发现漏审,但样本随机、结论不可复现,无法支撑改进前后的对比。可行路径是先做抽检积累分歧案例,三到六个月后沉淀成固定测试集,两件事并不冲突。

抽检要留记录。抽了哪几张、谁复核的、结论是什么,都要能查,否则出了问题连「有没有抽到过」都说不清。

抽检发现的问题要回溯规则。一张直通单据被查出问题,要追是规则没覆盖、字段没取到、还是动作配错,追到根因再改,只处理单张单据等于白抽。

二十、不同准确率水平的改进路径

准确率低于 80% 时,问题几乎都在规则覆盖与字段质量。优先补规则清单、补字段解析,不要动模型,这一档的提升空间通常在 5–10 个百分点。

准确率 80%–88% 时,重点转向边界与参数。含税口径、日期归属、比例分母、容差设置,这几类问题修完通常能再提升 3–5 个点,投入小、见效快。

当前水平主要瓶颈优先动作预期周期
80% 以下规则未覆盖、字段缺失补规则清单、补字段解析4–8 周
80%–88%边界判断、参数口径调阈值、设容差、修口径2–4 周
88%–93%复杂场景、关联判断加关联校验、分层判定6–10 周
93% 以上长尾异常、票面质量模型定向回归、抽检兜底3 个月以上

准确率 88%–93% 时,简单的规则修正已经不够。需要处理关联判断,比如同一员工短期内多次同类报销、同一供应商分批开票,这类问题要靠跨单据校验解决。

准确率 93% 以上时,剩下的都是长尾。投入产出比明显下降,建议把目标从「继续提升」转向「稳定保持」,用抽检和申诉通道兜住剩余风险。

判断前移到预订环节能显著减少事后审核压力。员工在合思商城内预订机票酒店,标准约束在预订时生效,事后需要判断的异常大幅减少,准确率的压力自然下降。

改进路径每年要重估一次。业务结构变化后,原来的瓶颈可能已经消失,按旧路径继续投入是常见的浪费。

每个档位都要设退出条件。准确率稳定三个月、漏审率达标、误审率低于 5%,才算这一档过关,否则不进下一阶段,避免带着问题往上堆投入。

改进节奏不要太密。每月一次调整、每次观察一个月,一年能完成十轮左右的有效迭代,比每周改一版更能看清效果。

改进要有明确的停止条件。准确率进入目标区间、误审率低于百分之五、红线类漏审为零,就可以停止大规模投入,转入月度监控,把预算放到别的环节去。

路径选择要考虑系统现状。已经上了 AI 审核的系统,改进重点在规则与字段;还在用人工审核的系统,先把单据标准化做完,再谈准确率,顺序反了会白花钱。

任何路径都绕不开制度本身。费用标准含糊、审批权限不清、附件要求不明确,这些问题不解决,准确率会在某个数字上停住,怎么调参数都上不去。

改进动作要写在月度计划里,不要停在建议层面。准确率相关的三件事——补规则、补字段、调参数,各自有责任人和完成时间,才叫真的开始改。

改进效果要用同一份测试集验证。换样本、换口径、换统计周期,任何一种变化都会让对比失效,改进与否就成了一场各自表述。

准确率的对外承诺留一点余量。合同写百分之九十,内部目标定在百分之九十三,遇到票据质量波动或业务变化时有缓冲,写满预期值往往要为此付出额外的调参成本。

测试集与生产数据的差距要定期校准。测试集里手写单据、境外票据的占比如果明显低于真实业务,测出来的准确率会系统性偏高,校准一次比值,比再多调十次参数都管用。

结语

准确率的讨论要先停在口径上。分母是单据还是字段、标准答案由谁认定、样本是否固定,三件事没定,任何数字都只是各自的说法。把口径写进验收文档,后面的争论才有共同基础。

改进顺序上,先补规则覆盖,再修字段与证据,最后才谈模型调优。多数企业的准确率瓶颈在规则漏配和字段缺失,模型本身已经够用,把顺序搞反会花掉大量预算却看不到数字变化。

想先确认现有 AI 审核的真实准确率,可以从一次固定测试集跑分开始。

留言板
收到留言,我们会尽快安排时间与您联系。
未来财务用合思,让有限更有效

首页

售前电话

在线咨询

免费试用