问题识别能力
召回率看该找的问题找全多少，精确率看报出的问题有多少成立。F1要求两者同时表现良好。
识别得分 = F1 × 60
公开 · 可复核 · 可比较
合同审查工具，
不该只凭感觉比较。
用统一合同、统一立场和统一算法，回答三个真正重要的问题：找得全不全、报得准不准、建议能不能用。
i 首组基准将由平台组织专家审定；第2、3组待后续专家共同建设。
示例评测报告某合同审查智能体 · v2.4
已复核78.6综合得分
识别稳健，建议仍有提升空间
F1与建议有效覆盖率共同计分，法律红线单独核验。
召回率84%
精确率76%
问题 F180%
建议覆盖76%
30份候选合同
3个独立分组
版本化基准与标准答案
60/40识别与建议权重
01
一套力求简单易懂但有效的评测标准
总分衡量“发现问题”和“解决问题”的综合表现；法律红线挡住不能被平均分掩盖的严重错误。
建议交付质量
专家只判断建议是“可以采用”“需要实质修改”还是“不可用”，对应系数1、0.5、0。
建议得分 = 有效覆盖率 × 40
法律安全红线
严重违法、审查立场颠倒或引入重大风险，不允许被其他高分抵消，并必须经过专家复核。
严重红线可阻止“推荐”结论
02
从审查结果到评测报告
机器完成结构化处理，关键判断由法务或律师复核。
下载基准
一键下载已开放组的10份合同，并按固定审查立场测试参评产品。
批量提交
一次上传10份审查报告，后台自动识别并检查与基准合同的一一对应关系。
统一计算
拆分审查意见，匹配标准问题项，计算召回率、精确率、F1和建议覆盖率。
生成报告
展示分数、遗漏、误报、有效新增和法律红线；正式结果进入专家复核。
03
三组基准合同建设计划
分组审定、逐组开放只有完成专家审定的分组才开放下载和评测
编号与合同名称合同类型固定审查立场样本
G1-C01人事档案数字化服务合同
数据加工与技术服务甲方（档案管理单位）待接通G1-C02建设工程施工合同
建设工程施工甲方（发包人）待接通G1-C03特色融资方案合作协议
融资合作乙方（贷款方）待接通G1-C04乡村振兴产业合作合同
产业合作甲方（村集体方）待接通G1-C05物流业务服务协议
物流综合服务甲方（委托方）待接通G1-C06配电房扩容配套项目施工合同
建设工程施工承包人待接通G1-C07咨询服务合同
企业咨询服务甲方（客户）待接通G1-C08征地拆迁补偿包干协议
征地拆迁补偿甲方（项目业主）待接通G1-C09股权转让协议（版本一）
股权转让乙方（买受人）待接通G1-C10设备采购纠纷和解协议
和解协议甲方（原告／设备采购方）待接通本组共10份合同 · 候选基准统一合同、统一立场、逐份对应
04
评测专家委员会
面向不同合同领域招募有实务经验的律师和法务，共同审定基准合同的标准问题项，并对有争议的评测结果进行校正。
01审定基准
核对合同立场、标准问题项、风险等级和建议方向。
02校正结果
复核疑难匹配、有效新增、误报和法律安全红线。
03处理争议
对参评方提出的异议给出独立、可记录的专业意见。
04维护版本
发现基准缺陷时提出修订，新旧版本分别留存、可复核。
COMMITTEE DIRECTORY
委员招募中专家名单
委员席位暂时保留。正式名单只在本人确认、完成利益冲突披露并实际参与基准审定后发布；欢迎有一线合同经验的律师、法务和研究者报名。
报名中
专家席位待补充
建设工程与房地产施工、代建、征地拆迁
报名中
专家席位待补充
公司治理与投融资股权转让、投资合作、融资
报名中
专家席位待补充
数字经济与数据合规SaaS、数据服务、AI项目
报名中
专家席位待补充
采购、供应链与物流货物采购、运输、渠道合作
EXPERT APPLICATION
申请加入专家委员会
欢迎具有稳定合同审查经验、熟悉特定业务领域，并愿意遵守独立评审和利益冲突回避规则的律师或法务申报。
- 1扫描右侧二维码，提交飞书报名问卷
- 2提交后添加微信554861751，注明“评测专家申请＋姓名”
- 3沟通后提供至少1份脱敏合同及人工审查意见
扫码填写专家报名问卷填写后添加微信：554861751无法扫码时，点击打开问卷
05提交一组审查结果，
提交一组审查结果，
看看它究竟表现如何。
一个软件评测项目最多包含三组任务。目前先开放完成专家审定的分组，后续两组审定完成后逐步加入。
- ✓ 产品信息只填写一次，三组结果归入同一项目
- ✓ 每组10份结果可一次上传，后台自动对应检查
- ✓ 自动披露测试版本与评测条件
- ✓ 三组完成后重新计算软件总体成绩
07
报告不只给出一个总分
每一个分数都能回到具体合同、具体问题和具体判断。示例数据仅用于展示报告结构。
示例综合得分78.6/ 100
!
法律安全状态：通过复核未发现未解决的重大法律红线。数值总分不能替代安全结论。
67个标准问题中，命中分合计56.3。
误报会进入分母，重复意见也会增加筛选负担。
单独展示，不进入主分，也不降低精确率。
逐项披露错误判断、重复意见和立场冲突。
08
这套评测能说明什么，也不能说明什么
评测提供的是特定基准、特定版本和统一条件下的比较结果，不是对产品全部能力的最终判定，也不能替代采购方在自身业务中的试用与专业判断。
数据集质量会影响结果
合同类型、样本数量、难度分布和参考答案质量都会影响分数。当前结果只代表本版本基准覆盖的范围，不能自然推及所有行业、合同类型和法律问题。
单份合同不等于完整业务事项
真实审查还会受到交易目的、谈判地位、企业制度、历史沟通和商业取舍影响。当前评测以固定合同和固定审查立场为主，不能完整还原企业法务的全部决策环境。
自动评判与专家判断可能不同
语义匹配和部分质量判断由大模型辅助完成，在隐含风险、立场取舍和建议可用性上可能与人类专家存在偏差。争议项、法律红线和正式排名需要专家复核。
分数只针对本次受测输出
模型、规则库、参数和产品版本变化都可能改变结果。当前主要评价最终审查报告，不评价速度、成本、系统集成、交互体验和产品内部的工作过程。
我们如何降低这些影响
公开测试集与私有保留集分开基准与评分程序版本化争议项和法律红线专家复核报告披露测试条件与适用范围
09
公开评测，先公开方法。
同一基准、同一输入、原始输出封存、尽量盲评、利益冲突回避、人工修改留痕。公开排名只接受完成统一测试并经过复核的正式评测。
查看方法与治理规则 →