现行
T/SAIAS 0013.4-2023
到馆提醒
收藏跟踪
分享链接
购买正版
选择购买版本
本服务由中国标准服务网提供
更多
前往中国标准服务网获取更多购买信息
支持批量购买纸质版标准
教育通用人工智能大模型 第4部分:测评规范
发布日期:
2023-07-08
实施日期:
2023-08-08
范围:本文件规定了教育通用人工智能大模型的测评框架、测评指标、测评维度和测评方法。
本文件适用于教育通用人工智能大模型的基础能力和教学功能的测评;
主要技术内容:本文件规定了一系列用于评估大模型全方面能力的测评指标、综合测试模型本身的自然语言处理能力、模型应用于各教育场景的能力、模型的价值观、安全性和数据合规性等各个方面。对以上每一个维度的测评、都相应需要一个高质量的动态更新的测评数据。1.教育通用人工智能大模型测评框架包括测评指标、测评维度、测评数据集、模型基础能力测评和安全风险测评五个部分。2.本文件定义了3个一级测评指标和12个二级测评指标,4个一级测评维度、19个二级测评维度和76个三级测评维度。每一个三级测评维度、需要用相应的测试数据集进行相应指标的测评。3.所有测评维度可以单独测试或者选择部分测试维度组成一个测试子集、或者选择全集进行组合测试。模型基础能力和安全风险测评维度可以参考已有的团体、行业、国家或国际标准