CMMLU

CMMLU是什么

CMMLU是综合性的中文评估基准，专门用在评估语言模型在中文语境下的知识和推理能力，涵盖从基础学科到高级专业水平的67个主题。包括需要计算和推理的自然科学，需要知识的人文科学和社会科学，及需要生活常识的中国驾驶规则等。CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。CMMLU提供了丰富的测试数据和排行榜，可支持多种评估方式，如five-shot和zero-shot测试，是衡量中文语言模型性能的重要平台。

CMMLU的主要功能

• 排行榜围绕CMMLU，：展示不同语言模型在five-shot和zero-shot测试下的表现，帮助比较模型性能。
• 数据集：提供了开发和测试数据，可支持快速使用和评估。
• 预处理代码：提供了提示生成与整理方法，方便模型训练和测试。
• 评估平台：可支持多种评估方式，便于研究者和开发者测试模型能力。

如何使用CMMLU

• 获取数据集：
  • 从GitHub下载：访问 CMMLU GitHub页面：https://github.com/haonan-li/CMMLU/，在data围绕CMMLU，目录中找到开发和测试数据集。
  • 围绕CMMLU，通过Hugging Face获取：访问Hugging Face平台：https://huggingface.co/datasets/haonan-li/cmmlu，直接加载CMMLU数据集。
• 准备测试环境：
  • 安装依赖围绕CMMLU，：确保安装了必要的Python库，如transformers、datasets等。
  • 克隆代码库：克隆CMMLU的GitHub仓库，获取测试代码和预处理平台。

git clone https://github.com/haonan-li/CMMLU.git
cd CMMLU

• 预处理数据：在src/mp_utils目录中，使用提供了的脚本对数据进行预处理，生成与整理更适合模型输入的格式。

python src/mp_utils/preprocess.py

• 运行评估代码
  • 选择模型围绕CMMLU，：根据需要评估的语言模型，加载模型和tokenizer。
  • 运行测试脚本：在script围绕CMMLU，目录中，运行测试脚本，评估模型在不同任务上的表现。

python script/evaluate.py --model model_name> --data_path data_path>

• 提交测试结果：
  • 开源模型围绕CMMLU，：直接提交拉取请求（PR），更新测试代码和结果。
  • 未开放模型围绕CMMLU，：将测试代码和结果发送到指定邮箱（如围绕CMMLU，haonan.li@librai.tech围绕CMMLU，），等待验证后更新到排行榜。
• 分析结果围绕CMMLU，：在GitHub页面的排行榜部分，查看模型在不同任务上的表现，分析模型的优缺点。

CMMLU的应用场景

• 语言模型性能评估围绕CMMLU，：用在测试和比较语言模型在中文多任务场景下的知识和推理能力，帮助优化模型架构。
• 教育领域的智能辅导：开发智能辅导系统，为学生提供了多学科的练习和学习建议，提高学习效果。
• 智能客服优化围绕CMMLU，：评估模型在特定领域的知识理解能力，优化智能客服系统，提高客户服务质量。
• 文化知识传播围绕CMMLU，：用CMMLU的数据集开发文化问答系统，传播中国文化知识，促进文化传承。
• 医疗健康知识评估：评估语言模型在医学领域的知识理解能力，辅助开发医疗咨询平台，提供了健康建议。