AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强_全球资讯热分享网(专注热点收集平台)

AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强


AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强

  2024-01-11 19:41:39     简体|繁體
http://refenxiang.com/1034872.html

原文来源:品玩

作者:吕可

图片来源:由无界 AI生成

Role-Playing Conversational Agents(RPCA)是一类对话代理,它们被设计成能够模仿特定角色或人物进行对话。这些角色通常来自于现有的文学作品、电影、卡通、游戏等,具有特定的知识、行为和回应风格。RPCA的目标是与用户进行沉浸式的互动,提供情感价值而非仅仅是信息或生产力。

与传统的聊天机器人不同,RPCA更注重于角色扮演和情感交流。它们能够根据用户的输入,以特定角色的身份进行回应,从而创造出一种仿佛与真实人物对话的体验。这种类型的对话代理在娱乐、教育、心理辅导等领域有着广泛的应用前景,因为它们能够提供更加个性化和情感化的交互体验。

RPCA的挑战在于如何准确地模拟角色的知识、行为和风格,同时保持对话的连贯性和吸引力。为了评估这些代理的性能,来自中国人民大学高瓴人工智能学院的三位研究者联手北京邮电大学人工智能学院共同推出了一个名为CharacterEval的中文基准测试。并辅以一个量身定制的高质量数据集。

该数据集由 1785 个多回合角色扮演对话组成,包含 23020 个例子和 77 个来自中国小说和剧本的角色。比如《武林外传》中的佟湘玉和吕秀才。CharacterEval 可以直接让不同的大模型生成这两个角色进行对话,并根据基准测试的标准来给出相应的能力评分。

作为基准测试,CharacterEval 采用多维度评估方式,包括对话能力、角色一致性、角色扮演模式以及个性测试四个维度,每个维度还有不同的指标,一共十三个具体指标。

对话能力(Conversational Ability)

  • 流畅性(Fluency):衡量响应的语法正确性和可读性。
  • 连贯性(Coherency):评估响应与对话上下文的相关性。
  • 一致性(Consistency):检查RPCA在对话中是否保持一致性,避免自相矛盾。

角色一致性(Character Consistency)

  • 知识曝光(Know-Exposure, KE):评估RPCA在响应中提供的信息量。
  • 知识准确性(Know-Accuracy, KA):衡量RPCA基于角色知识生成响应的准确性。
  • 知识幻觉(Know-Hallucination, KH):评估RPCA在缺乏知识时是否会产生幻觉。
  • 角色行为(Persona-Behavior, PB):评估RPCA的行为描述是否符合角色特征。
  • 角色台词(Persona-Utterance, PU):检查RPCA的说话风格是否与角色相符。

角色扮演吸引力(Role-playing Attractiveness)

  • 人类相似度(Human-Likeness, HL):评估RPCA的响应是否具有人类特征。
  • 沟通技巧(Communication Skills, CS):衡量RPCA在对话中的沟通能力。
  • 表达多样性(Expression Diversity, ED):检查RPCA在对话中是否展现出多样性。
  • 同理心(Empathy, Emp):评估RPCA在对话中表达同理心的能力。

个性测试(Personality Back-Testing)

  • MBTI准确性(MBTI Accuracy):使用Myers-Briggs Type Indicator(MBTI)个性类型作为参考,评估RPCA在个性测试中的准确性。

研究团队还推出了一个名为 CharacterRM 的奖励模型,用于对主观指标的评估。CharacterRM 通过与人类判断的相关性来评估RPCA在主观指标上的表现。而根据实验结果,其性能优于GPT-4,当人这只能说是角色扮演这方面。

研究团队用了几个比较常用的 AI 大模型进行了测试,其中包括常见的 ChatGLM3-6B、GPT-4、minimax、Baichuan2-13B等,并根据他们的表现给出了评分。

CharacterEval 的诞生,填补了角色扮演对话代理(RPCAs)领域缺乏全面评估基准的空白。而他的发布也有助于该领域的发展以及以及用户体验提升。

研究团队先已经放出了CharacterEval 相关数据集、论文等信息,感兴趣的人可以通过GitHub访问。此外,该测试的代码也将会在不久后更新在其 GitHub页面中。

论文地址:GitHub - morecry/CharacterEval: repository for CharacterEval, a benchmark for role-playing conversation

Arxiv地址:https://arxiv.org/abs/2401.01275



编辑:web3528btc 来源:加密钱包代币

分享到:

  • 上一篇
    下一篇

  • 分享知识|收获智慧

    全球资讯热分享网(专注热点收集平台)
    手机查看(二维码扫一扫)

    全球资讯热分享网,最有影响力热点信息分类网站,主要集合图文、知识、日常、娱乐、财经、文化、生活、致富、女性、地区、科技等多类信息分享交流,免费提供最有价值的头条信息平台。
    « 2025年 » « 07月 »
    123456
    78910111213
    14151617181920
    21222324252627
    28293031

    最新资讯

    光伏行业意外险个人能买吗?光伏行业意外险价格是多少?
  • 2025-07-27 16:05:46

     

    [代运营]抖音大健康平点收量,接高消耗代运营,24小时充值,欢迎来聊~
  • 2025-07-27 15:59:44

     

    [代运营]金融、娱乐、大健康、教育、个贷等非常规行业朋友圈广告投放 报白渠道
  • 2025-07-27 15:53:43

     

    [代运营]微信朋友圈广告投放,不限行业全国可接 无需资质免保证金,禁投行业均可
  • 2025-07-27 15:47:39

     

    [代运营]品专26现金点千川4.5 快手cid6.5本地推新客40ad信息流7红书聚光16
  • 2025-07-27 15:41:37

     

    [代运营]全新趋势,自动托管,自动掘金日入300+
  • 2025-07-27 15:35:34

     

    [代运营]泡酒瓶,lr片,艾灸罐,睡眠仪,血氧仪,激光治疗仪免领好量,随时切量上线
  • 2025-07-27 15:29:31

     

    2025年最推荐的百万医疗险是哪些?投保注意什么?
  • 2025-07-27 15:23:28

     

    生病后买保险有效吗?附产品推荐!
  • 2025-07-27 15:17:26

     

    信用卡最低还款额怎么算的?还了之后会逾期吗?
  • 2025-07-27 15:11:23

     

    [代运营]三高,肝病,骨病,石斛,莓茶,磷虾油,海参,血糖等小病种百度(baidu)大搜专业代运营,长期合作
  • 2025-07-27 15:05:20

     

    [开户]全球各行各业线上推广户直开,拥有各类推广引流获客方式:下载加粉表单等等
  • 2025-07-27 14:59:18

     

    [开户]快手电商新主体,刚下的
  • 2025-07-27 14:53:15

     

    [开户]阿里汇川平台,可做防水业务推广,新平台,目前还可做增量
  • 2025-07-27 14:47:12

     

    [开户]小红书广东区域高政策 代运营 法律 情感 教育 旅游均有案例参考
  • 2025-07-27 14:41:10