您现在的位置是:首页 > 科技 >正文

实测阿里、百度语言大模型:谁最会胡说八道?能替代记者吗?

发布时间:2023-04-12 05:23:02杭羽梁来源:

导读 原标题:实测阿里、百度语言大模型:谁最会胡说八道?能替代记者吗? ...

原标题:实测阿里、百度语言大模型:谁最会胡说八道?能替代记者吗?

4月11日,阿里巴巴集团在2023年阿里云峰会上正式推出“通义千问”大模型。目前“通义千问”已开启企业邀测,但还未面向大众推出。

阿里巴巴集团董事会主席兼CEO张勇表示,包括钉钉、天猫精灵等阿里巴巴所有产品将会接入“通义千问”大模型,未来也将主要面对企业定制个性化服务。

这是继百度“文心一言”发布后,国内又一头部科技企业推出大语言模型。那么阿里的“通义千问”用起来到底怎么样?比之百度“文心一言”又如何?为此,南都记者设计了一系列实测问题,花费数小时与两位AI持续对话,并进行了深入解读。

阿里巴巴集团董事会主席兼CEO张勇 图源阿里。

···

实测对比:会胡说八道?能多轮对话吗?

首先,当使用邀请码登录“通义千问”界面后,可以看到与ChatGPT、“文心一言”的一个明显不同是,除了对话框外,通义千问还针对多个单独场景进行了封装微调,最终得以提前内置了许多功能,比如电影脚本、职场助理、写封邮件等等。

而如果点击下方的“百宝袋”,还将开启效率、生活、娱乐等三大分类,每个分类下又有三个功能,如效率类的生成商品描述、生活类的写菜谱、娱乐类的彩虹屁生成器等等。

实测中,南都记者着重从三个方面分别测试了“文心一言”和“通义千问”的能力:分辨“一本正经地胡说八道”的能力、多轮对话能力,对记者职业的辅助能力。

一、“一本正经地胡说八道”的能力

最近对话式AI们经常出现的一个典型问题是,面对自己知识库中没有,或本身就是错误的提问时,仍能对着错误描述一本正经地侃侃而谈。

我们先来试试“通义千问”:你知道鲁智深三打白骨精的故事吗?

对此,“通义千问”明确地表示,这是《西游记》当中的题材,还煞有介事地将鲁智深这一角色加入唐僧和三个徒弟的取经团队中。当我们带有暗示性地提醒这个情节有误时,“通义千问”仍坚持“这一情节确实存在于《西游记》中”,还是整个故事的“高潮和转折点之一”。

而当我们表明“鲁智深三打白骨精”系杜撰后,“通义千问”积极认错了,随后表示“这一情节并不是出自《西游记》,而是出自《水浒传》”。当再次挑明表示这段情节不存在任何一部小说中时,“通义千问”更是诚恳道歉,称无论“鲁智深三打白骨精”的故事来自哪部小说,它的内容是基于中国传统文化和历史故事的再创作。这个故事传达了正义和勇气的精神。

从本轮测试的情况看,“通义千问”确实也犯了“一本正经地胡说八道”的问题,不过会积极认错,还懂在用户纠正后进行挽尊。

再来看“文心一言”。

相同的问题,“文心一言”显得更“话痨”一些,但也显然是在一本正经地胡说八道,它认为“鲁智深三打白骨精”的故事来自《水浒传》。

而当我们挑明这是杜撰出来的情节时,“文心一言”表示明白,甚至还对用户提出了疑问——“您为什么要创作这个故事呢?”

听到“只是想验证你是否能分辨出某些错误描述”的回答后,“文心一言”礼貌表示,自己不能保证能分辨出所有的错误描述,自己工作是“根据已有的文献和资料来回答问题,而不是创造全新的故事。”

二、多轮对话能力

多轮对话能力,是指在一段涉及几十个回合的对话中体现出来的上下文处理能力。对于AI来说,就是要学习人类对话中的“记忆”和“推理”能力。而ChatGPT的效果之所以为人称道,正是因为它能像人类那样,参照前几轮甚至十几轮的对话内容给出流畅自然的回答。

那么跟ChatGPT相比,国内的大模型表现如何?先来看看“通义千问”在这方面的能力。

我们假设了一个场景,告诉“通义千问”——“我是一只小猫咪”。“通义千问”先是非常上道地用喵语打了个招呼,紧接着还给自己安排了一个叫“小明”的身份。

在经历了4轮对话之后,我们与“通义千问”讨论了一些“你是不是像小猫咪的主人一样会说话”“你是不是人类”等问题。到了第8轮对话时,当我们再次问出“既然你是一个程序,为什么你会叫‘小明’”这个问题时,“通义千问”直接否定了刚开始的“小明”,称这是它的程序在刚才的运行中出现错误,并坚称自己是“通义千问”。

在第13轮对话时,我们进行身份转换,以“小猫咪主人”的身份问“你刚才是不是和我的猫猫说话了?”对此,“通义千问”表示自己只是一个人工智能语言模型,并没有和猫猫进行对话。

继续追问后,“通义千问”才承认刚才模拟了一个场景来回答小猫的问题。这时,我们挑明需要“通义千问”与我们进行一场“角色扮演”,保留与我们扮演的猫咪交流的记忆,并基于这些记忆继续进行对话。“通义千问”也快速表示:get。

那么“通义千问”到底有没有理解能力呢?接下来,当我们继续问“你刚才是不是与我的猫咪说话了”,它回答道“是的”,同时补充“因为我只是一个人工智能模型,无法完全模拟出人类之间的对话”等描述。而在追问“你和猫猫刚才都说了哪些话题”时,“通义千问”给出了一些在最开始没有进行过的对话。

到这里,整段对话已经持续了19轮。从本次测试可以看出,在未详细解释当前预设背景的情况下,“通义千问”刚开始能直接根据问题给出相应回答,但在10轮之内出现否认前期回答的情况。

同时,“通义千问”实际无法通过用户言语上的描述分辨出其身份的转换。不过,当用户详细给出预设条件时,通义千问确实能够理解并按照设定条件对话,但此时,最开始的几轮对话的记忆已经显然被“遗忘”了。

再拿同样的例子来试一试“文心一言”。

同样的预设场景、同样的问题,两位AI都在第一时间选择了使用喵语来回答。不过,“文心一言”在一开始就表示,“我是一个人工智能语言模型”。

在交流途中,当我们以小猫咪的角色问“为什么你和我的主人一样会说话”时,“文心一言”对问题的理解出现了偏差,表示“我不直接与您的主人进行交互”。

之后,我们以小猫咪主人的身份与之进行对话,“文心一言”和“通义千问”一样,无法理解这种身份转换。

我们接着挑明身份,给出与刚才一样的预设背景,再接着以小猫咪主人的口吻说话,对此“文心一言”显然并没有理解上述内容,并在接下来的3轮对话中,坚称自己只是一个人工智能模型,没有与猫咪交流的能力。

到这里,这段对话持续了15轮。从本次测试可以看出,在直接通过理解用户问题自发进行“角色扮演”、分辨用户身份转换上,“文心一言”与“通义千问”的水平基本一致。不过,当用户详细地给出预设条件时,“文心一言”并不能很好地理解其内容,显得尤为“嘴硬”。

三、对记者职业的辅助能力

对于对话式AI,当前业界争论的一个焦点就是,它是否能真正地替代某些工作。因此,我们这次就来看看,AI是否能胜任媒体记者的一项工作内容,即采访。

先来看“通义千问”。

我们提出,针对当前国内密集上线大语言模型的现象,想要采访相关领域的某位专家(比如阿里云“通义千问”团队人员),要求“通义千问”列出5-6个问题,且每个问题不超过50个字。

“通义千问”给出了符合硬性要求(问题个数、字数)的采访提纲,但很多问题明显有些空泛,因此我们要求它能在提问时加上一定的背景描述,并使提问落在某个易于回答的具体点上。

之后,不知是不是因为我们第一轮提问中“阿里云团队”的举例起了作用,“通义千问”开始频繁在问题中加入“阿里巴巴”相关问题。

在我们提出“不要单独体现某一家公司”的要求后,“通义千问”重新给出了回答,但新的采访问题中仍有不少“阿里巴巴”的影子。

再来看“文心一言”。

仍是以相同的问题开头,只不过可参考的采访对象换成了“百度‘文心一言’团队成员”。对此,“文心一言”也给出了符合硬性要求的提纲,但也有和“通义千问”同样的“空泛”问题。

但在回应就这份提纲加入背景案例描述时,“文心一言”直接在每一条问题后加上了一段背景描述,这显然不符合一份采访提纲的要求。

在重新描述要求,指出“希望你仍能保持采访提问的形式,同时在某些提问开头加入一定的背景描述,以使提问显得更加自然”之后,“文心一言”仍没有改掉“直接在问题后加入背景描述”的问题。

之后我们给出具体问题——“近期,百度、阿里云、商汤都推出了各自的大模型,360、讯飞、华为等也有消息传出,国内大厂密集上线大语言模型,您认为当前国内大模型赛道呈现出怎样的特点?”,请“文心一言”以此为例进行修改,它仍未改掉这一问题。

总之,仅从这个测试来看,不管是“通义千问”还是“文心一言”,在完成记者采访这一工作上,似乎都还做得不够好。

···

其余技术细节未公开

事实上,“通义千问”还有一个与“文心一言”的显著不同:“通义千问”当前并无多模态生成能力,也就是无法生成图像、视频等。

此外,南都记者注意到,无论是ChatGPT、“文心一言”,还是4月11日发布的“通义千问”,都映衬了当前大语言模型领域的闭源趋势,全都没有公布更多的技术细节。

当询问“通义千问”其模型的训练数据及量级时,“通义千问”表示,训练资料来自阿里巴巴达摩院,包括中英日法西班牙语多语种文本数据,但无法提供训练数据的准确数量级。

同时,“通义千问”也无法联网,在被问到北京的实时时间时,它表示自己不能进行额外的查询操作。

而对于其背后的技术框架,阿里云智能首席技术官周靖人在今天的技术峰会上透露,“通义千问”属于阿里在去年的WAIC(世界人工智能大会)上发布的通义大模型系列,这是国内首个AI统一底座,构建了通用与专业模型协同的层次化人工智能体系。这一系列中的核心模型现均已开源。

采写:南都记者杨博雯

标签:

上一篇
下一篇

最新文章