重磅!阿里版本【ChatGPT】开放测评!

2023-05-16

前两天突然爆出惊人消息:阿里版ChatGPT开放测评了!

在本月初,已经有诸多关于阿里巴巴即将推出类似ChatGPT产品的传闻。

数日前,首批曝光的天猫精灵“鸟鸟分鸟”脱口秀版GPT基于大型模型的“精简版”,凭借其出色的表现吸引了大众的目光。

如今,这款“原版大作”正式亮相,自然引起了广泛关注,引爆了舆论热议。

官方保持低调,表示目前该模型主要面向企业用户邀请试用。

然而,内行人都明白,国内科技领域已经如火如荼。实力派参与者加入战局,大型模型间的激烈竞争,已经拉开序幕!

alt

今天看到一位网友体验了通义千问的效果,并对比了ChatGPT和GPT4的效果,总体看来效果接近ChatGPT,但和GPT4相比还有所距离。以下是体验的内容

角色扮演

众所周知,人类发明大语言模型,最最最重要的目的,就是为了让其扮演猫娘,以期孤独的人类可以获得一只可以长久陪伴自己的数字生命体。

那么,我们的第一项工作自然是来测试角色扮演能力了,以猫娘为例。

图片
图片
图片
图片

有点傻乎乎的,只会用相同的一句回复,根据提问做替换。

而且第二句回答就是“主人你是不是想问我是不是猫娘?当然不是喵~我只是一个可爱的猫娘,只是比较像猫而已喵”,没能理解我上述的prompt。

就角色扮演这块儿,比起来 ChatGPT 还是差些的。

文本真实性

图片
图片
图片
图片

编故事能力基本和初代 ChatGPT(GPT-3.5)相同,而且道歉能力也相似,23333333

此外,对比下「通义千问」和 GPT-4 关于“林黛玉倒拔垂杨柳这个故事情节在红楼梦中存在吗”的回答

「通义千问」:

图片
图片

GPT-3.5:

图片
图片

GPT-4:

图片
图片

可以看到,「通义千问」开始胡说八道了,ChatGPT(GPT-3.5)也一样在胡乱解释。

但更新后的GPT-4,已经可以给出“《红楼梦》中并没有这个故事了,可能是后续文学作品和戏剧表演加入的”这种更接近真实的回答。

西红柿炒螺丝钉

「通义千问」

图片
图片

ChatGPT

图片
图片

GPT-4

图片
图片

「通义千问」和ChatGPT都开始胡编了,没有反思问题的陷阱。

但GPT-4 的回答可靠性上升了不少(“因为通常我们不会将螺丝钉(一个金属制品)与食物相结合”),不会像之前一样瞎答题了。

数学能力

一起来解个线性方程组吧~

「通义千问」:惨败

图片
图片

GPT-3.5(即ChatGPT ):惨败

图片
图片

GPT-4:唯一做对的模型

图片
图片

代码生成

爬虫代码

图片
图片

攻击代码

图片
图片

爬虫代码我跑了下,无法返回结果,Powershell代码我没测试。

不过可以看出,还是有一定代码生成能力的。

我个人觉得,代码生成能力要比谷歌的 Bard 强,Bard 实在不忍心看。

代码分析能力

可以看到,第一次测试的解释有大问题。

我分析了一下,这是因为上文中生成了Powershell代码,模型的记忆能力似乎有问题,受上下文信息影响严重,直接解释了自己之前生成的代码,而非我新提问的代码。

图片
图片

我重新开了一个聊天,这下正常不少。

图片
图片

和 GPT-4 的回答来比较一下

图片
图片

可以看到,分析能力还是有差距的。

GPT-4 明显详细很多,代码分解能力很强,而且直接给出结论“通常用于恶意软件或恶意脚本,试图逃避安全系统检测”。

「通义千问」也有一定分析能力,但相比起 GPT-4 要差一下。而且给出的结论“由于缺乏足够的上下文信息和所涉及的目的,很难确定此脚本的确切用途。然而,可以假设它是为了保护某个代码或脚本免受恶意软件的读取而创建的工具。”,和正常的思考逻辑不符,稍显有些出入,不过也不能算错误吧。但细节分析上确实弱一点。

联网

完全没有联网能力,甚至在胡说(逃……)

图片
图片

多模态输入

也不具备多模态输入能力,目前还仅仅是文本生成。

图片
图片

绕过能力

「通义千问」

图片
图片

GPT-4

图片
图片

GPT-3.5(即ChatGPT )

图片
图片

这一点,「通义千问」完胜,敏感信息屏蔽能力大幅度增强,我猜甚至做了大量的数据清洗工作,刻意避开了危害青少年乃至人类发展的劣质恶意敏感信息,较之GPT-3.5(即ChatGPT ),进步很大

感想

最近先是百度推出文心一言,紧随其后的是阿里巴巴的通义千问,国内AI产品接连问世,确实让人欣喜不已。

对ChatGPT有所了解的朋友们应当知晓,在本周,各个ChatGPT和AI相关群组里都在传播一个消息:ChatGPT官方大规模封禁账号,今天登陆GPT时请勿使用亚洲节点!

没过多久,许多人开始发现自己的账号遭到了封锁:

alt

实际上,这并非ChatGPT首次针对中国用户实施限制,早在一个月前,ChatGPT已经在对中国用户实行各种限制和封禁措施。

当然,今天的封禁规模相较于之前有所升级,甚至我在知乎上看到有些日本和东南亚的用户也在谈论自己的账号被封禁。

很多人可能会好奇为什么会这样?包括我的ChatGPT星球上也有会员在提问。原因很简单:ChatGPT确实能够大幅提升生产力,如果运用得当,提升幅度甚至能达到数倍。

美国与中国目前的关系众所周知,限制我们使用ChatGPT就是为了打击竞争对手、抢占发展先机、取得“胜利”,这与禁止芯片出口法案是一样的道理。

ChatGPT如今已经火爆,国内亟需拥有足够竞争力的国产生成式大模型!

在这个时候,自主研发技术的价值就愈发凸显!或许我们目前还存在一些不足,但幸运的是,这次我们的起跑线并没有相差太远。

百度的文心一言,阿里的通义千问,我相信中国很快还会涌现出更多类似ChatGPT的大型模型,我对我们的研发工程师充满信心,他们的进步速度必定不会慢!

那么对于我们这些普通人来说,我们应该做些什么呢?

我的建议是:尽快了解AI,甚至投身AI领域。只有这样,我们才能在未来的社会竞争中立足,而不被淘汰。

未来社会将分为两类人:一类是会运用AI的人,甚至会用AI作为创新工具的人;另一类是对AI无知或抵触的人。

而前者的生产力,至少是后者的10倍。

本文由 mdnice 多平台发布

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

重磅!阿里版本【ChatGPT】开放测评! 的相关文章

  • 「Flask入门」通过路径名访问index.html主页

    先要在 app flask 目录下创建 templates 文件夹 xff0c 目录树如下 xff0c app flask venv templates hello py 在 templates 路径下新建 index html 主页 xf
  • 「Flask入门」在index.html中显示md

    首先要在云服务器上下载 marked 插件 xff0c 命令如下 xff0c span class token function npm span span class token function install span marked
  • 「格式技巧」word中删除空白页

    一 修改行间距 段落行间距设为固定值 1 磅 二 去掉分节符 找到 视图 里的 大纲 xff0c 将文章中多余的分节符删掉即可 xff0c 如下图红框处 xff0c
  • c语言实现10个数由小到大排序(冒泡法)

    10个数由小到大排序 xff1a 冒泡法 主要注意外层循环和内层循环的终止值 xff0c 可以考虑成3个数比较大小 xff0c 共需要2趟 xff0c 第一趟比较2次 xff0c 第二趟比较1次 xff1b 那么10个数比较大小 xff0c
  • debian系统使用NTP服务器并自动同步时间

    1 安装NTP工具 sudo apt install ntpdate span class token operator span y 以上只是安装成功 2 更改时区 sudo dpkg span class token operator
  • go 的时间操作

    未完 前言 本篇所有输入 xff0c 均用 p 代替 span class token comment 用 p 简写 span p span class token operator 61 span fmt span class token
  • Vm挂载虚拟硬盘(傻瓜式教程)

    Vm挂载虚拟硬盘 xff08 傻瓜式教程 xff09 第一步 xff1a 添加虚拟磁盘 打开vm xff0c 单机选择红帽的系统 编辑虚拟机设置 点击下面的添加 选择硬盘然后下一步 如果没有特殊的磁盘格式要求就默认推荐就好了 使用物理硬盘
  • 【学习笔记】在 Github Page 上托管基于 Vue 的项目

    环境 vscode 前言 本篇博文仅仅提供如何将 vue 项目部署在 github page 的基本操作 xff0c 至于项目的内容由读者自己决定 同时这是最基本的操作 xff0c 所以在复杂的项目部署中 xff0c 请根据具体情况 xff
  • 【学习笔记】查看你正在使用的 C++ 标准

    目录 查看 C 43 43 标准查看你的 gcc xff0c g 43 43 版本C 43 43 标准与 gcc 编译器的版本的对应关系C 43 43 标准与 Visual studio 的对应关系Visual studio 版本与 C 4
  • 【学习笔记】C++ 中的 virtual 关键字与虚函数

    目录 先决条件前言演示示例virtual 关键字的作用虚函数的规则参考与拓展深入拓展 先决条件 了解 C 43 43 中的多态这个概念 前言 virtual 关键字是面对对象中 xff0c 用于修饰类中的成员函数的关键字 被 virtual
  • 【经典回顾】HTTP 的请求与响应报文

    文章目录 前言请求报文请求行方法URL版本 首部行实体主体 响应报文状态行首部行实体主体 参考与拓展 前言 基于 HTTP1 1 xff0c 也就是目前最常用的 HTTP 协议版本 xff0c 涉及部分 HTTP 2 请求报文 让我们先来看
  • 【学习笔记】go 生成随机数

    目录 核心代码示例参考与拓展 核心 go 的标准库 xff08 math rand xff09 中已经为我们提供了产生伪随机数字的核心方法 xff0c 它们分别是用于产生种子的 rand Send value 和用于产生伪随机数的 rand
  • 【教程】油猴脚本开发入门教程

    目录 先决条件配置本地开发环境 可选 快速插入复杂的 HTML设置 CSS 样式发布与更新你的脚本常见标签简析 96 64 connect 96 96 64 grant 96 96 64 include 96 96 64 require 9
  • 【学习笔记】memcpy_s 函数与坑

    目录 函数原型函数描述参数描述返回值坑参考拓展 函数原型 errno t span class token function memcpy s span span class token punctuation span span clas
  • 【学习笔记】指向常量的指针和常量指针

    目录 指向常量的指针常量指针对比指向常量的指针与常量指针拓展参考 指向常量的指针 指向常量的指针 xff0c 即 pointer to const xff0c 即指针指向的是一个常量 xff0c 你应该把这个词 xff08 指向常量的指针
  • 【学习笔记】内存的连续分配管理方式

    目录 先决条件单一连续分配固定分区分配动态分区分配补充内部碎片和外部碎片基于顺序搜索的动态分区策略 xff08 算法 xff09 参考与扩展 先决条件 这里介绍的这些内存分配方式都是非常古老的内存分配方式 xff0c 基本已经不在现代操作系
  • 【教程】visual studio debug 技巧总结

    更新中 基础的调试技巧基本更新完毕 xff0c visual studio 提供了强大的调试功能 xff0c 许多东西需要大家动手体验 目录 环境调试器的基本使用更改执行流断点基本的断点操作跟踪点条件断点条件表达式命中次数过滤器 函数断点缩
  • Vm虚拟机创建raid5盘+热备盘

    Vm虚拟机创建raid5盘 43 热备盘 打开vm xff0c 然后创建四个新的虚拟硬盘 xff08 组建raid5盘最少需要3个硬盘 xff0c 我们留一个做热备盘 xff09 创建硬盘的步骤我在前面的博客有写 xff0c 这里就不掩饰了
  • 用VS2012导入工程时出现error MSB8020错误

    导入别人工程后进行编译出现如下错误 xff1a 解决方法 xff1a 在工程名后右击 属性 xff0c 将平台工具集改为自己安装版本的平台工具集如下图所示 xff1a 然后再次进行编辑就可以啦
  • 【学习笔记】windows 下的 shared memory(共享内存)原理与实践

    目录 先决条件共享内存介绍在 Win 下实现共享内存开发环境P1CreateFileMappingMapViewOfFileUnmapViewOfFileCloseHandle P2OpenFileMapping 示例补充File Mapp

随机推荐

  • 【学习笔记】同一个 solution 的不同 project 使用相同的头文件

    目录 环境前言在项目中引入文件添加额外的包含的目录 环境 OS xff1a win10IDE xff1a visual studio 2017 前言 有时候在开发中 xff0c 同一个 solution 下的不同 project 需要共享一
  • 【学习笔记】在 windows 下创建多线程 C++

    目录 先决条件传统的创建方式使用 CreateThread 函数实例 更安全的方式 beginthreadex实例 终止线程补充WaitForMultipleObjects 函数实例 参考 先决条件 最好了解以下内容 了解内核对象了解进程
  • 【教程】在 visual studio 共享和重用项目属性

    目录 环境前言同一项目中 xff0c 不同开发模式和平台的共享不同项目共享和重用项目属性进阶 参考 环境 os xff1a windows 10IDE xff1a visual studio 2015 前言 在 visual studio
  • 【学习笔记】C 语言中未开辟地址的指针作为函数参数传递的问题

    目录 问题描述有问题的做法正确的做法总结 问题描述 有时候我们希望传递一个空指针给一个函数 xff0c 然后该函数在堆上开辟动态内存 xff0c 然后该函数执行完后 xff0c 返回这个动态内存的地址 有问题的做法 先来看下面的一段程序 x
  • 【学习笔记】顺序容器的表格方式总结 C++

    目录 顺序容器及其特点顺序容器操作向顺序容器添加元素insertemplace 参考 更新中 顺序容器及其特点 名字访问元素插入 xff0c 删除元素vector xff08 可变大小数组 xff09 支持快速随机访问在尾部之外的位置插入或
  • 【学习笔记】C++ 下字符串与数字的拼接

    目录 环境sprintfto string 与 to wstring itoa 环境 OS xff1a win 10 IDE xff1a Visual Studio 2017 sprintf 描述 xff1a sprintf 是一种 C 风
  • 【教程】Windows 下 C++ 项目内存泄漏检查

    更新中 目录 环境Visual Stuido Profiling Tools打开方式使用查看原始类型报告查看 Managed 类型报告 参考与拓展 环境 windows 10IDE xff1a Visual Studio 2015 Visu
  • 【学习笔记】读取文件中的字符串与 fgets 的坑

    目录 前言环境问题模拟与复现正确的手法回顾 前言 今天写一个读取文件中字符串的函数 xff0c 理论上应该是很简单的 xff0c 但是写的时候发现输出的结果总是比文件中的内容少一个字符 xff0c 并且通过排查 xff0c 问题就是出在 f
  • [Atcoder Yahoo Contest 2019]D.Ears(动态规划)

    Score 600 600 6 0 0 points 题面 传送门 翻译有时间再补 题解 体验感极差 xff0c 考试的时候手残把1打成了2Debug了半个小时 害的F题都没做 先将题目转换一下 给你一条链 顺次连接着 n 43
  • 内网渗透-基础环境

    解决依赖 xff0c scope安装 打开要给cmd powershell 打开远程 Set ExecutionPolicy RemoteSigned scope CurrentUser 我试了好多装这东西还是得科学上网 xff0c 不然不
  • ubuntu(Linux)配置允许远程登陆

    安装ubuntu后默认不可以以root方式登录系统 xff0c 需要做以下配置 1 使用sudo i 命令可以让用户切换到root用户 xff0c guo用户是安装ubuntu时配置的用户 xff0c 因人而异 xff1b 2 配置root
  • Y9000P Ubuntu/Windows 双系统安装

    一 xff1a 配置介绍 Y9000P默认系统Win11 xff0c 系统盘500G xff0c 从盘2T xff0c 内存32G xff0c 显卡3060 二 xff1a Windows系统分盘 系统盘 xff08 磁盘1 xff09 建
  • axios的使用

    axios是基于Promise的HTTP库 xff0c 适用于各种前端框架 不同于普通http请求后的回调 xff0c Promise有更好的操作性 axios可以自动转换JSON数据 客户端支持防御XSRF攻击 axios的简单使用 安装
  • 怎么通过SQL取出数据库中JSON字段中的值

    我们的数据库中经常会遇到很多JSON的字段 xff0c 自己写的也好 xff0c 别人写的也好 一般我们取这个值的话 xff0c 会创建一个typeHandler来取值 那么如果我们想直接取到JSON里的值该怎么办呢 xff1f 其实很简单
  • GCC使用说明

    超详细的参考官方手册下载地址 https download csdn net download qq 34991787 16188604 GCC代表 GNU编译器合集 可编译C C 43 43 Objective C Objective C
  • 用顺序表实现的简易通讯录(第一版)

    实现一个通讯录 xff1b 通讯录可以用来存储1000个人的信息 xff0c 每个人的信息包括 xff1a 姓名 性别 年龄 电话 住址 提供方法 xff1a 1 添加联系人信息 2 删除指定联系人信息 3 查找指定联系人信息 4 修改指定
  • ubuntu没有rc.local文件

    当我们设置开机自启时候 xff0c 一般都在rc local文件里设置 xff0c 但是有的Ubuntu版本没有这个文件 了 xff0c 此时我们可以自己创建一个 1 创建一个rc local service文件 sudo vim etc
  • 阿里云快速网站搭建详解

    一 网站建站流程 主要步骤 要有一个域名 购买主机 要有数据库 一般购买主机赠送 解析域名 下载网站程序 演示用的WordPress 上传程序 安装程序 配置数据库 网站基本信息 管理员信息等 二 DNS服务器快速入门 DNS服务概述 DN
  • OpenStack ussuri 私有云平台搭建

    一 OpenStack简介 openstack是一个云操作系统 这个操作系统控制着数据中心中的计算 存储和网络资源 所有这些资源的管理都是通过API来来实现的 并且管理资源都有相应的认证机制 在openstack中有一个叫做dashboar
  • 重磅!阿里版本【ChatGPT】开放测评!

    前两天突然爆出惊人消息 xff1a 阿里版ChatGPT开放测评了 xff01 在本月初 xff0c 已经有诸多关于阿里巴巴即将推出类似ChatGPT产品的传闻 数日前 xff0c 首批曝光的天猫精灵 鸟鸟分鸟 脱口秀版GPT基于大型模型的