文心千帆大模型测评分享,效果超出预期

2023-11-09

一、前言

现如今,随着ChatGPT的爆火越来越多的人开始关注人工智能领域了,大家都在尝试使用它来帮助自己在工作上提高效率亦或是解决一些问题。但ChatGPT是有一定的使用门槛的:首先需要我们“科学上网”才能访问,其次GPT4的价格相对来说也不便宜。
其实国内也有很优秀的大模型平台提供给我们使用,相对于ChatGPT来说价格更便宜,而且不需要类似“科学上网”的前期工作,更重要的是支持的功能更全面。最近刚好看到百度智能云面向企业和个人客户开放文心千帆大模型平台公有版测试服务(官方申请地址:https://cloud.baidu.com/survey/qianfan.html),自己体验了一番,效果也让我很满意,下面就分享一下我的体验过程。

二、体验分享

打开上面的链接进行申请后,大概3小时左右会审核通过,就可以按照概览页的操作指引,正式开始使用文心千帆了:

[图片]

1) 文心千帆大语言模型ERNIE-Bot体验

ERNIE-Bot是百度自行研发的大语言模型,覆盖海量中文数据,具有更强的对话问答、内容创作生成等能力,访问在线体验地址即可开始使用:
[图片]

官方也提供了完善的接口文档供我们使用,这里我使用Python代码进行了一些对话测试,示例代码如下:

import requests
import json


def get_access_token():
    """
    使用 API Key,Secret Key 获取access_token,替换下列示例中的应用API Key、应用Secret Key
    """

    url = "https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[应用API Key]&client_secret=[应用Secret Key]"

    payload = json.dumps("")
    headers = {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
    }

    response = requests.request("POST", url, headers=headers, data=payload)
    return response.json().get("access_token")


def main():
    url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions?access_token=" + get_access_token()

    payload = json.dumps({
        "messages": [
            {
                "role": "user",
                "content": "将下面的文字组成一个句子:孔雀那只美丽的羽毛有着"
            }
        ]
    })
    headers = {
        'Content-Type': 'application/json'
    }

    response = requests.request("POST", url, headers=headers, data=payload)

    print(response.text)


if __name__ == '__main__':
    main()

输入的对话内容如下:

对话一:将下面的文字组成一个句子:孔雀那只美丽的羽毛有着

文心千帆:这些文字可以组成以下句子:那只孔雀有着美丽的羽毛


对话二:一个笼子装着兔子和鸡,共有16个头,44只脚,请问兔子和鸡各多少只?

文心千帆:兔子和鸡共有 16 16 16只,脚共 44 44 44只,每只鸡有 2 2 2只脚,每只兔子有 4 4 4只脚,假设都是鸡,根据脚少的数量计算兔子的数量。如果都是鸡,脚的总数量为 16 t i m e s 2 = 32 16 \\times 2 = 32 16times2=32。兔子的数量为 f r a c 44 − 16 t i m e s 2 4 − 2 = 6 \\frac{44 - 16 \\times 2}{4 - 2}=6 frac4416times242=6,鸡的数量为 16 − 6 = 10 16 - 6=10 166=10。兔子有6只,鸡有10只。


对话三:为什么爸妈结婚没叫我参加婚礼?

文心千帆:一般来说,你爸爸妈妈结婚时,你还没有出生,所以他们无法邀请你参加婚礼。结婚是一对男女在爱情基础上,决定共同走进婚姻的仪式。在你出生之前,你的父母已经走过这个重要时刻。当然,他们肯定会为你的到来感到非常高兴和期待,因为你是他们爱情结晶的象征。


三个对话分别从组句、数学计算和生活常识三个方面对文心千帆进行了提问,回答的结果除了鸡兔同笼多了比如$这样的markdown的数学符号和公式的语法外,其他表现都很不错,回答符合题意且准确。

通过文档可以看出,文心千帆ERNIE-Bot同样支持上下文有关联的多轮对话:
[图片]

这里我也做了测试:
:1+1等于几
文心千帆:1 + 1 = 2
:为什么不等于3呢?
文心千帆:因为1和1是两个不同的数字,它们相加等于2,而不是3。
:我觉得1+1是相同的数字,你的解释有问题
文心千帆: 非常抱歉,我犯了一个错误。你是对的,1和1是相同的数字,但它们相加应该等于2,我的前一个回答是不正确的。谢谢你的指正。


效果也是蛮不错的,而且它的费用相对GPT4的0.21元(0.03美元)/千次来说是非常便宜的,千次只需要0.012元:

2) 模型调优

有时候,我们需要针对行业本身或特点的问题做指向回答时,也可以对模型进行微调,通过上传相应的数据集训练模型,以达到我们需要的效果。
下面实现的案例效果是:当问题是学习python、测试、自动化相关的内容时,回答都会包含”找CSDN博主-曲鸟进行学习“这样的内容。

2.1 创建数据集

我们可以在数据服务-数据集管理页中创建训练数据集,创建数据集的教程可以参考该问题:创建数据集-文心千帆 ,因为我们要使用”奖励模型训练“,所以数据集得是包含排序的多轮数据才行:

[图片]

我准备的数据集内容大概是这样的:

[图片]

然后将其导入到数据集中(至少32条):

[图片]

再进行标注,这里我让所有的回答都包含"CSDN博主-曲鸟"学习的字样:

[图片]

在数据集标注页,我们可以点击“自动生成”按钮来生成回答,然后再优化一下内容即可:

[图片]

待所有数据标注完成后就可以发布数据集了:

[图片]

2.2 模型训练及部署

然后我们就可以在“RLHF训练”菜单中的奖励模型训练创建训练任务,导入我们的数据集运行:

[图片]

待模型训练完成后,我们还需要进行强化学习训练,该训练需要query问题集的训练数据,我们在刚才的数据集菜单进行创建导入,然后发布即可:
[图片]

待强化学习训练完成后就可以发布、部署我们的模型了:
[图片]

这样就成功将一个当问题包含:学习python、测试、自动化及相关的内容时,回答都会包含”找CSDN博主-曲鸟进行学习“的模型成功上线了!

三、总结

可以看到,文心千帆的大语言模型的效果还是不错的,而且还支持用户对其进行训练。另外,从交互层面来讲,整体的操作和教程指引也是直观清晰的,易用性也很高。
文心千帆的功能是很强大的,远不止上面体验的这些,从数据服务(生成、标注、回流)、模型训练(Post-pretraining、Fine-tuning、Prompt-tuning)、模型评估(主观评估、客观评估)和压缩、自动化Prompt工程、到插件应用编排,客户都可以在文心千帆上一站式完成。客户可以将训练好的模型部署和托管在文心千帆上,获得极致的性能、企业级的高可用性和安全环境,非常的全面;
文心千帆平台提供开箱即用的使用流程,以及完善的可视化产品界面,带客户轻轻松松完成大模型训练、推理及应用,文档也非常完善清晰,让我很快就上手使用了,易用性做的也很不错;
除此之外,文心千帆也是一款更加开放的大模型平台:在预置模型方面,文心千帆除了预置百度自研的大语言模型文心一言外,还支持丰富的第三方大模型的开发及应用,为客户的业务提供更多选择。
所以对于想拥抱大模型的用户,无论是个人还是企业,文心千帆都是最佳的选择!
说的再多不如亲自动手试试!大家可访问 文心千帆大模型平台公有版测试服务 申请测试,看看它到底能否满足你们的需求。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

文心千帆大模型测评分享,效果超出预期 的相关文章

随机推荐

  • OpenCV图像梯度(Sobel和Scharr)

    OpenCV图像梯度 Sobel和Scharr 1 图像梯度是什么 2 图像梯度的用途 3 图像梯度的使用 参考 这篇博客将介绍图像渐变以及如何使用OpenCV的cv2 Sobel计算Sobel渐变和Scharr渐变 1 图像梯度是什么 图
  • CMake - 使用 target_sources() 提高源文件处理能力

    翻译自https crascit com 2016 01 31 enhanced source file handling with target sources 使用 target sources 提高源文件处理能力 在CMake项目中
  • JDK8源码阅读(三) java.io.Serializable

    一 类 1 1 类修饰符 A 是一个接口 B 类的可序列化性由实现java io serializable接口的类启用 不实现此接口的类将不具有序列化或反序列化的任何状态 可序列化类的所有子类型本身都是可序列化的 序列化接口没有方法或字段
  • 数据结构——单链表OJ题

    单链表OJ题 前言 一 删除链表中等于给定值 val 的所有节点 二 反转一个单链表 三 返回链表的中间结点 四 输出该链表中倒数第k个结点 五 将两个有序链表合并 六 链表的回文结构 七 将链表分割成两部分 八 找出第一个公共结点 九 判
  • Matlab:交叉验证,索引结果重现,打乱数据

    总会有奇奇怪怪的想法和需求 想要产生的交叉验证的索引可以重现 虽然可以采取保存的方式 目录 一 随机选取 1 产生索引 2 调用数据 打乱数据 二 顺序选择 循环选取 1 数据初始化 样本个数 训练样本个数等 2 产生训练数据的索引 3 存
  • 多线程编程warning: cast to pointer from integer of different size [-Wint-to-pointer-cast] 错误解决

    在多线程编程中使用 thread start pthread t thread id THREAD BODY thread workbody void thread arg 创建子线程时因为最后一个参数需要是指向子线程的文件描述符 int类
  • 使用axis2 java2wsdl命令生成wsdl文件

    1 eclipse新建web工程 编写service接口方法 2 axis2环境变量配置 必须配置环境变量 否则执行java2wsdl命令时无法识别路径 如下 新建环境变量 AXIS2 HOME 值为axis2解压路径如 I path ja
  • vim常用配置及ideavim插件静音

    更多详细内容见文章 http www shanxing top p 188http www shanxing top p 188 提示音静音 set noerrorbells set visualbell 语法高亮 syntax enabl
  • Linux USB U盘热插拔挂载和卸载

    一 硬件平台 1 控制器 MT7620 A9内核 2 RTC芯片 MCP7940 二 软件平台 1 开发环境 Ubuntu12 04 2 SDK内核包 MT7620 SDK软件开发包 MediaTek ApSoC SDK 4320 2015
  • Ubuntu 18.04 VScode 使用php-debug插件

    1 安装xdebug 安装 php dev apt get install php7 X dev autoconf automake 复制代码 上面的7 X请改成对应的php版本号 不然默认会下载php最新的版本 使用对应的 xdebug
  • python运算符

    算术运算符 以下假设变量 a 10 b 20 加 两个对象相加 a b 输出结果 30 减 得到负数或是一个数减去另一个数 a b 输出结果 10 乘 两个数相乘或是返回一个被重复若干次的字符串 a b 输出结果 200 除 x除以y b
  • python matplotlib数据可视化案例-生成柱状图,饼图(扇形图),词云。

    目前python spark scala十分火爆 于是我就利用爬虫将猎聘上的招聘信息进行了一下获取 相比起来 猎聘上的职位数量还是很多的 3中技术类型以 python spark scala 作为关键词 一共爬取了一万多条信息 爬取的主要信
  • 【告别普通打包】webpack打包结果优化特性:Tree Sharking 和 sideEffects

    文章目录 1 Tree Shaking 摇树 1 1 摇树讲解 1 2 开启 Tree Shaking 1 3 合并模块 扩展 1 4 探讨 babel loader 的问题 2 sideEffects 2 1 sideEffects讲解
  • kotlin语法总结(二)

    上一章地址 kotlin语法总结 一 文章目录 前言 前言 这章接着上一章语法总结继续讲解 主要讲kotlin和java不一样的地方 40 嵌套类 41 数据类 data class 提供toString equals hashCode个性
  • qemu创建linux虚拟机(亲测有效,virt-manger方式)

    1 网桥的搭建 Bridge方式原理 Bridge方式即虚拟网桥的网络连接方式 是客户机和子网里面的机器能够互相通信 可以使虚拟机成为网络中具有独立IP的主机 桥接网络 也叫物理设备共享 被用作把一个物理设备复制到一台虚拟机 网桥多用作高级
  • linux下一个简单的TCP通信程序——客户端向服务端发送任意字符串

    程序目的 服务器端等待客户端连接 若连接成功 则用户可以通过服务器在接受到字符串后进行判断 若不是quit字符串则输出客服端的地址信息 以及接受到的数据 同时将接受到的数据按照原样再发给客服端 若是quit字符串则断开本次连接 问题以及解决
  • 代码点和代码单元

    codePoint和codeUnit 背景 在设计Java时决定采用16位的Unicode字符集 然而16位的Char类型已经不能满足描述所有Unicode字符的需要了 为了解决这个问题 故使用代码点和代码单元 区别 代码点 Code Po
  • C++数据结构X篇_06_C++单向循环链表实现

    本篇参考C 单向循环链表实现整理 先搞懂结构框架 后期根据视频利用c对内容实现 也可以对c有更高的提升 文章目录 1 链表定义 2 链表插入 3 链表打印 注意打印过程是跳过头节点head的 4 实验 单向循环链表与单向链表十分相似 具有关
  • Java 子类继承父类方法的重写(或者覆盖,override)

    1 子类重写父类方法的方法名 参数类型必须与父类被重写 被覆盖 的方法相同 2 子类方法的返回值类型必须小于等于父类被重写的方法的返回值类型 3 子类抛出的异常小于等于父类方法抛出的异常 4 子类的访问权限大于等于父类的访问权限 子类重写了
  • 文心千帆大模型测评分享,效果超出预期

    一 前言 现如今 随着ChatGPT的爆火越来越多的人开始关注人工智能领域了 大家都在尝试使用它来帮助自己在工作上提高效率亦或是解决一些问题 但ChatGPT是有一定的使用门槛的 首先需要我们 科学上网 才能访问 其次GPT4的价格相对来说