【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等)

2023-11-19

【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、多伦对话管理等)

大语言模型

大语言模型(LLM)是指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务,如文本分类、问答、对话等,是通向人工智能的一条重要途径。来自百度百科

  • 发展历史

    2020年9月,OpenAI授权微软使用GPT-3模型,微软成为全球首个享用GPT-3能力的公司。2022年,Open AI发布ChatGPT模型用于生成自然语言文本。2023年3月15日,Open AI发布了多模态预训练大模型GPT4.0。

    2023年2月,谷歌发布会公布了聊天机器人Bard,它由谷歌的大语言模型LaMDA驱动。2023年3月22日,谷歌开放Bard的公测,首先面向美国和英国地区启动,未来逐步在其它地区上线。

    2023年2月7日,百度正式宣布将推出文心一言,3月16日正式上线。文心一言的底层技术基础为文心大模型,底层逻辑是通过百度智能云提供服务,吸引企业和机构客户使用API和基础设施,共同搭建AI模型、开发应用,实现产业AI普惠。

大语言模型有多强?

下面实例展示LLM的能力,以cahtGLM-6B来展示示例:
通过合适的 prompt 就能实现很多传统 NLP 的功能。

github:cahtGLM-6B
官网:cahtGLM

分词

输入:

按照下面的示例输出结果:
输入:今天天气太差了
输出:今天,天气,太,差,了
输入:明天要出去玩
输出:

输出:
在这里插入图片描述

  • 示例2:不同的 prompt 输出的结果有所不同

prompt1:
在这里插入图片描述

prompt2:
在这里插入图片描述

词性标注

输入:

词性标注:
今天
天气
差

输出:
在这里插入图片描述

NER

  • NER示例1: LLM 可以根据示例直接输出json结果
    输入:
按照下面的示例输出结果:
输入:糖尿病是一种慢病
输出:{"disease":"糖尿病"}
输入:糖尿病的一种症状是多尿,还有容易饿
输出:{"disease":"糖尿病","symptom":"多尿,容易饿"}
输入:高血压的症状包括血压偏高、头晕等
输出:

输出:
在这里插入图片描述

  • NER示例2
    输入:
按照下面的示例输出结果:
输入:曾国藩是道光进士,曾任内阁学士,道光末年官至侍郎。
输出:{"person":"曾国藩"}
输入:李鸿章为道光二十七年(1847年)进士,早年随业师曾国藩镇压太平天国运动与捻军起义,并受命组建淮军,因战功擢升至直隶总督,兼北洋通商大臣,累加至文华殿大学士,封一等肃毅伯。
输出:

输出:
在这里插入图片描述

情感分类

  • 示例
    输入:
按照下面的示例输出结果:
输入:今天天气太差了,不舒服
输出:{"情感":"负面"}
输入:明天要出去玩,太好了
输出:

输出:
在这里插入图片描述

多伦对话管理

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

知识图谱

  • 示例

在这里插入图片描述

  • 示例
    较为复杂的推理
    在这里插入图片描述
    复杂推理还是有些问题:
    在这里插入图片描述

数据不完整:
在这里插入图片描述

总结

总体看来,LLM 在零样本的情况下, 选择合适的prompt就能实现很多传统NLP任务。
LLM 尤其是现在的多模态模型,是真正通向通用人工智能的基石。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等) 的相关文章

  • 使用 Python 中的 Langchain 从零到高级快速进行工程

    大型语言模型 LLM 的一个重要方面是这些模型用于学习的参数数量 模型拥有的参数越多 它就能更好地理解单词和短语之间的关系 这意味着具有数十亿个参数的模型有能力生成各种创造性的文本格式 并以信息丰富的方式回答开放式和挑战性的问题 ChatG
  • prompt 综述

    动手点关注 干货不迷路 1 概述 1 1 基本概念 用一句话概括模板学习 即将原本的输入文本填入一个带有输入和输出槽位的模板 然后利用预训练语言模型预测整个句子 最终可以利用这个完整的句子导出最终需要的答案 模板学习最吸引人的关键在于其通过
  • GREASELM: GRAPH REASONING ENHANCED LANGUAGE MODELS FOR QUESTION ANSWERING

    本文是LLM系列文章 针对 GREASELM GRAPH REASONING ENHANCED LANGUAGE MODELS FOR QUESTION ANSWERING 的翻译 GREASELM 图推理增强的问答语言模型 摘要 1 引言
  • Think-on-Graph: Deep and Responsible Reasoning of Large Language Model with Knowledge Graph

    本文是LLM系列文章 针对 Think on Graph Deep and Responsible Reasoning of Large Language Model with Knowledge Graph 的翻译 对图的思考 基于知识图
  • 智能制造中的智能制造平台:应用案例介绍

    作者 禅与计算机程序设计艺术 智能制造中的智能制造平台 应用案例介绍 智能制造作为我国大力发展的重要战略 旨在通过改变传统制造业的生产模式 提高制造业的自主创新能力和核心竞争力 智能制造平台作为实现智能制造的核心基础 对于企业来说具有重要的
  • 因果推断:因果表征学习的CV落地

    作者 Ostrich 单位 阿里巴巴算法工程师 研究方向 自然语言处理 搜索算法 本文主要梳理因果推断与机器学习相结合的一些比较新的工作思路 也是尝试回答自己在学习因果推断基础知识时的一些疑问 突然 被广泛谈及的因果可以以什么样的方式落地
  • 【论文阅读】learning with noisy correspondence for cross-modal matching ------ 跨模态匹配,噪声对应

    注意 本博客非逐字逐句翻译论文 是作者阅读论文后根据自己的理解所写 预知论文详情 请参阅论文原文 论文标题 Learning with Noisy Correspondence for Cross modal Matching 作者 Zhe
  • AI会议排名_周志华

    AI会议排名 周志华 http blog sina com cn s blog 631a4cc40100xl7d html 南京大学周志华教授写的一个很经典的帖子 不过IJCAI能不能算成是no 1的会议有待商榷 不过总体还算客观 说明 纯
  • 文字图像转换的创新技术

    随着科技的快速发展 人工智能 AI 已经逐渐融入我们的日常生活 而 生成式 AI 更是引领着 AI 领域的新一轮革命 生成式 AI 是一种能够从文字描述中提取信息 并将其转化为图像或其他形式内容的技术 如今 这种技术正在逐渐改变我们与计算机
  • 龙芯loongarch64服务器编译安装tokenizers

    1 简介 Hugging Face 的 Tokenizers 库提供了一种快速和高效的方式来处理 即分词 自然语言文本 用于后续的机器学习模型训练和推理 这个库提供了各种各样的预训练分词器 如 BPE Byte Pair Encoding
  • 超详细!大模型面经指南(附答案)

    大模型应该算是目前当之无愧的最有影响力的AI技术 它正在革新各个行业 包括自然语言处理 机器翻译 内容创作和客户服务等 成为未来商业环境的重要组成部分 截至目前大模型已超过100个 大模型纵横的时代 不仅大模型越来越卷 就连大模型相关面试也
  • 成为NLP专家的最佳时间表:2024 年半年内的学习策略

    介绍 2023 年见证了自然语言处理 NLP 的突破性进展 以及 Bard 和 ChatGPT 等强大语言模型的兴起 这些奇迹不仅是人工智能发展的壮举 它们标志着一个新时代的到来 在这个时代 机器可以以前所未有的准确性和流畅度理解和生成人类
  • TimeGPT:时序预测领域终于迎来了第一个大模型

    时间序列预测领域在最近的几年有着快速的发展 比如N BEATS N HiTS PatchTST和TimesNet 大型语言模型 llm 最近在ChatGPT等应用程序中变得非常流行 因为它们可以适应各种各样的任务 而无需进一步的训练 这就引
  • WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models

    本文是LLM系列文章 针对 WaterBench Towards Holistic Evaluation of Watermarks for Large Language Models 的翻译 WaterBench 面向大型语言模型水印的整
  • WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models

    本文是LLM系列文章 针对 WaterBench Towards Holistic Evaluation of Watermarks for Large Language Models 的翻译 WaterBench 面向大型语言模型水印的整
  • LLaVA和LLaVA-Plus视觉指令微调及工具使用构建多模态智能体

    认识和理解视觉内容 以及基于人类指令对视觉世界进行推理 长久以来一直是一个具有挑战性问题 得益于大规模预训练 OpenAI 的 GPT 4V 展示了在自然语言处理任务和复杂视觉理解中令人印象深刻的能力 智源社区邀请到了LLaVA的一作柳昊天
  • ACL 2024投递指南

    诸神缄默不语 个人CSDN博文目录 显然写这篇博客是因为我要投ACL了 TL DR ACL 2024是ARR提交制 workshop归workshop 最晚提交时间是2024年2月15号 在此之前可以随时撤回 4月15号出结果 4月20号确
  • LONGQLORA: EFFICIENT AND EFFECTIVE METHOD TO EXTEND CONTEXT LENGTH OF LARGE LANGUAGE MODELS

    本文是LLM系列文章 针对 LONGQLORA EFFICIENT AND EFFECTIVE METHOD TO EXTEND CONTEXT LENGTH OF LARGE LANGUAGE MODELS 的翻译 LONGQLORA 扩
  • 十分钟部署清华 ChatGLM-6B,实测效果超预期(Linux版)

    前段时间 清华公布了中英双语对话模型 ChatGLM 6B 具有60亿的参数 初具问答和对话功能 最 最 最重要的是它能够支持私有化部署 大部分实验室的服务器基本上都能跑起来 因为条件特殊 实验室网络不通 那么如何进行离线部署呢 经过一上午
  • 深度好文:最全的大模型 RAG 技术概览

    本文是对检索增强生成 Retrieval Augmented Generation RAG 技术和算法的全面研究 对各种方法进行了系统性的梳理 涉及了 RAG 流程中的数据拆分 向量化 查询重写 查询路由等等 在做 RAG 的小伙伴一定知道

随机推荐

  • 实现一个函数来计算文件的大小(C语言)

    用到的函数 fopen fseek ftell 打开文件 FILE fopen const char pathname const char mode pathname 文件路径 可以是绝对路径或相对路径 mode 文件的操作模式 可读 o
  • 服务远程调用

    文章目录 准备工作 远程调用 运行效果 准备工作 项目资料 链接 https pan baidu com s 1gZMJOBaMqVYSk5kFnRn5kw pwd 5yq5 创建两个数据库 分别导入匹配的表 IDEA打开项目 修改为自己的
  • ADSL路由器的设置

    关于将ADSL 路由器的设置 其实ADSL 路由器的设置并不是很难 以TL R4XX系列路由器为例 简要说明ADSL 路由器的设置 首先MODEM 路由器 电脑连结起来 网络必需畅通 ADSL 路由器地址出厂默认IP地址 192 168 1
  • 如何获取iPhone手机的UUID

    方法一 通过Windows下的iTunes 1 数据线连接iPhone手机 在Windows下打开iTunes 在 iPhone 管理界面下zhi点击 序列号 查看自己的 UUID 标识符 2 此dao时点击菜单 编辑 gt 复制 3 新建
  • 白盒测试常用工具介绍

    白盒测试工具一般是针对代码进行测试 测试中发现的缺陷可以定位到代码级 根据测试工具原理的不同 又可以分为静态测试工具和动态测试工具 1 Jtest 是一个代码分析和动态类 组件测试工具 是一个集成的 易于使用和自动化的Java单元测试工具
  • js几种生成随机颜色方法

  • Windows Vista的安装和配置

    声明 此文章为个人读书笔记 仅记些重要的内容备忘 无盗版之意 更多相关内容请查看 indows Vista使用详解 严禁转载 第二章 Windows Vista的安装和配置 全新安装Windows Vista 从Windows XP升级为W
  • Text-to-image Diffusion Model文本到图像扩散模型综述

    Text to image Diffusion Model文本到图像扩散模型综述 论文地址 https arxiv org pdf 2303 07909 pdf 1 Introduction Text to image模型发展如下图所示 开
  • 判断字符串是否为数字

    不迷迷糊糊 直接整代码 判断字符串是否是数字 判断是否为数字 是 返回true param str return public static boolean isNumeric final String str null or empty
  • vue实现鼠标划入划出判断是否显示内容

    如图所示我想实现当鼠标划入时右上角的设置图标显示 鼠标移出设置图标在隐藏 可以通过vue的 mouseenter和 mouseleave事件来实现
  • Redis事务

    7 Redis事务 7 1 背景 假如你给你朋友转账 此时你的账户会减少1bw 你朋友的账户会多1bw 此时如果你转账失败 但是你朋友的账户也多了1bw 此时这对于银行来说 这就是事故 说明你的程序存在很大漏洞 不能保证数据的原子性 此时就
  • 通俗讲解c++ future/shared_future

    目录 future介绍 std future对象只有在有效的 valid 情况下才有用 useful 查询future对象是否有效 future的拷贝构造函数是被禁用的 对future的处理 四种方式 获取future的状态 future
  • Qt 提升窗口部件 没有效果

    1 新建一个控件的子类 然后再控件上右键点击提升 没有效果 原因1 查看提升的控件的类型是否正确 原因2 查看提升的子类的路径是否正确 如果C 文件跟 pro文件在同一级目录下 直接写头文件 如果在子目录下要写子目录 前面要加 原因3 如果
  • Qt笔记28:QJsonObject和QByteArray的相互转换

    brief 字节数组转Json param byteArray return QJsonObject getJsonFromByteArray const QByteArray byteArray QJsonParseError jsonP
  • 2023年我国网络安全人才市场状况

    网络安全人才市场状况 本章以智联招聘多年来形成的丰富的招聘 求职信息大数据为基础 结合了奇安信集团 在网络安全领域多年来的专业研究经验 相关研究成果具有很强的代表性 对涉及安全人才 的全平台招聘需求与求职简历进行分析 注 本章中的需求指数采
  • Android Studio虚拟机启动后没有开机问题解决

    这里使用的是Android Studio 3 2版本 在Win 10系统上运行 其他环境可能会有所不同 目录 一 新增虚拟机 二 有报错提示时的可能解决办法 三 无报错提示时的可能解决办法 一 新增虚拟机 1 打开AVD Manager A
  • datax导入hive动态分区

    配置hive支持动态分区
  • pandas数据提取

    pandas是一个python数据分析库 提供了多种方法提取数据 一种常用的方法是使用索引和列标签 例如 import pandas as pddf pd read csv data csv 获取特定行 row df loc 0 获取特定列
  • vuepc端实现数据加载_【项目实战经验】vuecli3,实现PC端分辨率适配

    vue cli3 根据屏幕大小适配样式 最近做了一个大屏 考虑到要在不同的显示器上 显示同一套代码 所以我就想到了 阿里的 lib flexible 干货非常多 千万不要错过细节哦 废话不说 直接干 1 安装需要响应的包 npm i lib
  • 【AI实战】大语言模型(LLM)有多强?还需要做传统NLP任务吗(分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等)

    AI实战 大语言模型 LLM 有多强 还需要做传统NLP任务吗 分词 词性标注 NER 情感分类 多伦对话管理等 大语言模型 大语言模型有多强 分词 词性标注 NER 情感分类 多伦对话管理 知识图谱 总结 大语言模型 大语言模型 LLM