程序员经验分享-hwhale

R文本挖掘之五情感分析

2023-10-27

本文是转载！原文地址：CSDN-R语言做文本挖掘 Part5情感分析


Part5情感分析

这是这个系列里面最后一篇文章了，其实这里文本挖掘每一个部分单拎出来都是值得深究和仔细研究的，我还处于初级研究阶段，用R里面现成的算法，来实现自己的需求，当然还参考了众多网友的智慧结晶，所以也想把我的收获总结出来分享给大家，希望也能像我一样在看大家的分享时得到自己的启发。

网上翻了下中文文本情感分析的一些文章，再回想了一下我自己做情感分析的方法，觉得我的想法真的是简单粗暴直接。这是一篇介绍中文文本情感分析倾向的论文。http://wenku.baidu.com/link?url=TVf5LgNS6esnunpgubvM14z24m0f4lTyD483gw_hEnp2RyeL6XzanSlz8oCcZCFlwKLqD0PdBhVUcV4-0loTdGp3hL-kqeTTwJ3l91HfTa3，中间讲到做情感分析目前主要有三种方法。第一种由已有的电子词典或词语知识库扩展生成情感倾向词典；第二种，无监督机器学习的方法。第三种基于人工标注语料库的学习方法。

上面三种方法不仔细一一说明了，它们都有一个共同的特点，需要一个情感倾向的语料库。我在R中的实现方案与第一种方法类似，整理一个褒义词词库一个贬义词词库（这个万能的互联网上有自己稍加整理就OK）。给文本做分词，并提取出中间的情感词。给每条文本定情感倾向评分初始值为1，跟褒义贬义词词库做匹配，褒义词+1，贬义词-1，计算出每条文本的最终情感倾向评分，为正值则是正面评价，为负值则是负面评价。方法可以基本实现情感倾向判断，但还可以改进。像前面参考论文中讲到的，还可以根据词语的词性强弱来评定感情的强，不只是+1和-1之分；还有考虑一些词语在不同语境下情感倾向可能会不同，比如论文中讲到的“骄傲”，这个我在想可能需要整理出有这样特殊情况的词语；还有负负得正的情况，比如“不喜欢是不可能的事情！”，照我的评分标准它的结果就是负面评价了；反问的情况，“哪里便宜了？”，评出来结果变成了正。“便宜”这个词我把它放在褒义词表下，其实仔细考虑如果是说“便宜实惠”肯定是褒义，如果说“便宜没好货”，也会是褒义，这就不对了，还是第二个问题不同语境下情感倾向会不同。

R中的实现过程：

1.      数据输入处理

数据还是某品牌官微，取它微博中的1376条评论，情感褒义词库和贬义词库，将数据读入到R中。附词库下载地址：http://www.datatang.com/data/44317/，可能不是很全，需要自己整理丰富，我在看服装相关的文本时，发现有些词像“褪色”，“开线”，“显瘦”，“显胖”都没有在里面，这些就需要自己另外加进去。

[plain]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. hlzj.comment <- readLines("hlzj_commentTest.txt")  
  2. negative <-readLines("D:\\R\\RWorkspace\\hlzjWorkfiles\\negative.txt")  
  3. positive <-readLines("D:\\R\\RWorkspace\\hlzjWorkfiles\\positive.txt")  
  4. length(hlzj.comment)  
[1] 1376

[plain]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. length(negative)  
[1] 4477

[plain]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. length(positive)  
[1] 5588

 

2.      对评论做分词处理并评级

过程类似Part2中讲到的分词处理。然后我自己写了个方法getEmotionalType()，将分词结果与negative表和positive表作对照计算得分。

[plain]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. commentTemp <- gsub("[0-9０１２３４５６７８９ < > ~]","",hlzj.comment)  
  2. commentTemp <-segmentCN(commentTemp)  
  3. commentTemp[1:2]  
[[1]]

[1] "恭喜""大家""又"   "没有" "找到" "俺" 

[[2]]

 [1] "没有" "私信" "給"   "我"   "小编" "把"   "我"   "给"   "漏"   "了" 

[plain]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. EmotionRank <-getEmotionalType(commentTemp,positive,negative)  
[1] 0.073

[1] 0.145

[1] 0.218

[1] 0.291

[1] 0.363

[1] 0.436

[1] 0.509

[1] 0.581

[1] 0.654

[1] 0.727

[1] 0.799

[1] 0.872

[1] 0.945

[plain]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. EmotionRank[1:10]  
 [1] 1 0 2 1 1 2 3 1 0 0

[plain]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. commentEmotionalRank <-list(rank=EmotionRank,comment=hlzj.comment)  
  2. commentEmotionalRank <-as.data.frame(commentEmotionalRank)  
  3. fix(commentEmotionalRank)  

[plain]  view plain  copy   在CODE上查看代码片 派生到我的代码片
  1. getEmotionalType <- function(x,pwords,nwords){  
  2.     emotionType <-numeric(0)  
  3.     xLen <-length(x)  
  4.     emotionType[1:xLen]<- 0  
  5.     index <- 1  
  6.     while(index <=xLen){  
  7.         yLen <-length(x[[index]])  
  8.         index2 <- 1  
  9.         while(index2<= yLen){  
  10.            if(length(pwords[pwords==x[[index]][index2]]) >= 1){  
  11.                emotionType[index] <- emotionType[index] + 1  
  12.             }else if(length(nwords[nwords==x[[index]][index2]]) >= 1){  
  13.                emotionType[index] <- emotionType[index] - 1  
  14.             }  
  15.             index2<- index2 + 1  
  16.         }  
  17.         #获取进度  
  18.        if(index%%100==0){  
  19.         print(round(index/xLen,3))  
  20.         }        
  21.         index <-index +1  
  22.     }  
  23.     emotionType  
  24. }  

查看到结果如下，第一个图里看着还挺正常的，第二个图好像是hlzj赞助的RM里出现了衣服被撕坏的时候的评论。没有黑他们家的意思，只是想找个例子来说明下差评的效果，好像不是很理想。那些反问的话无法识别判断，还有一些比较口语化的“醉了”，“太次”这样的词没有放到情感词库里，对这些评论的情感倾向识别效果不是很好。


像前面说的，方法有待改进，我的方法只是一个最基础的情感分析的实现方式，有任何问题欢迎指正。

转载请注明来源，谢谢！


本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

r

文本挖掘

R文本挖掘之五情感分析 的相关文章

  • 如何在Shiny中动态生成的条件面板中格式化条件？

    我正在尝试使用 for 循环在 Shiny 中创建小部件 每个块包含 label 复选框 选择选择器 两个数字输入 我想根据复选框的值和选择选择器的值来设置显示或隐藏两个数字输入的条件 在我创建的 for 循环中 我为每个小部件变量添加了一

  • 如何识别数据集中其他列之和的列

    我想编写一个函数 最好用 R 语言 但也欢迎其他语言 它可以识别数据集中列之间的关系 仅限于加法 减法 其实际应用是在大型多列财务数据集上运行它 其中某些列是其他列的小计 并识别此类小计 理想情况下 我希望允许一些小的差异 例如允许舍入问题

  • xts 函数不将我的 POSIXct 日期视为适当的基于时间的对象

    我创建了一个包含两列的数据框 gt head data frame Date Rainfall 1 1992 01 06 14 00 00 0 3 2 1992 01 06 15 00 00 0 2 3 1992 01 06 16 00 0

  • R中按字母顺序对每一行字符串进行排序

    我环顾四周 似乎找不到解决这个问题的好方法 我有一个包含行名称的列 我想按字母顺序对每一行进行排序 以便稍后可以识别具有相同名称但顺序不同的行 数据如下 names lt c John D Josh C Karl H John D Bob

  • Rstudio 更有意义的窗口标题

    我在 Ubuntu 16 04 下使用 R studio 版本 1 0 143 窗口标题仅显示一个非常无信息的 RStudio 我希望至少有当前选项卡的名称 或者最好是与此选项卡对应的文件的完整路径 在 Windows 下 完整路径似乎出现

  • 在R中，如何平均空间网格正方形上的空间点数据

    现在设法解决问题 我有一组大约 50 000 个点 它们具有坐标和一个与其关联的值 我希望能够将点放入网格中 对落在网格正方形中的所有点的关联值进行平均 所以我想最终得到一个对象来识别每个网格方块并给出网格方块内的平均值 如果有帮助的话 我

  • 在 R 中将列表列表转换为数据帧：Tidyverse 方式

    我正在寻找将列表列表转换为 R 中的数据帧的 Tidyverse 方法 Create a list of lists a lt seq 1 10 1 b lt seq 1 20 2 Function to calculate the sum

  • 如何调整ggplot2中的标题位置

    这是代码 require ggplot2 require grid pdf a pdf png a png a lt qplot date unemploy data economics geom line opts title A b l

  • 在 Ubuntu 上安装软件包需要很长时间

    我之前使用 Windows 作为操作系统 RStudio 用于 Windows 今天切换到 Ubuntu 并再次安装了 R 和 RStudio 当我尝试从 CRAN 安装一些软件包时 仅tidyverse 使用install package

  • rvest - 在 1 个标签中抓取 2 个类

    我是新来的 如何提取标签中具有 2 个类名或仅 1 个类名的元素 这是我的代码和问题 doc lt paste span class a1 b1 text1 span span class b1 text2 span library rve

  • rmarkdown 中的内部链接不起作用

    我使用 rmarkdown 来渲染 pdf 文档 现在我想在文本中添加内部链接 在帮助页面中降价 http rmarkdown rstudio com authoring pandoc markdown html links 它说内部链接定

  • 闪亮的演示文稿 (ioslides)：自定义 CSS 和徽标

    我安装了以下内容 RStudio 预览版 版本 0 98 864 2014 年 5 月 24 日 knitr 和shiny 的开发版本 来自 devtools install github c yihui knitr rstudio shi

  • R：变换不规则时间字符串

    我有两个不同的时间序列 来自不同的数据帧 具有不同的不规则格式 但问题是相同的 我只想提取小时 分钟 秒和毫秒 时代系列看起来像这样 ts1 08 27 23 445 08 27 24 280 08 27 25 115 I tried st

  • Shiny 中的模态对话框：可以调整宽度但不能调整高度

    在我的 Shiny 应用程序中 我有几个来自闪亮BS 包的模式窗口 我可以像这样调整这些模式窗口的宽度 tags head tags style HTML modal lg width 1200px abs 1 background col

  • 反转默认比例梯度ggplot2

    我是新手 我正在尝试设计热图 这是我的代码 ggplot gd aes Qcountry Q6 1 Q6d order TRUE geom tile aes fill prob colour white theme minimal labs

  • 从 R 主题模型中的 DocumentTermMatrix 中删除空文档？

    我正在使用 R 中的 topicmodels 包进行主题建模 我正在创建一个 Corpus 对象 进行一些基本的预处理 然后创建一个 DocumentTermMatrix corpus lt Corpus VectorSource vec

  • 尽管提供了群落矩阵，纯素食 DBRDA 物种得分为空

    我使用纯素社区生态包在 R 中执行了 基于距离的冗余分析 dbRDA 我想在 dbRDA 结果的排序图中显示 鱼类 营养群体对样本之间差异 营养级鱼类组合的丰度数据 的相对贡献 IE 将箭头和营养级组名称叠加到排序图上 其中箭头线的长度表示

  • R比例置信区间因子

    我正在尝试总结家庭调查的数据 因此我的大部分数据都是分类 因子 数据 我想用对某些问题的回答频率图来总结它 例如 回答某些问题的家庭百分比的条形图 误差线显示置信区间 我发现了这个很棒的教程 我认为它是我祈祷的答案 http www coo

  • 解释 survreg 中的威布尔参数

    我正在尝试使用从 R 中的 survreg 估计的参数生成逆威布尔分布 我的意思是 对于给定的概率 这将是在 MS Excel 中实现的小型模拟模型中的随机数 返回使用我的参数预计出现故障 的时间 我理解逆威布尔分布的一般形式是 X b l

  • 如何在 R 地图库中绘制正确的颜色

    我正在尝试使用 R 地图库为特定国家绘制特定颜色 我可以填写颜色 但它们与各自的国家 地区没有正确关联 我想知道是否有人能知道为什么 我的数据框是 filld 有 3 列 第一列是国家名称 第二列只是一些数字数据 第三列是颜色 countr

随机推荐

  • 教妹学Java(十三)：if-else 语句详解

    大家好 我是沉默王二 一个和黄家驹一样身高 和刘德华一样颜值的程序员 本篇文章通过我和三妹对话的形式来谈一谈 if else 语句 教妹学 Java 没见过这么有趣的标题吧 语不惊人死不休 没错 本篇文章的标题就是这么酷炫 接受不了的同学就

  • ETL工具

    这些年 几乎都与ETL打交道 接触过多种ETL工具 现将这些工具做个整理 与大家分享 一 ETL工具 国外 1 datastage 点评 最专业的ETL工具 价格不菲 使用难度一般 下载地址 ftp ftp seu edu cn Pub D

  • 一步一步写STL:空间配置器 （1）

    侯捷说 追踪一流程序 并从中吸取养分 模仿着他写的程序 比那些自以为靠自己努力写出来的下三流程序价值高得多 至少我这么认为 世界上99 999 的程序 在STL面前都是下三流水平 侯捷老师这句话对STL的评价太高了 以前只是熟练使用STL

  • Tensorflow运行机制

    TensorFlow是一种基于数据流图的编程框架 它使用数据流图来描述计算过程 其中节点表示操作 边表示数据流 从而实现了高效的分布式计算和自动求导 在TensorFlow中 计算过程分为两个阶段 构建阶段和执行阶段 在构建阶段 我们使用T

  • 达梦数据库-分区表维护

    分区表的维护主要有增加分区 删除分区 交换分区 合并分区 拆分分区 1 增加分区 添加一个新的分区 2 删除分区 删除一个就分区 3 交换分区 将分区数据跟普通表交换 2张表结构必须一样 4 合并分区 将临近的两个分区合并为一个分区 目前仅

  • 绘图中的渐变

    绘图渐变 指的就是在指定区域内 指定开始位置到指定结束为止 一种颜色颜色逐渐变成另一种颜色的图 qt中的渐变分为三个类别 1线性类别 QLinearGradient 2 角度渐变 QConicalGradient 3 辐射渐变 QRadia

  • Android Studio 给方法添加注释自动生成参数的快捷设置

    没有废话 直接上图 Android Studio gt File gt Setting gt Keymap gt 发现框输入comment gt 选择Other的Fix doc comment 2 选择 Add keyboard short

  • Videos from Embedded Linux Conference 2014

    本文转载至 http free electrons com blog elc2014 videos As the summer is coming to an end we finally managed to publish the vi

  • Kubernetes详解（二十）——ReplicaSet控制器

    今天继续给大家介绍Linux运维相关知识 本文主要内容是ReplicaSet控制器 一 ReplicaSet控制器概述 ReplicaSet控制器是Pod类控制器的一种实现 该控制器用于确保其管控的Pod对象副本数量在任意时刻都能够满足用户

  • XXE-lab（全踩坑）实录

    在bWAPP中有一关是XML External Entity Attacks XXE 传送门 比较简单的了解了一下XXE 师傅的博客 浅谈XML实体注入漏洞 XXE漏洞全称XML External Entity Injection即xml外

  • 解决Windows系统下VNC Viewer无法连接到远程主机上的VNC Server的问题

    问题如下 笔记本 IP 10 100 172 194 上装了VNC Viewer 台机 IP 10 100 100 103 上装了VNC Server 原本笔记本连接无线网 可以通过VNC远程连接到办公网的台机的桌面 自从台机重装了系统后

  • 去掉suse里ls默认显示隐藏文件的特性

    以root权限suse终端时 执行ls命令 隐藏文件 文件名以 开头 也都显示出来了 这一点 我是不太喜欢 既然是隐藏文件 一般情况下就不要出现 尤其是 root目录 一堆隐藏文件 很影响我查找文件 要去掉这个特性 先执行alias命令 一

  • arxiv文章下载很慢怎么办？

    对于我们这样的深度学习屌丝来说 没钱 没资源 没数据 没时间 只能看看别人的论文生存了 经常会到arxiv上下载一些文章 比如cvpr的文章 但是 由于国内封锁 下载很慢 甚至接连几天打不开arxiv的网站 咋办 强烈推荐使用中科院arxi

  • usb描述符以及传输方式

    lsusb命令 Bus 002 表示第2个usb主控制器 Device 002 表示系统给usb鼠标分配的设备号 ID 8087 8002 Intel Corp 表示usb设备的ID 这个ID由芯片制造商设置 可以唯一表示该设备 8087

  • 洛谷P5731 【深基5.习6】蛇形方阵

    include

  • 电脑itunes,iTunes

    Music TV and podcasts take center stage iTunes forever changed the way people experienced music movies TV shows and podc

  • 内存管理之分段与分页

    内存管理之分段与分页 转载自多名技术分享者 仅供参考 第一篇 要理解分段和分页 那么得理解为什么会出现分段和分页的技术 首先 这两个技术都是为了利用和管理好计算机的资源 内存 在分段这个技术还没有出现之前 程序运行是需要从内存中分配出足够多

  • 【Verilog】Verilog定义二维数组（2D Array）

    目录 定义的种类 第一种 赋值方法 第二种 赋值方法 第三种 赋值方法 定义的种类 首先看几组定义类型 第一种 定义一个位宽为8的 data1 reg 和 data2 wire 的变量 reg 7 0 data1 wire 7 0 data

  • java.io.IOException: InvalidResourceRequestException: Invalid resource request

    1 背景 做一次kylin计算选择mr进行计算cube 但是报错 首先是 这一报错 报错打开是 yarn上的原因为 2019 05 09 15 07 38 495 ERROR Thread 52 org apache hadoop mapr

  • R文本挖掘之五情感分析

    本文是转载 原文地址 CSDN R语言做文本挖掘 Part5情感分析 Part5情感分析 这是这个系列里面最后一篇文章了 其实这里文本挖掘每一个部分单拎出来都是值得深究和仔细研究的 我还处于初级研究阶段 用R里面现成的算法 来实现自己的需求

热门标签