SnowNLP

SnowNLP是一个功能强大的中文文本处理库 
  
  
  
  
  
  
  
  
，它囊括了中文分词 
  
  
  
  
  
  
  
  
、词性标注 
  
  
  
  
  
  
  
  
 、情感分析

 


 


 


 


 


 


 


 


 、文本分类 
 
 
 
 
 
 
 
 
、关键字/摘要提取 
   
   
   
   
   
   
   
   
 、TF/IDF
 

 

 

 

 

 

 

 

 、文本相似度等诸多功能 
  
  
  
  
  
  
  
  
 ，像隐马尔科夫模型
 

 

 

 

 

 

 

 

 
、朴素贝叶斯                 、TextRank等算法均在这个库中有对应的应用 
  
  
  
  
  
  
  
  
。如果大家仔细观察过博主的博客

 


 


 


 


 


 


 


 


 ，就会发现博主使用了摘要提取这一功能来增强博客的sEO 
 
 
 
 
 
 
 
 
，即通过自然语言处理(NLP)技术 
   
   
   
   
   
   
   
   
 ，提取每一篇文章中的摘要信息 
  
  
  
  
  
  
  
  
 。因为SnowNLP本身使用的语料是电商网站评论
 

 

 

 

 

 

 

 

 ，所以
 

 

 

 

 

 

 

 

 
，当我们面对不同的使用场景时                 ，它自带的这个模型难免会出现"水土不服"                  ”

 


 


 


 


 


 


 


 


 。因此 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，如果我们希望得到更接近实际的结果

















，最好的方案是使用自定义语料进行模型训练 
 
 
 
 
 
 
 
 
。值得庆幸的是                          ，这一切在SnowNLP中实施起来非常简单 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，并不需要我们去钻研那些高深莫测的算法 
   
   
   
   
   
   
   
   
 。至此


























，就引出了今天这篇博客的主题                 ，即 SnowNLP使用自定义语料进行模型训练
 

 

 

 

 

 

 

 

 。

SnowNLP主要原理是计算出的情感分数表示语义积极的概率 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，越接近0情感表现越消极

















，越接近1情感表现越积极
 

 

 

 

 

 

 

 

 
。

关于snownlp实战案例 
  
  
  
  
  
  
  
  
，可以参考我之前的文章数据分析案例-对某宝用户评论做情感分析

我们先来看看如果不重新训练模型 
  
  
  
  
  
  
  
  
 ，直接使用原生的snownlp结果是什么样的

from snownlp import SnowNLP print("这首歌真难听"的情感得分是：,SnowNLP("这首歌真难听").sentiments print(SnowNLP("今天天气真好啊"的情感得分是：

 


 


 


 


 


 


 


 


 ，"今天天气真好啊").sentiments)

 从结果我们以看出 
 
 
 
 
 
 
 
 
，第一个明显是消极评分 
   
   
   
   
   
   
   
   
 ，结果确实0.79
 

 

 

 

 

 

 

 

 ，明显不符合                 。第二个也一样
 

 

 

 

 

 

 

 

 
，是积极情感                 ，评分也不高 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 。所以我们需要训练自己的情感分析模型才能得出我们想要的结果

















。

训练模型

关于如何训练情感分析模型的方法有很多 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，包括基于词典/规则 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 、机器学习

















、snownlp                          。本次就讲解最容易上手的snownlp来训练模型 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 。

首先提前准备好消极和积极情感的文本

















，分别为neg.txt和pos.txt


























。

比如我这里的neg.txt

pos.txt

 接着开始训练模型

# 训练 from snownlp import sentiment sentiment.train(neg.txt, pos.txt) sentiment.save("sentiment.marshal")

运行之后在同目录下会生成一个sentiment.marshal.3的文件                 。

接着来到你snownlp的路径下：

 这里建议你备份一下原生的sentiment.marshal.3文件                          ，然后将刚才得到的sentiment.marshal.3文件替换这里的sentiment.marshal.3即可 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  。

接下来我们重新运行上面的测试代码 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，结果如下：

 此时


























，我们明显看见了随着模型的改变                 ，效果明显发生变化 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，模型准确度提高

















。

测试模型

前面我们已经训练了自己的语料库

















，得出了模型 
  
  
  
  
  
  
  
  
。接着我们用测试数据来检测模型的准确率 
  
  
  
  
  
  
  
  
 。 

# 测试模型效果 
  
  
  
  
  
  
  
  
，导入测试数据 import pandas as pd data_test = pd.read_excel("test.xlsx") data_test.head()

sentiment是人工标记的情感标签

 


 


 


 


 


 


 


 


 。

s = [] for c in data_test[comment]: score = SnowNLP(c).sentiments if score>=0.5: s.append(1) else: s.append(0) count = np.sum((s == data_test[sentiment])==1) print(准确率为：,count/len(data_test))

 得出的模型准确率还有待提高 
  
  
  
  
  
  
  
  
 ，只要前面准备的消极和积极的语料库数据足够大且丰富

 


 


 


 


 


 


 


 


 ，这里的准确率就会提高一大截 
 
 
 
 
 
 
 
 
。

模型利用

前面我们已经将模型训练好了 
 
 
 
 
 
 
 
 
，接着我们就开始利用模型给未标记情感分类的评论进行标记 
   
   
   
   
   
   
   
   
 。

data = pd.read_excel("data.xlsx") s = [] for c in data[comment]: score = SnowNLP(c).sentiments if score>=0.5: s.append(1) else: s.append(0) data[sentiment] = s data.to_excel("data_result.xlsx",index=False) # 导出标记情感标签的评论数据 data.head()

 以上就是SnowNLP使用自定义语料进行模型训练 
   
   
   
   
   
   
   
   
 ，希望对学习情感分析的你有所帮助
 

 

 

 

 

 

 

 

 。