1    
    
    
    
、什么是序列标注

输入和输出都是序列 输入和输出序列是一一对应的 是一种结构化的分类    
    
    
  ，分类问题的一种推广 输出序列用的是BIO标注体系

序列标注是NLP中最基础的任务     


     


     


     
，应用十分广泛




 




 




 




，如分词


     


     


     


  、词性标注
 




 




 




 
、命名实体识别   

   

   

   

、关键词抽取 

     

     

     

 、语义角色标注

  




  




  




  、槽位抽取等实质上都属于序列标注的范畴

2  


  


  


  


、标注体系

BIO 三位标注（B-begin
   

   

   

 ， I-inside     

     

     

     ，O-outside）

B-X表示实体X的开头

I-X表示实体的结尾

O表示不属于任何类型 输入序列 世 达 / S A T A 9 1 5 1 1 数 显 式 游 标 卡 尺 输出序列 B-brand I-brand O B-brand I-brand I-brand I-brand O O O O O O O O B-product I-product I-product I-product BIOES （B-begin 




  




  




  




， I-inside

  


  


  


，O-outside     
     
     
     ，E-end  




   




   




   



，S-single）

B表示实体开头

I表示实体内部

O表示非实体

E表示实体结尾

S表示单个字符


 



 



 



，其本身就是一个实体 输入序列 世 达 / S A T A 9 1 5 1 1 数 显 式 游 标 卡 尺 输出序列 B-brand E-brand O B-brand I-brand I-brand E-brand O O O O O O O O B-product I-product I-product E-product BMES 四位序列标注法 （B-begin                   ，M-middle   




    




    




    


，E-end


















，S-single）

B表示实体开头

M表示实体中间

E表示实体结尾

S表示单个字符                  ，其本身就是一个实体 输入序列 世 达 / S A T A 9 1 5 1 1 数 显 式 游 标 卡 尺 输出序列 B E S B M M E S S S S S S S S B M M E

3  
     
     
     
、常见的序列标注任务

中文分词 词性标注 命名实体识别

3.1 中文分词

分词基本上是所有自然语言处理任务的基础    



     



     



     

，目的是让文本的内容变成一个个的单词或词组



















，便于转换为词向量    
    
    
    
。

中文分词与英文分词的不同：

中文不像英文那样有空格作为词语的界限标志    
    
    
  ，而且“词    
    
    
  ”在中文里本来就是一个很模糊的概念     


     


     


     
，中文也不具备英文中的字母大小写等形态指示 中文的用字灵活多变




 




 




 




，有些词语在脱离上下文语境的情况下无法判断是否是命名实体
   

   

   

 ，而且就算是命名实体     

     

     

     ，当其处在不同的上下文语境下也可能是不同的实体类型 命名实体存在大量的嵌套现象 




  




  




  




，如“北京大学第三医院     


     


     


     
”这一组织机构名中还嵌套着同样可以作为组织机构名的“北京大学




 




 




 




”

  


  


  


，这种现象在组织机构名中尤其严重 中文里广泛存在简化表达现象     
     
     
     ，如
   

   

   

 ”北医三院     

     

     

     ”


   




   




   




   、 




  




  




  




”国科大

  


  


  


”  




   




   




   



，乃至简化表达构成的命名实体


 



 



 



，如“国科大桥‘

3.2 词性标注

对已经分词完成的句子                   ，将句子中的所有词标记词性


     


     


     


  。这里的“词     
     
     
     ”对应的就是已分词的词序列中的词   




    




    




    


，节点的标签空间为词性标记空间如{名词,动词,形容词,… .}
 




 




 




 
。每个词最终都会打上词性标签

词性标注的难点：

相对于英文


















，中文缺少词语形态变化                  ，不能从词的形态来识别词性 一词多词性很常见   

   

   

   

。统计发现    



     



     



     

，一词多词性的概率高达22.5% 

     

     

     

 。而且越常用的词



















，多词性线性越严重    
    
    
  ，比如“研究  




   




   




   



”既可以是名字也可以是动词

  




  




  




  。 词性划分标准不统一  


  


  


  


。词类划分粒度和标记符号等     


     


     


     
，目前还没有一个广泛认可的统一标准  
     
     
     
。比如LDC词性标注预料中




 




 




 




，将汉语一级词性分为33类
   

   

   

 ，而北京大学语料库则将其划分为26类


   




   




   




   。词类划分标准和标记符号的不统一     

     

     

     ，以及分词规范的含糊 




  




  




  




，都给词性标注带来了很大的困难 



 



 



 


。jieba分词采用了使用较为广泛的ICTCLAS 汉语词性标注集规范                  。 未登录词问题



    




    




    




   。和分词一样

  


  


  


，未登录词的词性也是一个比较大的课题

















。未登录词不能通过查找字典的方式获取词性     
     
     
     ，可以采用HMM隐马尔科夫模型等基于统计的算法## 命名实体识别

3.3 命名实体识别

NER又称作专名识别  




   




   




   



，是自然语言处理中的一项基础任务


 



 



 



，应用范围非常广泛                   。命名实体一般指的是文本中具有特定意义或者指代性强的实体                   ，通常包括人名 



 



 



 


、地名                  、组织机构名



    




    




    




   、日期时间

















、专有名词等



     



     



     



   。

NER系统就是从非结构化的输入文本中抽取出上述实体   




    




    




    


，并且可以按照业务需求识别出更多类别的实体


















，比如产品名称                   、型号



     



     



     



   、价格等
















。因此实体这个概念可以很广                  ，只要是业务需要的特殊文本片段都可以称为实体    
    
    
    
。