bilstm-crf模型 部署（【详解】BiLSTM+CRF模型）
命名实体识别(Named Entity Recognition ，NER)
定义
从一段自然语言文本中找出相关实体 ，并标注出其位置以及类型 。 是信息提取, 问答系统, 句法分析, 机器翻译等应用领域的重要基础工具 。 在自然语言处理技术走向实用化的过程中占有重要地位. 包含行业, 领域专有名词, 如人名, 地名, 公司名, 机构名, 日期, 时间, 疾病名, 症状名, 手术名称, 软件名称等 。命名实体识别问题实际上是序列标注问题
序列标注问题指的是模型的输入是一个序列, 包括文字, 时间等, 输出也是一个序列. 针对输入序列的每一个单元, 输出一个特定的标签.
以中文分词任务进行举例, 例如输入序列是一串文字: “我是中国人 ”, 输出序列是一串标签: “OOBII ”, 其中"BIO"组成了一种中文分词的标签体系: B表示这个字是词的开始, I表示词的中间到结尾, O表示其他类型词. 因此我们可以根据输出序列"OOBII"进行解码, 得到分词结果"我\是\中国人" 。
序列标注问题涵盖了自然语言处理中的很多任务, 包括语音识别, 中文分词, 机器翻译, 命名实体识别等, 而常见的序列标注模型包括HMM, CRF, RNN, LSTM, GRU等模型 。 其中在命名实体识别技术上, 目前主流的技术是通过BiLSTM+CRF模型进行序列标注 。 2 BiLSTM-CRF模型介绍 2.1 数据标签及模型架构 2.1.1 数据标签 B-Person （人名的开始部分） I- Person （人名的中间部分） B-Organization （组织机构的开始部分） I-Organization （组织机构的中间部分） O （非实体信息） 2.1.2 模型架构x 是包含了5个单词的一句话（W0,W1,W2,W3,W4） 。还有 ，在句子x中[W0,W1]是人名 ，[W3]是组织机构名称 ，其他都是“O ” 。
句中的每个单词是一条包含词嵌入和字嵌入的词向量 ，词嵌入通常是事先训练好的 ，字嵌入则是随机初始化的 。所有的嵌入都会随着训练的迭代过程被调整 。 BiLSTM-CRF的输入是词嵌入向量 ，输出是每个单词对应的预测标签 。 BiLSTM层的输入表示该单词对应各个类别的分数 。如W0 ，BiLSTM节点的输出是1.5 (B-Person), 0.9 (I-Person), 0.1 (B-Organization), 0.08 (I-Organization) and 0.05 (O) 。这些分数将会是CRF层的输入 。 所有的经BiLSTM层输出的分数将作为CRF层的输入 ，类别序列中分数最高的类别就是我们预测的最终结果 。 2.2 BiLSTM模型 2.2.1 BiLSTM模型介绍及联系 所谓的BiLSTM ，就是(Bidirectional LSTM)双向LSTM. 单向的LSTM模型只能捕捉到从前向后传递的信息, 而双向的网络可以同时捕捉正向信息和反向信息, 使得对文本信息的利用更全面, 效果也更好. 在BiLSTM网络最终的输出层后面增加了一个线性层, 用来将BiLSTM产生的隐藏层输出结果投射到具有某种表达标签特征意义的区间, 具体如下图所示： 2.2.2 代码实现细节 BiLSTM网络结构 设置隐藏层维度的时候, 需要将hidden_size // 2 总共有3层需要构建, 分别是词嵌入层, 双向LSTM层, 全连接线性层 在代码层面, 双向LSTM就是将nn.LSTM()中的参数bidirectional设置为True BiLSTM网络的代码实现 构建类BiLSTM的初始化函数 添加文本向量化的辅助函数, 注意padding填充为相同长度的Tensor 要注意forward函数中不同张量的形状约定 2.3 CRF模型 2.3.1 CRF模型定义及联系CRF(全称Conditional Random Fields), 条件随机场. 是给定输入序列的条件下, 求解输出序列的条件概率分布模型.
即使没有CRF层 ，我们照样可以训练一个基于BiLSTM的命名实体识别模型（因为BiLSTM模型的结果是单词对应各类别的分数 ，我们可以选择分数最高的类别作为预测结果 。）
例如W0 ，“B-Person ”的分数最高（1.5） ，那么我们可以选定“B-Person ”作为预测结果 。同样的 ，W1是“I-Person ”, W2是“O ”,W3是 “B-Organization ” ，W4是 “O ” 。
但实际情况可能出现下列预测结果
2.3.2 CRF作用CRF层可以加入一些约束来保证最终预测结果是有效的（CRF层可以学习到句子的约束条件） 。这些约束可以在训练数据时被CRF层自动学习得到 。
可能的约束条件有：
句子的开头应该是“B- ”或“O ” ，而不是“I- ” 。 “B-label1 I-label2 I-label3… ” ，在该模式中 ，类别1,2,3应该是同一种实体类别 。比如 ，“B-Person I-Person ” 是正确的 ，而“B-Person I-Organization ”则是错误的 。 “O I-label ”是错误的 ，命名实体的开头应该是“B- ”而不是“I- ” 。有了这些有用的约束 ，错误的预测序列将会大大减少 。
2.3.3 CRF层的损失函数1 Emission Score（发射分数/状态分数）
发射概率, 是指已知当前标签的情况下, 对应所出现字符的概率. 通俗理解就是当前标签比较可能出现的文字有哪些, 及其对应出现的概率.
Xi,yj代表状态分数 ，i是单词的位置索引 ，yj是类别的索引 。根据上表 ，
表示单词W1被预测为B−Organization的分数是0.1 。
2 Transition Score （转移分数）
我们用t(yi,yj)来表示转移分数 。例如 ，t(B−Person,I−Person)=0.9表示从类别B−Person→I−Person的分数是0.9 。因此 ，我们有一个所有类别间的转移分数矩阵 。
为了使转移分数矩阵更具鲁棒性 ，我们加上START 和 END两类标签 。START代表一个句子的开始（不是句子的第一个单词） ，END代表一个句子的结束 。
下表是加上START和END标签的转移分数矩阵 。
如上表格所示 ，转移矩阵已经学习到一些有用的约束条件：
句子的第一个单词应该是“B- ” 或 “O ” ，而不是“I ” 。（从“START ”->“I-Person 或 I-Organization ”的转移分数很低） “B-label1 I-label2 I-label3… ” ，在该模式中 ，类别1,2,3应该是同一种实体类别 。比如 ，“B-Person I-Person ” 是正确的 ，而“B-Person I-Organization ”则是错误的 。（“B-Organization ” -> “I-Person ”的分数很低） “O I-label ”是错误的 ，命名实体的开头应该是“B- ”而不是“I- ” 。要怎样得到这个转移矩阵呢？
实际上 ，转移矩阵是BiLSTM-CRF模型的一个参数 。在训练模型之前 ，你可以随机初始化转移矩阵的分数 。这些分数将随着训练的迭代过程被更新 ，换句话说 ，CRF层可以自己学到这些约束条件 。
3 CRF损失函数
CRF损失函数由两部分组成 ，真实路径的分数 和 所有路径的总分数 。真实路径的分数应该是所有路径中分数最高的 。
例如 ，我们的数据集中有如下几种类别：
一个包含5个单词的句子 ，可能的类别序列如下：
\1. START B-Person B-Person B-Person B-Person B-Person END \2. START B-Person I-Person B-Person B-Person B-Person END …… 10. START B-Person I-Person O B-Organization O END N. O O O O O O O每种可能的路径的分数为Pi ，共有N条路径 ，则路径的总分是
，e是常数e 。
如果第十条路径是真实路径 ，也就是说第十条是正确预测结果 ，那么第十条路径的分数应该是所有可能路径里得分最高的 。
根据如下损失函数 ，在训练过程中 ，BiLSTM-CRF模型的参数值将随着训练过程的迭代不断更新 ，使得真实路径所占的比值越来越大 。
2.4 BiLSTM-CRF模型代码实现 2.4.1 BiLSTM+CRF模型的实现 第一步: 导入工具包并完成辅助函数 第二步: 文本信息张量化 第三步: 创建类的初始化函数 第四步: 创建获取发射矩阵张量的函数 第五步: 计算前向传播分值的函数 第六步: 计算句子真实分值的函数 第七步: 维特比算法的实现 第八步: 完善BiLSTM_CRF类的全部功能 2.4.2 模型训练的流程 第一步: 熟悉字符到数字编码的码表 第二步: 熟悉训练数据集的样式和含义解释 第三步: 完成字符到id的映射函数 第四步: 获取训练数据和验证数据的函数 第五步: 完成准确率和召回率的评估代码 第六步: 绘制损失曲线和评估曲线图 第七步: 完成训练模型的完整代码 第八步: 训练集和验证集损失曲线和指标数据曲线的分析创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！