扩词法和组词法的区别（词库的扩充百度百科的抓取你知道这些热词吗？ rabbit9898 ITeye技术网站）

词库的扩充-百度百科的抓取-你知道这些热词吗？ 博客分类： 百度百科词库抓取 做中文分词需要一个好的词库           ，网上收集的这些都基本不更新
  
 
  
 
  
 
  
 
  
 
 ，没有办法










，只有自己抓取百科中的词条了           。但是百科中有300多万词条 
  
  
  
  
  ，要全部抓取下来把其中的优质词条摘录出来并非易事
  
 
  
 
  
 
  
 
  
 
 。 抓取用 httpclient 应该就够了 Java代码 org.apache.httpcomponents httpclient 4.1 解析用htmlclener 就够了 Java代码关于抓取维基百科,百度百科,Google News的记录 最近由于项目中需要抓取维基百科,百度百科,Google News的数据
  
  
  
  
  
 ，做了些研究










。维基百科开放性做的好
 


 


 


 


 


，用强大的API支持查询 
 
 
 
 
 ，不过中文的API貌似是基于繁体的
   
   
   
   
   
 ，而且中文的维基信息太少了
 

 

 

 

 

，有些关键词没有对应的词条 
  
  
  
  
  。于是目标转向百度百科
  
  
  
  
  
 。百度百科的词条确实很丰富 

 

 

 

 

 ，一般的关键词基本都有对应的词条
 


 


 


 


 


。不过百度百科的词条对应的html页面的连接是这样的 baike.baidu.com/view/0000.html  
 
 
 
 
 。0000对应的是某个词条了
   
   
   
   
   
 。要想根据URL来获取就首先需要把关键词转换成对应的数字
 

 

 

 

 

。通过httpwatch查看后发现http://baike.baidu.com/searchword/?word= keyWord &pic=1&sug=1&enc=gbk 这个url返回的信息中包含了关键词对应的0000.html此格式的数据 

 

 

 

 

 。关键词要gb2312编码           。把信息提取出来           ，拼接一下url

 
 

 
 

 
 

 
 

 
 

，这样就能顺利获取百度百科的html页面了

 
 

 
 

 
 

 
 

 
 

。然后把html页面做处理









，输出到自己的页面上









。因为html页面结构复杂                 ，在服务器做处理效率低                 。所以我觉得还不如把所有html代码输出到自己的页面中
 
 
 
 
 
 
 
 
 
 
，在用JQuery来处理页面















，只要用IE或者chrome的开发人员工具           ，看一下结构
  
 
  
 
  
 
  
 
  
 
 ，然后用JQuery来提取啊










，隐藏啊 
  
  
  
  
  ，这样方便多了
 
 
 
 
 
 
 
 
 
 
。Google New的思路同百度百科
  
  
  
  
  
 ，用webrequest来模拟搜索请求
 


 


 


 


 


，取得html代码 
 
 
 
 
 ，输出到自己的页面
   
   
   
   
   
 ，JQuery来处理下就OK了















。