html在线解析（HtmlParse：一款超轻量级的HTML文件解析和爬取工具）

HtmlParse 是一款基于windwos平台的HTML文档解析工具 
    
    
，可快速构建DOM树
     


     


    ，从而轻松实现网页元素的爬取工作    
    
    。DOM树就是一个HTML文档的节点树 




 




 


，每个节点由：标签（Tag） 
    
    
、属性（Attribute）
     


     


    、文本（Text）三个值来描述  


     


     


。

所谓的HTML文档解析 

   

   

，指的就是如何构建一颗DOM树
     

     

   ，只有成功构建出DOM树  




  




  

，才有可能进行后续的数据爬取和分析工作


 




 




。显然 


  


  


，构建DOM树是比较复杂的过程
     
     
  ，因为不是每一个HTML文档都会严格按照规范来书写   




   




   
，因此解析过程需要具有一定容错能力   

   

   。此外 



 



 



，解析效率也是一个需要考虑的因素           ，也就是说最好通过一次文档扫描即可建立起DOM树
    




    




    ，而不是反复扫描   

     

     

。

下面是HtmlParse介绍



  




  




。

工具特点

1 




 




 


、绿色纯天然














，无任何第三方依赖库           ，文件大小不到150K；

2 

   

   

、解析速度快
     



     



     ，具有一定的HTML语法容错能力













，可快速将HMTL文档解析为DOM树；

3
     

     

   、基于命令行参数 
    
    
，可通过不同参数获取指定TAG的属性值和文本内容
     


     


    ，从而实现网页爬取功能；

4  




  




  

、可将爬取数据输出为json格式 




 




 


，方便第三方程序进一步分析和使用；

5 


  


  


、可爬取script脚本到指定的js文件中；

下载地址：http://softlee.cn/HtmlParse.zip

使用方法

HtmlParse HtmlPathFile -tag TagName [-attr] [Attribute] [-o] [JsonPathFile]

解析指定的HTML文档 

   

   

，并将文档中指定的标签及属性输出到指定文件中  


  


  。

HtmlPathFile：必选参数
     

     

   ，要解析的HTML文档路径名  




  




  

，如果文件路径中有空格 


  


  


，可使用双引号将文件路径包含；

-tag

：必选参数
     
     
  ，用于指定要抓取的HTML标签名称；

-attr

：可选参数   




   




   
，用于指定标签的属性值 



 



 



，如果不指定           ，则返回该标签的所有属性值；

-o：可选参数
    




    




    ，用于指定抓取内容输出的文件














，可将抓取的内容保存为json格式的文件    
     
     
。 如果该参数不指定           ，则进行控制台输出




   




   




。 如果抓取的是script
     
     
  、style则会保存为js格式文件 



 



 。

如果要抓取doctype
     



     



     ，可使用-tag doctype













，将整个doctype内容获取               。此时将会忽略-attr指定的任何属性值




    




    




。

举例说明

1   




   




   
、爬取网页中所有超链接

HtmlParse c:/sina.html -tag a -attr href -o c:/sina.json

解析C盘下的sina.html文档 
    
    
，并提取该文档中的所有超链接到sina.json文件中










。其中-tag a -attr href
     


     


    ，用于指定获取超链接标签a的href属性               。

2 



 



 



、爬取网页中所有图片链接

HtmlParse c:/sina.html -tag img -attr src -o c:/sina.json

解析C盘下的sina.html文档 




 




 


，并提取该文档中的所有图片链接到sina.json文件中 



     



     



。

3           、爬取网页中所有脚本

HtmlParse c:/sina.html -tag script -o c:/sina.js

解析C盘下的sina.html文档 

   

   

，并提取该文档中的所有脚本函数到sina.js文件中











。

输出内容

如果通过-o参数指定输出文件
     

     

   ，则会生成一个json格式的文档    
    
    。

TagName为爬取的标签名称  




  




  

，比如超链接的a 


  


  


，其值是一个json数组
     
     
  ，数组中的每个内容为Json对象   




   




   
，每个Json对象 



 



 



，有属性和文本构成  


     


     


。如果-attr 指定了要爬取的属性           ，则AttrName为指定的属性名称
    




    




    ，比如href或src


 




 




。text为该标签的文本内容














，有些标签不存在文本内容           ，比如img
    




    




    、meta等
     



     



     ，则该值为空   

   

   。json格式如下： { "TagName": [ {"AttrName":"AttrValue1", "text":"text1"} {"AttrName":"AttrValue1", "text":"text2"} ] }

下面是一个sina网页的所有超链接json

{ "a": [{ "href": "javascript:;", "text": "设为首页" }, { "href": "javascript:;", "text": "我的菜单" }, { "href": "https://sina.cn/", "text": "手机新浪网" }, { "href": "", "text": "移动客户端" }, { "href": "https://c.weibo.cn/client/guide/download", "text": "新浪微博" }, { "href": "https://so.sina.cn/palmnews/web-sinanews-app-download.d.html", "text": "新浪新闻" }, { "href": "https://finance.sina.com.cn/mobile/comfinanceweb.shtml", "text": "新浪财经" }, { "href": "https://m.sina.com.cn/m/sinasports.shtml", "text": "新浪体育" }, { "href": "https://tousu.sina.com.cn/about_app/index?frompage=heimaopc", "text": "黑猫投诉" }, { "href": "http://blog.sina.com.cn/lm/z/app/", "text": "新浪博客" }, { "href": "https://games.sina.com.cn/o/kb/12392.shtml", "text": "新浪游戏" }, { "href": "https://zhongce.sina.com.cn/about/app", "text": "新浪众测" }, { "href": "https://mail.sina.com.cn/client/mobile/index.php?suda-key=mail_app&suda-value=login", "text": "新浪邮箱客户端" }, { "href": "javascript:;", "text": "关闭置顶" }, {

写在最后

网页下载可通过wincurl工具













，这是一个windows平台下的curl程序   

     

     

。

下载地址：http://softlee.cn/wincurl.zip

介绍文章：《wincurl：一款基于HTTP协议的轻量级web资源抓取和上传工具》