数据抓取软件（数据抓取可否发展出好的商业模式?）
导读：下期邮件中会提到这篇文章 : 张沈鹏 ( 42qu.com , 创始人...
下期邮件中会提到这篇文章 :)
张沈鹏 ( 42qu.com , 创始人&程序员 )
这和网站的网站编辑一样 ，找数据 ，编辑数据 ，发布数据一般 ，只不过上文提到的是技术抓取！
谢晨风 ( 苦逼的SEOER , b2c网络头目 )
这篇文章很有干货 ，写得好 。
joyfire 王乐珩 ( 阿里云计算 , 数据分析类 产品经理 )
数据抓取太简单了 ，一般公司的程序员都会做 。数据分析才是核心 。
陈加兴 ( 搜索引擎 , 研发经理 )
用python是因为比较容易而已. 用什么语言都一样, 同样的流程(代理)->(模拟登录)->(抓数据). 盈利的话现在已经有很多服务了, 比如说实时监控App在市场中销售情况的, 各种新闻/体育赛事信息的推送等等...
Alex Rezit ( Seymour Dev , Founder, Designer )
谈一下个人浅见：
有个很重要的认识：技术还没发展到具有足够的智能 。技术和智能 ，扮演不同的分工 ，也体现了不同的内在价值 。
技术还是在节约时间 ，节省重复劳动 ，提高工作效率 。不可否认 ，这是有价值的 。只是一种工具价值 。
但对于数据 ，人们 ，特别是商业领域 ，更多的是一种智能价值——对于数据的理解 、分析 、判断 。这是一种高附加值 。这需要人的经验 、阅历 、知识 、技能 、人脉 、能力的综合 。目前的技术水平对此望尘莫及 。
有点像“用粉笔划一道杠1美元 ，知道在哪里划杠值4999美元 ”的那个故事 。
所以 ，如果真想发展出“数据抓取可否发展出好的商业模式 ”
一般是抽取一种工具需求 ，提供功能性服务 ，比如对于Twitter的数据监控 、分析 。有很多app 。
在此基础上 ，开发一种在线工具 ，提供功能的服务：基础版免费 、标准版xx价 、定制版xx价
如果再想要提升 ，显得“智能“ ，那就得和某一领域的行家合作 ，比如电商领域 ，如果xx数据出现了xx情况 ，那可能是由于什么原因出现的 ，如果是由某个原因出现 ，则在数据上有什么表现——这样一套由经验和内在逻辑判断结合 ，形成一种模式 ，但可能逻辑交叉起来比较复杂 ，但能通过技术实现 。但要面对具体情况 ，还是离不开人的解读和判断 。
于宏庆 ( 济南聚易信息技术有限公司 , HR/SNS产品 )
我觉得有一个方式不错, 我们来写一个可配置的爬虫, 暂时只考虑抓取纯html的页面, 不考虑ajax等情况, 然后要方便用户自己去配置, 比如用浏览器插件点击要抓取的目标后能自动生成配置文件, 能配置url, 比如http://***?page={1-100}
然后免费给用户抓取, 让他们学会自己去配置, 然后在增值服务上赚钱, 比如定期推送, 比如数据分析(比如根据鞋子名称用算法来识别鞋子是运动鞋还是凉鞋, 是高跟还是坡跟等)
只有做到自己写平台, 不维护爬虫(交给用户自己维护), 才能做大这个业务, 个人看法
刘永辉 ( Sparker5 , 网站外包 )
这个商业模式 成功案例很多 。比如 火车头,猎兔,中科点击 。国内大批做舆情监控的都有数据抓取有关 。
童小军 ( 暴风影音 , 研发经理 )
谢谢张教主.
@joyfire 给我们分享一点数据分析方面的经验吧 ，:)
@Alex Rezit 是否可以详细说说市场销售情况监控的模式? 比如什么公司在做 ，有哪些典型用户 ，提供的服务具体是怎样的 ，收费模式是怎样的? 新闻和体育赛事的推送现在基本都是免费的?
@于宏庆 我现在还没有确切的认识 ，感觉上 ，数据采集仅仅是初级原料 ，附加值最大的应该在深度加工上 。你的观点加深了我这个印象 。我们说的商业模式 ，简单的说 ，就是这个业务是怎么赚钱的 ，赚谁的钱；具体的操作上 ，就是要整合资源 ，满足愿意付费的需求 。整合资源包括IT的经验 ，也包括对于特定领域 ，行业的经验 ，包括苦逼的自动运行的程序 ，也包括人工的数据资讯编辑团队 ，包括自己拥有的资源 ，也包括能够联络到的愿意合作的外部资源 。关于人工的数据资讯编辑团队 ，早上专门去找一个朋友聊了聊 ，他做的是基础化工的信息和报价(http://www.icis-china.com/chemease/information/default.aspx) ，数据采集的方式主要靠电话 ，IT系统的呈现 ，加上人工的数据采集 ，就有了行业价格 ，信息的一个汇总 ，让客户了解到更全面的信息 ，也就有了他们存在的意义和价值 。(相关的还有 ，有卓创资讯 、中宇资讯 、中华商务网 、金银岛等等) P.S.他们暂时还没有做交易中介 ，不过有这方面的客户关系 ，数据信息平台 ，行业经验 ，做交易中介不是没有可能的 。
@刘永辉 昨天聊天的时候你也提到了这点 ，简单的说就是要减少人力投入 ，提高服务的自动化程度 ，或者把一部分需要人参与的事情转嫁出去 ，这点我是认同的 。单纯的说数据抓取 ，应该是可行的 。如果涉及数据分析 ，估计就有些难度了 。其实我考虑更多的是是否有一些需求量比较大的 ，相对通用一些的数据 ，比如网上的点评的数据 ，提供一个公共的数据平台 ，这样就不是点对点的卖项目 ，而是点对面的卖数据服务了 。
olmec ( 衡怡智能科技 , 产品经理 )
@olmec 是的, 不过如果你能做到自动化的点对点抓取, 就能在这个基础上总结数据做到你说的点对面, 但是如果不能把维护的工作分给用户, 那么你会面对两个问题, 一个是大量数据需求和维护成本的矛盾, 另一个是干活的人会不爽.
刘永辉 ( Sparker5 , 网站外包 )
@陈加兴 哥们说的更透彻!我同意！
谢晨风 ( 苦逼的SEOER , b2c网络头目 )
数据挖掘涉及的方面很广 ，国内也有很多做的
linuz.ly ( 嵌入式软件工程师 )
声明：本站所有文章 ，如无特殊说明或标注 ，均为本站原创发布 。任何个人或组织 ，在未征得本站同意时 ，禁止复制 、盗用 、采集 、发布本站内容到任何网站 、书籍等各类媒体平台 。如若本站内容侵犯了原著者的合法权益 ，可联系我们进行处理 。
创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！