spark示例（sparkscaladouban模仿做了个python的版本）
导读：搜索：...
搜索：
标签
cache Cassandra Concurrent Django Dynamo event google Hadoop HBase http io ipad java JBoss jvm linux lucene MapReduce memcached mongodb mysql nio nosql python redis RFS Scala Siege spark SSD TokyoCabine TokyoTyrant Voldemort 分布式 多线程 实时 实时计算 招聘 架构 测试 海量数据 消息队列 源码分析 爬虫 高性能
分类目录
Apple (3) Java (11) Linux (4) Nosql (39) other (1) 互联网 (7) 分布式 (15) 实时计算 (8) 抄袭工厂 (19) 搜索引擎 (3) 数据库 (7) 架构 (8) 海量数据 (20) 算法 (11)近期文章
Tenzing A SQL Implemention On The MapReduce Framework(译) Spark范例:K-means算法 Spark范例:SortByKey Spark范例：统计CSDN不同邮箱的密码白痴指数 初识spark-基本概念和例子近期评论
wangbo 发表在《对redis数据持久化的一些想法》 mcbill 发表在《redis的hash/key lookup的实现》 yiihsia 发表在《Spark范例:K-means算法》 » redis资料 小熊 发表在《对redis数据持久化的一些想法》 舒の随想日记 » Redis容灾策略 发表在《对redis数据持久化的一些想法》Views
热门文章
val spark = new SparkContext(“local ”, ”test ”)
val file = spark.textFile(“D:\\data\\keykeys-log\\log.log ”)
val lines = file.filter(line => line.contains(“hbase_time ”))
println(lines.count());
val spark = new SparkContext(“local[2]“, “test ”)
val file = spark.textFile(“D:\\data\\keykeys-log\\log.log ”)
val lines = file.filter(_.contains(“hbase_time ”))
val times = lines.map(dd => dd.split( ” “)(6).toInt).reduce(_ + _)
println(“times: ” + times/lines.count())
val spark = new SparkContext(“local[2]“, “test ”)
val file = spark.textFile(“D:\\data\\keykeys-log\\log.log ”)
val lines = file.filter(_.contains(“hbase_time ”))
val ones = lines.map(word => (word.split( ” “)(7), 1)).reduceByKey(_ + _)
ones.foreach(println)
声明：本站所有文章 ，如无特殊说明或标注 ，均为本站原创发布 。任何个人或组织 ，在未征得本站同意时 ，禁止复制 、盗用 、采集 、发布本站内容到任何网站 、书籍等各类媒体平台 。如若本站内容侵犯了原著者的合法权益 ，可联系我们进行处理 。
创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！