使用 Scala 写WordContext程序-低调大师

使用 Scala 写WordContext程序

2017-11-11 681

 
        package 
        mydemo 
       
        import 
        org.apache.spark.{SparkConf, SparkContext} 
       
        object 
        MyWordContextDemo { 
       
        def 
        main(args
        : 
        Array[String])
        : 
        Unit 
        = 
        { 
       
        // 创建一个 Config 
       
        val 
        conf 
        = 
        new 
        SparkConf().setAppName(
        "MyWordContext"
        ) 
       
        // 创建 SparkContext 对象 
       
        val 
        sc 
        = 
        new 
        SparkContext(conf) 
       
        // 使用sc 对象执行相应的算子 
       
        sc.textFile(args(
        0
        ))                    
        // 从第一个参数获取文件路径并打开 
       
        .flatMap(
        _
        .split(
        " "
        ))              
        // 先 map 再压平 
       
        .map((
        _
        , 
        1
        ))                        
        // 将单词和 1 构成元组 
       
        .reduceByKey(
        _ 
        + 
        _
        )                 
        // 根据Key 进行 Reduce，并将 value 累加 
       
        .saveAsTextFile(args(
        1
        ))            
        // 将结果输出到文件 
       
        // 停止 SparkContext 对象 
       
        sc.stop() 
       
        } 
       
        }

==> 运行程序：

---> 首先将程序打包成 jar 包

---> 执行以下命令

 
        spark-submit --master spark
        :
        //bigdata0:7077 --class mydemo.MyWordContextDemo scalawordcontext.jar hdfs://192.168.10.210:9000:/output/scala/wordcontext.txt

---> 命令解释：

---- spark-submit spark 命令

---- --master spark://bigdata0:7077

---- --class 指定类名

---- scalawordcontext.jar 将自己与的程序打成的jar 包

---- hdfs://192.168.10.210:9000/out/scala/wordcontext.txt 指定处理好的数据输出的文件

本文转自菜鸟的征程 51CTO博客，原文链接:http://blog.51cto.com/songqinglong/2073794

微信关注我们

原文链接：https://yq.aliyun.com/articles/512547

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ELK日志管理深度实战

Logstash收集Rsyslog/syslog日志 syslog默认是通过514端口去发送日志，可以使用logstash安装对应的插件，监听514端口来收集日志。如果只是监听系统日志可以不用安装logstash的agent,只需要监听对应的514端口，收集系统数据即可。 logstash在INPUT插件中提供了syslog的模块，可以用于不安装本地日志收集agent的设备（如硬件防火墙等），当然支持此类协议的普通服务器也适用。注意：此INPUT插件会同时监听TCP和UDP端口。可以在安装logstash服务器node2(172.16.10.21)上编写logstash配置文件,指定端口（默认为514）同时指定写入的ES服务器： 1 2 3 4 5 6 7 8 9 10 11 12 13 [root@node2~] #cat/etc/logstash/conf.d/syslog.conf input{ syslog{ type => "system-syslog" port=>514 } } output{ elasticsearch{ hosts=>[...

2017-11-12

615

ELK是对Elasticsearch、Logstash、Kibana整合平台的简称。在日常的运维工作中，要实时监控服务器的业务、系统和硬件状态，除了使用监控之外，还需要搜集大量的日志来进行分析。但是在面对海量的服务器和集群时，通过单台登录查询的方式显然是不可能的，对于不同时间段和集群日志的分析仅仅通过简单的脚本来统计也是难以实现。ELK日志平台通过日志搜集，查询检索和前端展示的方式帮我们实现了这样的功能。 Elasticsearch是个开源分布式搜索引擎，具有分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等特性。http://www.elastic.co/cn Logstash是一个完全开源的工具，他可以对日志进行收集、分析，并将其存储. Kibana 是一个开源和免费的工具，可以为Logstash和ElasticSearch提供的日志分析友的Web界面. ELKStack 部署 Elasticsearch部署 Elasticsearch 需要安装java环境，首先需要安装JDK. 1 2 3 4 5 [root@node1] #y...

2017-11-12

640

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。