HBase+Spark技术双周刊第二期-低调大师

HBase+Spark技术双周刊第二期

2018-12-09 501

精彩直播

HBase生态+Spark社区钉钉大群直播往期回顾——视频回看及PPT下载

Phoenix = HBase+SQL:让HBase插上了翅膀
在本期分享中，阿里多模型数据库专家张赟将为大家分享Phoenix 基本介绍及二级索引。
HBase备份恢复
在本期分享中，阿里多模型数据库专家玄陵将为大家介绍阿里云HBase 备份恢复的设计背景、原理、实现以及与业内大数据数据库的备份恢复机制的异同。

线下活动

阿里云栖开发者沙龙-数据库技术专场（最全资料下载）
阿里云栖开发者沙龙希望通过技术干货分享来打通线上线下专家和开发者的连接。沙龙每期将定位不同的技术方向，逐步覆盖云计算，大数据，前端，PHP，android，AI，运维，测试等技术领域，并会穿插一些特别专场（开源专场，女性开发者专场，开发者成长专场等）。

优质博文

HBase在新能源汽车监控系统中的应用
本文介绍的是重庆博尼施科技有限公司如何使用阿里云HBase来实现新能源车辆监控系统。该系统主要用于东风轻卡等新能源商用车监控服务，目前该系统正在阿里云线上稳定运行。本文中主要介绍了为何选用阿里云HBase、系统架构设计以及设计难点。

HBase在审计行业的应用
在技术快速发展的今天，各行各业的数据量不断增加。审计行业也发生了翻天覆地的变化，身处其中的毕马威，如何利用HBase提高对客户的服务，让客户的满意度有所提升。本文将从以下选择HBase的原因、实例剖析以及总结与展望来分析。

阿里云HBase全新发布X-Pack NoSQL数据库再上新台阶
阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用，从最初的淘宝历史交易记录，到蚂蚁安全风控数据存储。持续8年的投入，历经8年双11锻炼。4个PMC，6个committer，造就了国内最大最专业的HBase技术团队，其中HBase内核中超过200+重要的feature是阿里贡献。集团内部超过万台的规模，单集群超过千台，全球领先。如今，HBase技术团队重磅发布X-Pack，NoSQL数据库再上新台阶。

技术社群

【HBase生态+Spark社区大群】
群福利：群内每周进行群直播技术分享及问答
加入方式1：点击link申请加入
加入方式2：钉钉扫码加入

微信关注我们

原文链接：https://yq.aliyun.com/articles/675916

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark HadoopRDD读取HDFS文件

Spark HadoopRDD读取HDFS文件更多资源 SPARK 源码分析技术分享(bilibilid视频汇总套装视频): https://www.bilibili.com/video/av37442139/ github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog.csdn.net/thinktothings/article/details/84726769 bilibili 视频说明 Spark HadoopRDD读取HDFS文件(bilibili视频) : https://www.bilibili.com/video/av37442139/?p=28 前置条件 Hadoop版本: Hadoop 2.6.0-cdh5.15.0 Spark版本: SPARK 1.6.0-cdh5.15.0 概述源码分析Spark HadoopRDD是如何读取HDFS上的文件分析HadoopRDD预分区的计算方式，非首个分区的开始位置计算来三种情况分析，不同情部下Hadoo...

2018-12-09

498

主程序代码如下: import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //todo:利用scala语言开发spark的wordcount程序（本地运行） object WordCount { def main(args: Array[String]): Unit = { //1、创建SparkConf对象设置applicationName和master地址 local[2]表示本地采用2个线程 val sparkConf: SparkConf = new SparkConf().setAppName("WordCount").setMaster("local[2]") //2、创建SparkContext对象,它是所有spark程序执行入口，它内部会构建DAGScheduler和TaskScheduler val sc = new SparkContext(sparkConf) //设置日志输出级别 sc.setLogLevel("warn") //3、读取文件数据 val...

2018-12-10

483

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。