首页 文章 精选 留言 我的

精选列表

搜索[阿里云],共10008篇文章
优秀的个人博客,低调大师

Maxcompute Spark 访问 阿里云 Hbase

引子 本来这个东西是没啥好写的,但是在帮客户解决问题的时候,发现链路太长,不能怪客户弄不出来,记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新,本文不是文档) Spark 配置 spark.hadoop.odps.project.name = <安全信息> spark.hadoop.odps.access.id = <安全信息> spark.hadoop.odps.access.key = <安全信息> spark.executor.instances = 2 spark.executor.cores = 2 spark.executor.memory = 4g spark.driver.cores = 2 spark.driver.memory = 4g spark.master = yarn-cluster spark.hadoop.odps.task.major.version = cupid_v2 spark.sql.catalogImplementation=odps spark.hadoop.odps.cupid.container.image.enable = true spark.hadoop.odps.cupid.container.vm.engine.type = hyper spark.hadoop.odps.end.point = http://service.cn.maxcompute.aliyun.com/api spark.hadoop.odps.runtime.end.point = http://service.cn.maxcompute.aliyun-inc.com/api spark.sql.catalogImplementation = odps spark.hadoop.odps.cupid.vpc.domain.list = 参考文档 https://github.com/aliyun/MaxCompute-Spark/wiki/09.-VPC-Access%E6%96%87%E6%A1%A3%E8%AF%B4%E6%98%8E spark.hadoop.odps.cupid.smartnat.enable = 参考文档 https://github.com/aliyun/MaxCompute-Spark/wiki/09.-VPC-Access%E6%96%87%E6%A1%A3%E8%AF%B4%E6%98%8E Spark样例工程模版 hbase控制台的vpc id zk endpoint都是需要的信息 白名单添加 100.0.0.0/8 这样可以让maxcompute机器访问 hbase服务 最好下载hbase shell 来校验测试是否成功 执行步骤 测试代码路径 ~/spark-2.x/src/main/scala/com/aliyun/odps/spark/examples/SparkPi.scala 解压样例工程 mvn clean package 记得改掉SparkPi文件里的 zkAddress 之后才测试 如果表没有创建,需要用代码里面注释掉的创建表代码先创建表 执行命令 bin/spark-submit --master yarn-cluster --properties-file ~/SparkConf/spark-defaults.conf --class com.aliyun.odps.spark.examples.SparkPi ~/Code/github/mc-spark-examples/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar --master local表示本地执行 zkAddress用的是hbase外网地址,如果是--master yarn-cluster则表示提交到集群执行,用的是专用网络地址 下载了hbase-shell之后,本地更改 conf/hbase-site.xml 并且记得把本地的公网ip加到hbase白名单里,不然也访问不了 <configuration> <property> <name>hbase.zookeeper.quorum</name> <value>这里填外网地址</value> </property> </configuration> hbase命令 bin/hbase shell list scan 'test' 如果hbase shell里能够看到你写入的记录,就差不多了同时需要关注的是,alihbase不能直接用社区的hbase client包访问,详细看样例工程还有他们的文档 https://help.aliyun.com/document_detail/166161.html?spm=a2c4g.11174283.6.833.1ec9363feo117z 本文档纯粹是自我记录 不是帮助文档

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册