首页 文章 精选 留言 我的

精选列表

搜索[阿里达摩院Paraformer],共10000篇文章
优秀的个人博客,低调大师

Maxcompute Spark 访问 阿里云 Hbase

引子 本来这个东西是没啥好写的,但是在帮客户解决问题的时候,发现链路太长,不能怪客户弄不出来,记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新,本文不是文档) Spark 配置 spark.hadoop.odps.project.name = <安全信息> spark.hadoop.odps.access.id = <安全信息> spark.hadoop.odps.access.key = <安全信息> spark.executor.instances = 2 spark.executor.cores = 2 spark.executor.memory = 4g spark.driver.cores = 2 spark.driver.memory = 4g spark.master = yarn-cluster spark.hadoop.odps.task.major.version = cupid_v2 spark.sql.catalogImplementation=odps spark.hadoop.odps.cupid.container.image.enable = true spark.hadoop.odps.cupid.container.vm.engine.type = hyper spark.hadoop.odps.end.point = http://service.cn.maxcompute.aliyun.com/api spark.hadoop.odps.runtime.end.point = http://service.cn.maxcompute.aliyun-inc.com/api spark.sql.catalogImplementation = odps spark.hadoop.odps.cupid.vpc.domain.list = 参考文档 https://github.com/aliyun/MaxCompute-Spark/wiki/09.-VPC-Access%E6%96%87%E6%A1%A3%E8%AF%B4%E6%98%8E spark.hadoop.odps.cupid.smartnat.enable = 参考文档 https://github.com/aliyun/MaxCompute-Spark/wiki/09.-VPC-Access%E6%96%87%E6%A1%A3%E8%AF%B4%E6%98%8E Spark样例工程模版 hbase控制台的vpc id zk endpoint都是需要的信息 白名单添加 100.0.0.0/8 这样可以让maxcompute机器访问 hbase服务 最好下载hbase shell 来校验测试是否成功 执行步骤 测试代码路径 ~/spark-2.x/src/main/scala/com/aliyun/odps/spark/examples/SparkPi.scala 解压样例工程 mvn clean package 记得改掉SparkPi文件里的 zkAddress 之后才测试 如果表没有创建,需要用代码里面注释掉的创建表代码先创建表 执行命令 bin/spark-submit --master yarn-cluster --properties-file ~/SparkConf/spark-defaults.conf --class com.aliyun.odps.spark.examples.SparkPi ~/Code/github/mc-spark-examples/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar --master local表示本地执行 zkAddress用的是hbase外网地址,如果是--master yarn-cluster则表示提交到集群执行,用的是专用网络地址 下载了hbase-shell之后,本地更改 conf/hbase-site.xml 并且记得把本地的公网ip加到hbase白名单里,不然也访问不了 <configuration> <property> <name>hbase.zookeeper.quorum</name> <value>这里填外网地址</value> </property> </configuration> hbase命令 bin/hbase shell list scan 'test' 如果hbase shell里能够看到你写入的记录,就差不多了同时需要关注的是,alihbase不能直接用社区的hbase client包访问,详细看样例工程还有他们的文档 https://help.aliyun.com/document_detail/166161.html?spm=a2c4g.11174283.6.833.1ec9363feo117z 本文档纯粹是自我记录 不是帮助文档

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册