利用EMR Hive关联云HBase-低调大师

利用EMR Hive关联云HBase

2018-10-13 795

云HBase需要借助外部Hive对多表进行关联分析，后续云HBase将集成Spark，更加建议使用Spark分析HBase数据。本文简单介绍下如何利用EMR的Hive关联云HBase的表。

1. 环境准备

购买按量计费的EMR集群，配置依据实际场景确定，注意要和EMR处在同一VPC下，建议不需开启高可用。
由于云HBASE的HDFS端口默认是不开的，需要联系工作人员开通。
将EMR所有节点的IP加入到云HBase白名单
获取云HBase的zookeeper访问地址，可在云HBase控制台查看。

2. 修改配置

进入hive配置目录/etc/ecm/hive-conf/
修改hbase-site.xml，将hbase.zookeeper.quorum修改为云HBase的zookeeper访问连接
```
      <property>
    
```

微信关注我们

原文链接：https://yq.aliyun.com/articles/652464

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxComputer-Pyodps之使用pyodps实现sql的循环

用过MaxComputer的同学，都知道MaxComputer SQL只支持常用DDLDML语句，不支持存储过程的开发，但我们常常为解决业务逻辑的时候需要使用循环或递归，那这个在MaxComputer里面该怎么实现呢？常用的方式应该是脚本内嵌SQL，本文介绍的便是使用python内嵌SQL的方法实现这一过程。使用这一方法主要考虑到以下两点： MaxComputer 是支持Python SDK，PyODPS便是MaxCompute的Python版本的SDK，它提供了对MaxCompute对象的基本操作和DataFrame框架。用户不需要手动定义ODPS入口。DataWorks的PyODPS节点中，将会包含一个全局的变量 odps或o，即ODPS入口。 print(o.exist_table('pyodps_iris')) --官方示例场景描述某公司产品经理需要根据客户的征信情况分析客户的风险属性，但是第三方提供的接口（exo_cust_credit_record）里面的查询结果（searchresult）是JSON字符串，产品经理无法根据这种数据分析客户的风险属性，需要将JSON...

2018-10-12

929

作者: 张皓 G7业务快览 G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。整个数据是通过车载的传感器设备采集，比如公司的Smart盒子，CTBox盒子，油感设备，温度探头等，将车辆数据上报到后端平台，在后端平台计算和处理，最后展示到用户面前。 G7的业务场景是典型的IoT场景：传感器数据数据种类多数据质量差数据低延迟数据量大其中，数据质量差的原因是整个链条会非常的长，从传感器采集的车辆的数据，通过网络运营商将数据上报到后端服务器，再经过解析，mq，过滤，调用三方接口，业务处理，入库，整个过程非常的长，造成数据在传输过程中出现数据重复，数据缺失等。另外一点，IoT场景需要数据传输的延迟非常低，比如进出区域报警，当车辆进入到某个电子围

2018-10-14

635

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。