首页 文章 精选 留言 我的

精选列表

搜索[hbase],共3640篇文章
优秀的个人博客,低调大师

Atlas(元数据管理)从扫盲到和Hive、HBase、Kafka、Flink等集成开发

先对数据分个类 企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。(1)交易数据:用于纪录业务事件,如客户的订单,投诉记录,客服申请等,它往往用于描述在某一个时间点上业务系统发生的行为。(2)主数据:主数据则定义企业核心业务对象,如客户、产品、地址等,与交易流水信息不同,主数据一旦被记录到数据库中,需要经常对其进行维护,从而确保其时效性和准确性;主数据还包括关系数据,用以描述主数据之间的关系,如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。(3)元数据:即关于数据的数据,用以描述数据及其环境的结构化信息,便于查找、理解、使用和管理数据。 什么是元数据管理 我们前面讲解的技术和平台都在解决主数据和交易数据的采集、加工、存储、计算等问题。但面对海量且持续增加的各式各样的数据时,你一定想知道数据从哪里来以及它如何随时间而变化?采用Hadoop必须考虑数据管理的实际情况,元数据与数据治理成为企业级数据湖的重要部分。所谓元数据管理其实通俗来讲就两点:(1)把各个组件(一般是存储)的元数据收集起来统一管控(2)利用这些收集的元数据去实现各种上层应用以满足各种数据治理场景(数组资产目录、数据分类、搜索与血缘等等) Atlas是什么 Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。可以帮助企业构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能。Atlas不尽致力于管理共享元数据、数据分级、审计、安全性以及数据保护等方面,同时努力与Apache Ranger整合,用于数据权限控制策略。Apache Atlas是hadoop的数据治理和元数据框架,它提供了一个可伸缩和可扩展的核心基础数据治理服务集,使得 企业可以有效的和高效的满足Hadoop中的合规性要求,并允许与整个企业的数据生态系统集成。 Atlas架构与原理 Atlas 是一个可伸缩且功能丰富的数据管理系统,深度集成了 Hadoop 大数据组件。简单理解就是一个跟 Hadoop 关系紧密的,可以用来做元数据管理的一个系统,整个结构 图如下所示: Atlas核心功能分层及说明 集成Hive 集成原理 验证Hive元数据采集效果 (1)先查看Atlas里是否有Hive元数据(2)进入Hive创建一个库表create database if not exists foo;(3)再次进入Atlas查看元数据 历史元数据处理 在上线Atlas之前Hive可能运行很久了,所以历史上的元数据无法触发hook,因此需要一个工具来做初始化导入。Apache Atlas提供了一个命令行脚本 import-hive.sh ,用于将Apache Hive数据库和表的元数据导入Apache Atlas。该脚本可用于使用Apache Hive中的数据库/表初始化Apache Atlas。此脚本支持导入特定表的元数据,特定数据库中的表或所有数据库和表。导入工具调用的是对应的Bridge:org.apache.atlas.hive.bridge.HiveMetaStoreBridge执行导入脚本任意找一台安装过Atlas client的节点,执行如下命令:注意:一定要进入atlas用户,因为Atlas的Linux管理账户是atlas,其他账户下可能会报没有权限的错误。脚本执行过程中会要求输入Atlas的管理员账号/密码(admin/admin%123),看到如下信息就成功了: 查看元数据

优秀的个人博客,低调大师

NoSQL四种——kv存储(memcache,Riak),列存储(Cassandra,Hbase),文档类(mongoDB,CouchDB)...

见:https://software.intel.com/sites/default/files/Configuration_and_Deployment_Guide_for_Cassandra_on_IA.pdf NoSQL databases can be classified into four categories:Key-Value StoreThis is the most basic data model, where the data is storedas key-value pairs. Columnar Store:Similar to key-value store, data is stored as key-value pairs.However, each entry (referenced by a key) contains one or more key-valuepairs instead of a value. A columnar store is essentially a two dimensionalarray (Tezer, 2014a).Document-Oriented DatabaseThe fundamental concept is thedocument,which is a group of data with internal structure that can be defined arbitrarily. A document is referenced by a key and this allows documents to nestinside one another. Unlike in relational databases, the internal structure ofa document does not need to be predefined and can be changed anytime.While this makes storing data with complex or even ever-changing structure much easier, it also poses a challenge for querying as the complexitygrows. Graph Database:This uses graph structures to store data and thus, is mostsuitable for heavily linked data that can be best represented in graphs。 见:http://edoc.sub.uni-hamburg.de/haw/volltexte/2016/3578/pdf/Thesis.pdf 里面介绍了如何去实现一个高性能的kv数据库,嵌入式的,参考了levelDB和LMDB等。 本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/6322489.html ,如需转载请自行联系原作者

优秀的个人博客,低调大师

配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库

一.Hadoop支持Snappy 1.重新编译Hadoop 2.7.2源代码,使其支持Snappy解压压缩库 http://blog.itpub.net/30089851/viewspace-2120631/ 2.查看libsnappy.so.1.2.0 [root@sht-sgmhadoopnn-01 ~]# ll $HADOOP_HOME/lib/native/ total 4880 -rw-r--r-- 1 root root 1211196 Jun 21 19:11 libhadoop.a -rw-r--r-- 1 root root 1485756 Jun 21 19:12 libhadooppipes.a lrwxrwxrwx 1 root root 18 Jun 21 19:45 libhadoop.so -> libhadoop.so.1.0.0 -rwxr-xr-x 1 root root 717060 Jun 21 19:11 libhadoop.so.1.0.0 -rw-r--r-- 1 root root 582128 Jun 21 19:12 libhadooputils.a -rw-r--r-- 1 root root 365052 Jun 21 19:11 libhdfs.a lrwxrwxrwx 1 root root 16 Jun 21 19:45 libhdfs.so -> libhdfs.so.0.0.0 -rwxr-xr-x 1 root root 229289 Jun 21 19:11 libhdfs.so.0.0.0 -rw-r--r-- 1 root root 233538 Jun 21 19:11 libsnappy.a -rwxr-xr-x 1 root root 953 Jun 21 19:11 libsnappy.la lrwxrwxrwx 1 root root 18 Jun 21 19:45 libsnappy.so -> libsnappy.so.1.2.0 lrwxrwxrwx 1 root root 18 Jun 21 19:45 libsnappy.so.1 -> libsnappy.so.1.2.0 -rwxr-xr-x 1 root root 147726 Jun 21 19:11 libsnappy.so.1.2.0 [root@sht-sgmhadoopnn-01 ~]# ###假如集群已经安装好 3.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh,添加 export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native" ############会解决Warn:” Unable to load native-hadoop library”################################################ [root@sht-sgmhadoopnn-01 ~]# hadoop fs -ls / 16/06/21 15:08:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ################################################################################################## 4.修改$HADOOP_HOME/etc/hadoop/core-site.xml 点击(此处)折叠或打开 <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec </value> </property> 5.修改 $HADOOP_HOME/etc/hadoop/mapred-site.xml 中有关压缩属性,测试snappy 点击(此处)折叠或打开 <property> <name>mapreduce.map.output.compress</name> <value>true</value> </property> <property> <name>mapreduce.map.output.compress.codec</name> <value>org.apache.hadoop.io.compress.SnappyCodec</value> </property> 6.新增$HADOOP_HOME/etc/hadoop/yarn-site.xml(是否启用日志聚集功能、yarn日志服务的地址、配置yarn的memory和cpu) 点击(此处)折叠或打开 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log.server.url</name> <value>http://sht-sgmhadoopnn-01:19888/jobhistory/logs</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>10240</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1500</value> <discription>单个任务可申请最少内存,默认1024MB</discription> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>2500</value> <discription>单个任务可申请最大内存,默认8192MB</discription> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>2</value> </property> 7.将hadoop-env.sh, core-site.xml, mapred-site.xml,yarn-site.xml 同步到集群其他节点 8.重启Hadoop集群 9.验证1: hadoop checknative [root@sht-sgmhadoopnn-01 ~]# hadoop checknative 16/06/25 12:58:13 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version 16/06/25 12:58:13 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library Native library checking: hadoop: true /hadoop/hadoop-2.7.2/lib/native/libhadoop.so.1.0.0 zlib: true /usr/local/lib/libz.so.1 snappy: true /hadoop/hadoop-2.7.2/lib/native/libsnappy.so.1 lz4: true revision:99 bzip2: false openssl: true /usr/lib64/libcrypto.so [root@sht-sgmhadoopnn-01 ~]# ####支持本地native,支持snappy 10.验证2 [root@sht-sgmhadoopnn-01 ~]# vi test.log a c d c d d d a 1 2 a [root@sht-sgmhadoopnn-01 ~]# hadoop fs -mkdir /input [root@sht-sgmhadoopnn-01 ~]#hadoop fs -put test.log /input/ [root@sht-sgmhadoopnn-01 ~]#hadoop jar /hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output1 为了验证是否成功,往 >>> > >

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码