Infobright 小结-低调大师

Infobright 小结

2017-11-25 580

Infobright的基本特征：

　　优点：

　　查询性能高：百万、千万、亿级记录数条件下，同等的SELECT查询语句，速度比MyISAM、InnoDB等普通的MySQL存储引擎快5～60倍

　　存储数据量大：TB级数据大小，几十亿条记录

　　高压缩比：在我们的项目中为18:1，极大地节省了数据存储空间

　　基于列存储：无需建索引，无需分区

　　适合复杂的分析性SQL查询：SUM, COUNT, AVG, GROUP BY

支持事务（但不支持 savepoint）

　　限制：

　　不支持数据更新：社区版Infobright只能使用“LOAD DATA INFILE”的方式导入数据，不支持INSERT、UPDATE、DELETE

　　不支持高并发：只能支持10多个并发查询；

ICE版本不对于infobright引擎不能使用主从结构；

Infobright 和 MySQL

Server层采用MySQL，存储引擎层采用Infobright，由于是列式存储引擎，Infobright 不能作为MySQL的插件存在，MySQL 也不能使用 infobright的 Knowledge Grid特性；仍可使用 MyISAM 和 CSV MEMORY 存储引擎；

整体架构图：

MySQL 与 infobright 各自分工：

MySQL： connect，tools，resources；验证；服务管理，各种集成工具

Infobright： load 、compress data；列式存储引擎， Knowledge Grid 元数据统计信息；

优化/执行

对于ICE版本，如果想要使用Innodb 这样的引擎的话，最后借助federated 远程连接存储引擎；

架构分析：

Infobright通过三层来组织数据，分别是DP(Data Pack)、DPN（Data Pack Node）、KN（Knowledge Node）。而在这三层之上就是无比强大的知识网络（Knowledge Grid）。

数据块（DP）是存储的最低层，列中每64K个单元组成一个DP。DP比列更小，具有更好的压缩比率；又比单个数据单元更大，具有更好的查询性能。

数据块节点（DPN），DPN和DP之间是一对一的关系。DPN记录着每一个DP里面存储和压缩的一些统计数据，包括最大值、最小值、null的个数、单元总数count、sum等等。

KN里面存储着指向DP之间或者列之间关系的一些元数据集合，比如值发生的范围（MIin_Max）、列数据之间的关联。大部分的KN数据是装载数据的时候产生的，另外一些事是查询的时候产生。

Knowledge Grid构架是Infobright高性能的重要原因。

Knowledge Grid可分为四部分，DPN、Histogram、CMAP、Pack/Pack

Histogram用来提高数字类型（比如date，time，decimal）的查询的性能。是装载数据的时候就产生的;

DPN中有mix、max，Histogram中把Min-Max分成1024段，如果Mix_Max范围小于1024的话，每一段就是就是一个单独的值。

Histogram的作用就是快速判断当前DP是否满足查询条件。

CMAP是针对于文本类型的查询，也是装载数据的时候就产生的。用数值记录某个字符串是否出现；0表示没有出现，1表示出现过。查询中文本的比较归根究底还是按照字节进行比较，所以根据CMAP能够很好地提高文本查询的性能。

Pack-To-Pack是Join操作的时候产生的，它是表示join的两个DP中操作的两个列之间关系的位图，也就是二进制表示的矩阵。

Brighthouse.ini 内存推荐配置：

注意：infobright 可使用bhload 导入数据；

从infobright导出含有null的数据的时候，不会显示，所以在导入到其他MySQL时候，会造成 column不对应；

压缩比率指的是数据库中的原始数据大小/压缩后的数据大小，而不是文本文件的物理数据大小/压缩后的数据大小。

查询优化部分：

对于字符串列的属性添加Comment Lookup可以减少存储空间，提高压缩率，采用comment lookup可以提高查询效率。Comment Lookup实现机制很像位图索引，实现上利用简短的数值类型替代char字段已取得更好的查询性能和压缩比率；CommentLookup 一般要求数据类别的总数小于10000并且当前列的单元数量/类别数量大于10。Comment Lookup比较适合年龄，性别，省份这一类型的字段；

尽量不适用or，可以采用in或者union取而代之；

尽量使用独立的子查询和join操作代替非独立的子查询；

不在where里面使用MySQL函数和类型转换符；

尽量避免会使用MySQL优化器的查询操作；

避免使用跨越Infobright表和MySQL表的查询操作；

select里面尽量剔除不要的字段。

本文转自位鹏飞 51CTO博客，原文链接：http://blog.51cto.com/weipengfei/1255762，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/455937

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

IT行业那些你不想听到的话，我都听过了

中国有这样一句俗语：『宁为太平狗，不为乱世人』。在我的长期职业生涯中，我已听到了太多『有趣』的事情，下面就是那些难以忘记的。 1. 你的CIO说『不会裁员』，两周后裁掉了一半的职工。随后，CIO 也将剩下的员工以『团队建设』的名义用船拉到佛里达州，很快把他们解雇了。如果 CIO 说不会有裁员时，开始准备找新工作吧。 2. 你的经理谈论一个八个月没有check in代码的同事，说『他在把代码弄完美之前，从不check in代码』。我在那里待了两个月，我在做前端方面的事，需要用后端代码的时候，程序员仍在和经理讨论着。我在代码库中没看到任何东西。三个月后我离开了。一年后他们都被解雇了。直到今天，我仍肯定他只有一个小合同，也没有为公司做任何事。 3. 你的CEO每天都来开发部，并且说『我有了一个新想法（新点子）』。这很糟糕，因为他每天来，意味着我们啥事也做不了了。并且这个新想法是与前一天的想法完全不同，更别说有什么改进了。 4. 你的经理找到你说『我有一个新的团队成员，需要一周支付给他40个小时的工资。虽然他不会写代码，但我相信顾客看不出来的』。在互联网时代，可以随便在大街上人给那...

2017-11-26

481

说道管理系统，范围有点大啦，个人在业余时间在开源软件基础上做了一个MySQL管理系统；对于游戏行业来说，合服，开新服，批量查询，批量修改涉及到很多；没有人给自己写前端页面，只能依赖外部资源啦，（DBA写后端程序，算是一个小挑战吧）先介绍一下这个开源软件osadmin，进行二次开发（程序架构很简单，Html5+Smarty+Medoo+Bootstrap+bootbox 目前实现的功能： IP列表的添加：添加功能：其中还有修改删除功能，算是一个小阶段吧，后续会考虑展现源码内容！本文转自位鹏飞 51CTO博客，原文链接：http://blog.51cto.com/weipengfei/1226126，如需转载请自行联系原作者

2017-11-26

651

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。