论各类BI工具的“大数据”特性-低调大师

论各类BI工具的“大数据”特性

2017-08-08 467

市面上的BI工具形形色色，功能性能包装得十分亮丽，但实际应用中我们往往更关注的是朴实的技术特性和解决方案。对于大数据，未来的应用趋势不可抵挡，很多企业也正存在大数据分析处理展现的需求，以下我们列举市面上主流的三款BI系统，就“大数据”特性展开探讨，主要是与hadoop、Spark、多维分析数据库的对接和性能。

Tableau 的大数据策略

1、目前，Tableau适用的大数据生态系统连接包括：

Hadoop：Cloudera Impala 和 Hive、Hortonworks Hive、MapR Hive、支持 Impala 和 Hive 的Amazon EMR、Pivotal HAWQ、IBM BigInsights

NoSQL：MarkLogic、Datastax

Spark：Apache Spark SQL

多维分析数据库： Teradata Aster、HP Vertica、SAP Hana、SAP Sybase、Pivotal Greenplum

大数据

2、Tableau 可实时连接到数据源，或将其调入内存。在快速交互式查询分析时，实时连接作用很大。但由于内存式分析，对硬件要求较高，数据量较大时效率会比较低。

3、面向业务用户的大数据自助式可视化。业务用户可使用拖放操作可视化其数据，而无需编写复杂的SQL、Java代码或 MapReduce作业。Tableau简化了分析数据的任务，用户可比以前更快地从数据中发现形象可见的见解。

FineBI 的双套大数据方案

1、 FineBI 支持的大数据生态系统连接包括

大数据平台：Vertica、GreenPlum、Apache Kylin、Impala/hive、hive、星环，

NO SQL数据库：MongoDB

多维分析数据库：Teradata、SAP Hana、Greenplum、SAP Sybase、Essbase、SSAS

2、FineBI支持FineIndex和FineDirect两种数据连接和处理模式，应对的是不同的数据方案。

FineDirect应对的是一些需要实施展现结果，比如银行交易风险的流水分析，直接对接hadoop，kylin，greenplum等大数据平台。

FineIndex采用cube连，也就是说数据库-FineIndex-前端分析，FineIndex相当于一个中间库的形式，用来存储数据表，关联转义索引等。这些都对后续前台分析处理数据效率有很大的提升(因为直接sql取数，效率受数据库本身的限制，数据量大时，一般分析工具很容易就卡死升职内存溢出导致系统无响应)

3、用于执行跨数据源分析的数据混合。FineBI可以将大数据和其他数据源(如MySQL、Excel 文件等)混合，让用户能够跨越各种数据源存取数据，并整合到一个库内(FineIndex)。

　　Qlikview

1、Qlikview也是基于内存的BI，能实时响应用户的分析需求，与Tableau相似，性能大多决定于数据库。能直接从用户的业务系统中采集数据并进行多维分析，剔除了传统BI基于数据仓库(集市)才能实施的弊病。(作者从网上和其资料库中并没有查到太多关于大数据方面的阐述，官方也并没有这方面的可以宣传)。

2、QlikView的核心是一个获得专利的AQL构架。在分析时不需要传统OLAP立方体，也不一定要使用数据库，完全利用了基础硬件平台，来对上亿的数据进行业务分析。QlikView应用使各种各样的终端用户以一个高度可视化，功能强大和创造性的方式，互动分析重要业务信息。

本文转自d1net（转载）

微信关注我们

原文链接：https://yq.aliyun.com/articles/172470

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据和物联网项目带来了独特的存储需求

随着物联网和大数据的应用与发展，企业中的数据量每天都在增加，因此需要了解如何满足这些新的IT计划的存储需求。从冰箱到汽车，物联网涉及几乎所有配置传感器的所有设备，并通过互联网连接将数据传输到中央存储库进行存储。一旦存在，它就成为大数据的一部分，这是对所有信息的分析。然而，大数据的应用远远超出了物联网(IoT)。大数据项目可以分析来自传统或现代数据库甚至非结构化数据的数据。大数据还可以将传感器收集的看似无关的信息与传统数据库中的信息相关联，以提高组织效率。例如，交通运输公司可以在其车辆中使用传感器来引导驾驶员选择提高运输效率和降低燃料成本的路线。采用大数据或物联网项目的好处可以提高生产力，更好的健康或更加愉快的生活。随着用户对这一概念越来越适应，这些技术允许安装越来越少的设备，数据组织的收集量呈指数增长。人们面临的挑战是如何存储这种数据，因为其在类型和数量上与传统存储数据明显不同。存储需要一个大数据和物联网项目从存储的角度来看，物联网和大数据是相似的，但他们有不同的需求。物联网项目的存储响应取决于用例。对于传感器，物联网存储系统需要同时处理来自数百万个传感器的快速输入。因为这些...

2017-08-09

509

本文目的最近使用spark处理较大的数据时，遇到了分区2G限制的问题(ken)。找到了解决方法，并且在网上收集了一些资料，记录在这里，作为备忘。问题现象遇到这个问题时，spark日志会报如下的日志，片段1 15/04/16 14:13:03 WARN scheduler.TaskSetManager: Lost task 19.0 in stage 6.0 (TID 120, 10.215.149.47): java.lang.IllegalArgumentException:Size exceeds Integer.MAX_VALUE at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:828) at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:123) at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:132) at org.apache.spark.stora...

2017-08-09

722

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。