论各类BI工具的“大数据”特性-低调大师

论各类BI工具的“大数据”特性

2017-08-08 488

市面上的BI工具形形色色，功能性能包装得十分亮丽，但实际应用中我们往往更关注的是朴实的技术特性和解决方案。对于大数据，未来的应用趋势不可抵挡，很多企业也正存在大数据分析处理展现的需求，以下我们列举市面上主流的三款BI系统，就“大数据”特性展开探讨，主要是与hadoop、Spark、多维分析数据库的对接和性能。

Tableau 的大数据策略

1、目前，Tableau适用的大数据生态系统连接包括：

Hadoop：Cloudera Impala 和 Hive、Hortonworks Hive、MapR Hive、支持 Impala 和 Hive 的Amazon EMR、Pivotal HAWQ、IBM BigInsights

NoSQL：MarkLogic、Datastax

Spark：Apache Spark SQL

多维分析数据库： Teradata Aster、HP Vertica、SAP Hana、SAP Sybase、Pivotal Greenplum

大数据

2、Tableau 可实时连接到数据源，或将其调入内存。在快速交互式查询分析时，实时连接作用很大。但由于内存式分析，对硬件要求较高，数据量较大时效率会比较低。

3、面向业务用户的大数据自助式可视化。业务用户可使用拖放操作可视化其数据，而无需编写复杂的SQL、Java代码或 MapReduce作业。Tableau简化了分析数据的任务，用户可比以前更快地从数据中发现形象可见的见解。

FineBI 的双套大数据方案

1、 FineBI 支持的大数据生态系统连接包括

大数据平台：Vertica、GreenPlum、Apache Kylin、Impala/hive、hive、星环，

NO SQL数据库：MongoDB

多维分析数据库：Teradata、SAP Hana、Greenplum、SAP Sybase、Essbase、SSAS

2、FineBI支持FineIndex和FineDirect两种数据连接和处理模式，应对的是不同的数据方案。

FineDirect应对的是一些需要实施展现结果，比如银行交易风险的流水分析，直接对接hadoop，kylin，greenplum等大数据平台。

FineIndex采用cube连，也就是说数据库-FineIndex-前端分析，FineIndex相当于一个中间库的形式，用来存储数据表，关联转义索引等。这些都对后续前台分析处理数据效率有很大的提升(因为直接sql取数，效率受数据库本身的限制，数据量大时，一般分析工具很容易就卡死升职内存溢出导致系统无响应)

3、用于执行跨数据源分析的数据混合。FineBI可以将大数据和其他数据源(如MySQL、Excel 文件等)混合，让用户能够跨越各种数据源存取数据，并整合到一个库内(FineIndex)。

　　Qlikview

1、Qlikview也是基于内存的BI，能实时响应用户的分析需求，与Tableau相似，性能大多决定于数据库。能直接从用户的业务系统中采集数据并进行多维分析，剔除了传统BI基于数据仓库(集市)才能实施的弊病。(作者从网上和其资料库中并没有查到太多关于大数据方面的阐述，官方也并没有这方面的可以宣传)。

2、QlikView的核心是一个获得专利的AQL构架。在分析时不需要传统OLAP立方体，也不一定要使用数据库，完全利用了基础硬件平台，来对上亿的数据进行业务分析。QlikView应用使各种各样的终端用户以一个高度可视化，功能强大和创造性的方式，互动分析重要业务信息。

本文转自d1net（转载）

微信关注我们

原文链接：https://yq.aliyun.com/articles/172470

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据和物联网项目带来了独特的存储需求

随着物联网和大数据的应用与发展，企业中的数据量每天都在增加，因此需要了解如何满足这些新的IT计划的存储需求。从冰箱到汽车，物联网涉及几乎所有配置传感器的所有设备，并通过互联网连接将数据传输到中央存储库进行存储。一旦存在，它就成为大数据的一部分，这是对所有信息的分析。然而，大数据的应用远远超出了物联网(IoT)。大数据项目可以分析来自传统或现代数据库甚至非结构化数据的数据。大数据还可以将传感器收集的看似无关的信息与传统数据库中的信息相关联，以提高组织效率。例如，交通运输公司可以在其车辆中使用传感器来引导驾驶员选择提高运输效率和降低燃料成本的路线。采用大数据或物联网项目的好处可以提高生产力，更好的健康或更加愉快的生活。随着用户对这一概念越来越适应，这些技术允许安装越来越少的设备，数据组织的收集量呈指数增长。人们面临的挑战是如何存储这种数据，因为其在类型和数量上与传统存储数据明显不同。存储需要一个大数据和物联网项目从存储的角度来看，物联网和大数据是相似的，但他们有不同的需求。物联网项目的存储响应取决于用例。对于传感器，物联网存储系统需要同时处理来自数百万个传感器的快速输入。因为这些...

2017-08-09

537

本文目的最近使用spark处理较大的数据时，遇到了分区2G限制的问题(ken)。找到了解决方法，并且在网上收集了一些资料，记录在这里，作为备忘。问题现象遇到这个问题时，spark日志会报如下的日志，片段1 15/04/16 14:13:03 WARN scheduler.TaskSetManager: Lost task 19.0 in stage 6.0 (TID 120, 10.215.149.47): java.lang.IllegalArgumentException:Size exceeds Integer.MAX_VALUE at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:828) at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:123) at org.apache.spark.storage.DiskStore.getBytes(DiskStore.scala:132) at org.apache.spark.stora...

2017-08-09

752

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。