大数据概念

　　大数据只是一个名词，并不是数据量大就一定是大数据，假设单机器处理能力10G，那么大于10G就是大数据。网友heguangwu认为，大数据的核心是Value，哪怕用excel分析也可以。当前的趋势是数据存储和分析代价越来越小，所以能保存的数据的广度和分析的深度都在扩大。以前出于成本考虑，不在保存分析范围内的数据，现在也开始作为一个参考的维度了。对企业而言，如何从更多的数据集分析出更有价值的东西才是他们所关心，即使是小企业有的也开始考虑(做大数据方面的投入)。

　　网友chenxing2从事SQL相关工作，其公司不久前做了一个ERP，增加功能包括贡献度、销售构成、ABC分析、冻销分析、商品趋势、销售速度、业绩趋势等等，而在客户使用他们研发的这套软件之前，一直使用excel做分析。那么他们现在做的这些是否也算是大数据处理?chenxing2表示：“个人认为，怎么得用个聚类、推荐、语言识别、特征识别、朴素贝叶斯算法与交叉验证等之类的才够档次。现在大数据的一些开发方式及开源框架，就目前很多公司的那点数据量根本用不上，现在单库解决了，数据量再大，可以后期分表分库、读写分离解决。当数据量再大时，才考虑大数据的框架。所以，现在用了也是大炮打蚊子，起不到作用，搞不好还不如传统手段来的高效。目前能用上个nosql数据库感觉都是超前一点的了。”

　　对于chenxing2的看法，网友heguangwu解释道：“表面上看，企业所用的传统方式已经很好的解决问题，但公司数据终究会越来越多，而且要求分析结果会越来越快，到最后慢慢会应用到大数据的一些技术。现在即使很多大公司也不是马上全盘采用当前的所有大数据技术，也是一个逐步替代和使用的过程。”

　　其实，数据一直存在且量未必小，只不过以前缺乏挖掘数据和将其产生联系的思维，以及分析数据的能力。在信息爆炸时代中，随着技术和硬件设备的增强，海量数据的价值被有意识的挖掘，大数据概念也慢慢被认可，明确“数据资源也是资产”这个观点。

　　并不是所有的数据都具备挖掘价值，数据有足够细的颗粒度、丰富的维度、活性以及相互关联，只有这样的大数据，才是可以对各种行为进行数字化描述，从而归纳出信息的。除了数据，技术也是大数据挖掘必不可少的一环，当数据规模达到甚至远超PB级别，当数据开始位于不同数据库，甚至不同平台上，当数据以各种不同的形式出现，如何寻找有用的信息?这一切都引发了如今“面向大数据”的技术变革。而这以上的内容均是为了最终的商用做准备。

　　大数据处理相关技术

　　大数据技术种类繁多，近年诞生的新技术也有不少，SIGMOD、VLDB、Hadoop submit、spark submit等等，那么，网友们是如何看待大数据技术的呢?

　　网友chenxing2说道：“关于大数据分析，从最开始的Hadoop及Hadoop的map reduce的问题发展到Spark、Samza、Apache S4、storm等大行其道，而后storm的一些问题又衍生出了JStorm和Twiter Heron。ES(ElasticSearch是基于Lucene的搜索服务器，提供一个分布式多用户能力的全文搜索引擎)虽然能够与Hadoop结合使用，但一般推荐solr + haddop结合。”

　　网友laputa73从自身应用经验中总结得到，voltdb的社区版只能玩玩，持久化，集群，HA特性都没有。influxdb还不成熟，集群方案尚不可用。

　　网友heguangwu说：“时序数据库方面开源方案不多，OpenTSDB也只是在HBase上套一个schema来做的，性能只能说是一般了。这方面感觉开源的关注度不够，无太多的产品。”

　　实际应用案例

　　网友laputa73讲述了其在应对自身大数据处理的两种需求时所遇到的困难：“我们的需求一类以插入为主，例如每天500G的日志分析和查询，目前使用ES处理，把它当TSDB用。遇到关于ES部署使用相关的问题，参数调整，索引规划等，但感觉ES的写入性能没有想象中高。ES做一个大集群，和分开几个集群，写入性能是否有不同?另一类需求以更新为主，每天1亿次更新，但总记录数在500w左右，这项工作以前用Oracle，后来换成了Redis，可感觉不太好用。Redis的主要问题是它是一个KV型的而非文档型，不能使用主键之外的查询，这就需要自己维护多个表，这样相当于降低了性能。”

　　网友heguangwu表示，对于第一类需求，ES在这种数据量下应该是没有问题的，ES在内存中维护了一个反转索引表，所以能保证速度，相当于数据库的内存索引。对于第二类需求，替代方案可以尝试HBase(性能最低)/Cassandra/巨杉(性能应该最高)之类的解决方案，插入速度应该可以，查询就要取决于具体的查询方式了。Redis确实只支持主键查询，这类可以试试voltdb，或许能满足你的需求，其也是内存数据库性能高，但好像只能用存储过程。内存数据库这块大多是商用方案比较多，开源的大多是KV型存储，而不是数据库。

　　目前大数据处理厂商基本能够分为三类。首先是具有收集大量数据的能力的公司，其次是具备数据分析技能的公司，最后是基于思维的，对数据挖掘新价值有想法的公司。我们现在处于一个数据过量而技能稀缺的时代，资讯的价值就是资讯本身而不是资讯的来源，而大数据最值钱的部分就是它自身。即便我们处理数据量不是很大，也并不妨碍我们去更多的去关注数据本身的价值。以上观点均出自IT168旗下chinaunix论坛的一则讨论帖中，网友们分享了自己对大数据方面的认知及处理经验。小编将话题内容筛选整理成文。还对大数据概念和技术等云里雾里的小伙伴们，不妨一看。

作者: 崔月

来源：IT168

原文链接:大数据概念潮来势凶猛 你被忽悠了吗？