大数据崛起 数据分析平台Splunk为非结构数据而生

　　随着大数据的崛起，语音数据，照片等非结构化数据铺天盖地，传统数据库已经无法应对这种挑战了。 作为大数据领域的翘楚， Splunk 广受业界关注。如果把IT检索比作是探险的话，Splunk无疑是最好的探险工具，在我们不断探索未知的道路上提供了最有效的探测器。 无论是交易、社交网络还是物联网，一部分自传统交换机、服务器应用交易产生的数据，另一部分来自今天为止互联网佩戴手环、手机等机器数据。 大数据中90%的数据属于机器数据，机器数据针对于传统的数据，其价值密度相对于数据库里面的价值密度低一点，它不是每个字段都有用，但包含了一些潜在的实用信息，比如说用户手机的信息，IP地址，下载音乐的时候出错的信息，下载音乐时的IP号，通过IP号我们也可以判断用户下载了什么样的音乐，从而预测用户潜在的行为。

　　Splunk是为非结构数据而生，两年半以前被华尔街的评为大数据里面的谷歌。Splunk中国区销售总监侯海龙表示，过去30年是数据库时代，数据处理的方式是Schema at Write，而未来15年将是以Schema at Read为主的时代，而Splunk特有的搜索方式正好可以满足Schema at Read的要求。

　　通常来讲，基本上SQL能做的东西，搜索语言都可以做。Splunk 是一个数据分析平台，它可以收集来自IT、移动互联网、物联网的各种数据，实现数据的实时分析，并提供灵活有效的搜索。 Splunk提供了专业的数据存储和处理方式，通过检索手段，用户就可以对数据之间的关联性进行挖掘和探索。用户不需要建模，也不需要关心Map/Reduce，检索让用户直接上手，查找数据，发觉数据背后所蕴藏的价值。

　　Splunk实现高效安全的IT运维管理

　　面对快速变化的业务和日趋复杂的网络应用环境，不少IT管理者追赶变化的脚步却是举步维艰。面对随着新业务涌现的新型IT数据，传统的IT管理平台需要进行耗时漫长的二次开发才能进行有效管理，更谈不上应对瞬息万变的IT管理需求。

　　在谈到Splunk的产品特性时，相关负责人表示，“我们是用这种多PC服务器的分布式架构，所以可能如果你的数量真的很大，像我们的有些客户每天甚至有上百个TB的数据都要到Splunk里的时候，这个时候你可能使用的是上千台的Splunk server同时运行来处理这个数据，这个也是帮你去解决性能和架构上的考量。对于本身后台的一些分析和一些报表的产生，也有一些调优的方法，或加速的能力。包括我们在现在最新的6.X这个版本里边，除了我自身数据进来建索引之外，可能还会额外再对某一些特定的场景进行加速，所以可能有一个二次索引的过程，它在后台通过某些技术可以帮助你做一些加速处理。”

　　Splunk中国区销售总监候海龙表示，“我们很多客户使用Splunk，是因为它不仅能有效提高运维效率，更使MTTI(平均恢复前时间)提高70%，并将用户的投诉率和响应时间减少了90%。”

　　候海龙还坦言，全美最大的披萨店之一Domino是它们的客户，它的披萨大都是通过在线订出去的，它的在线订货量仅次于苹果还有亚马逊。在与Splunk取得合作之前，作为全美第三的电商Domino，在处理用户投诉订单时较为棘手，这意味着它们需要人工地从这些交易的日志和各种各样数据源里面去分析机器数据。为什么是这样?是中间件的问题，数据库的问题还是架构的问题?

　　面对海量的IT运维日志却难于查找、定位所带来的挑战，Domino选择使用了Splunk，运维效率提高了95%，借助Splunk，它们还可以避免未来发生相似的问题，灵活调整促销策略等。

　　使用 Splunk处理计算机数据，可让您在几分钟内(而不是几个小时或几天)解决问题和调查安全事件。我们可以通过Splunk做风险控制，交易欺诈，洗黑钱等等这样的东西。

　　Splunk发力数据可视化 挖掘数据价值

　　在谈到大数据落地的话题时，Splunk中国区销售总监侯海龙坦言，“Hadoop就必须要花很多时间和精力去关注在如何把数据搜集起来，然后如何给数据建模，而用Splunk的技术可以集中体现业务价值，因为Splunk里面已经有了现成的这些工具。它更多的是告诉我们怎么跟客户一块儿去工作、一块儿合作，怎么从数据里面挖掘它的价值，而不仅仅在运维和市场方面。”比如有一个传统的金融机构，今年为了顺应互联网金融这种大趋势，他必须建立自己的电商系统。之前他用传统数据库技术，把这些东西交给他的IT部门去做的话，基本上IT部门给他最快三天能实现，而最慢可能一个月。使用了Splunk后，客户提出一个要求基本上一个小时之后IT部门就能将报表呈现出来，方便业务部门制定营销活动，从而在短短一个月之内获得了20万的新客户。

　　在谈到数据可视化的话题上，侯海龙在采访中透露，“Splunk 提供传统监控，如果当前有什么问题，红灯或黄灯就会亮起来。我们可以收集一周的数据，理解这个趋势变化。尤其现在很多的用户会比较喜欢行为的分析，这种行为在不同的时间段表现出来的形式不一样的，包括一些用户做一些基本的IT运维支撑，也会理解你在整个礼拜或者整个月你的变化走势怎么样的。很多时候无形的东西是最直观的，最容易看到变化或者抓紧眼球，一下子就知道什么东西占的比重最大，或者它的走势怎么样。这还是很重要的。”

　　Splunk中国区高级售前工程师 崔玥表示，“Splunk今年专门出了移动端，可以在Iphone、Ipad上使用，未来可能会有安卓系统的Pad也能在上面察看已经做好的Splunk报表以及标板，甚至可以在上面加一些注释，或者直接发一个邮件给其他人员，这对于管理层来说可能更加方便。”

　　Splunk是一款多功能的搜索引擎，无论是系统管理员、网络工程师、安全分析师、软件开发人员、服务台及应用支持人员，甚至经理、副总裁和首席信息官，Splunk都可以帮助其出色地完成工作!

作者:王晓东

来源：IT168

原文链接:大数据崛起 Splunk为非结构数据而生