大数据利器：Hadoop的十大应用场景-低调大师

大数据利器：Hadoop的十大应用场景

2017-09-27 782

本文讲的是大数据利器：Hadoop的十大应用场景,谁在用Hadoop?这是个问题。在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是Hadoop的最大用户呢?首先想到的当然是它的“发源地”，像Google这样的大型互联网搜索引擎，以及Yahoo专门的广告分析系统。也许你会认为，Hadoop平台发挥作用的领域是互联网行业，用来改善分析性能并提高扩展性。其实Hadoop的应用场景远不止这一点，深入挖掘的话你会发现Hadoop能够在许多地方发挥巨大的作用。

　　美国著名科技博客GigaOM的专栏作家Derrick Harris跟踪云计算和Hadoop技术已有多年时间，他也在最近的一篇文章中总结了10个Hadoop的应用场景，下面分享给大家：

　　在线旅游：你知道吗，目前全球范围内80%的在线旅游网站都是在使用Cloudera公司提供的Hadoop发行版，其中SearchBI网站曾经报道过的Expedia也在其中。

　　移动数据：Cloudera运营总监称，美国有70%的智能手机数据服务背后都是由Hadoop来支撑的，也就是说，包括数据的存储以及无线运营商的数据处理等，都是在利用Hadoop技术。

　　电子商务：这一场景应该是非常确定的，eBay就是最大的实践者之一。国内的电商在Hadoop技术上也是储备颇为雄厚的。

　　能源开采：美国Chevron公司是全美第二大石油公司，他们的IT部门主管介绍了Chevron使用Hadoop的经验，他们利用Hadoop进行数据的收集和处理，其中这些数据是海洋的地震数据，以便于他们找到油矿的位置。

　　节能：另外一家能源服务商Opower也在使用Hadoop，为消费者提供节约电费的服务，其中对用户电费单进行了预测分析。

　　基础架构管理：这是一个非常基础的应用场景，用户可以用Hadoop从服务器、交换机以及其他的设备中收集并分析数据。

　　图像处理：创业公司Skybox Imaging 使用Hadoop来存储并处理图片数据，从卫星中拍摄的高清图像中探测地理变化。

　　诈骗检测：这个场景用户接触的比较少，一般金融服务或者政府机构会用到。利用Hadoop来存储所有的客户交易数据，包括一些非结构化的数据，能够帮助机构发现客户的异常活动，预防欺诈行为。

　　IT安全：除企业IT基础机构的管理之外，Hadoop还可以用来处理机器生成数据以便甄别来自恶意软件或者网络中的攻击。

　　医疗保健：医疗行业也会用到Hadoop，像IBM的Watson就会使用Hadoop集群作为其服务的基础，包括语义分析等高级分析技术等。医疗机构可以利用语义分析为患者提供医护人员，并协助医生更好地为患者进行诊断。

作者：孙瑞

来源： IT168

原文标题：大数据利器：Hadoop的十大应用场景

微信关注我们

原文链接：https://yq.aliyun.com/articles/221755

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Storm同步调用之DRPC模型探讨

摘要:Storm的编程模型是一个有向无环图，决定了storm的spout接收到外部系统的请求后，spout并不能得到bolt的处理结果并将结果返回给外部请求。所以也就决定了storm无法提供对外部系统的同步调用功能。最近新的黑名单项目需要在storm实时计算平台上提供对外部系统请求调用的同步响应（也就是让storm支持同步调用而不是回调），而Storm的编程模型是一个有向无环图，也就决定了storm的spout接收到外部系统的请求后，将请求数据分发给下游的bolt进行处理后，spout并不能得到bolt的处理结果并将结果返回给外部请求。在传统也就是业界大部分应用场景storm对外部系统的调用都是采用回调的方式。本人之前参与的某4000万用户，日均1000万交易量的信用卡中心也是采用回调的方式。原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/7602242.html storm常见回调设计方案首先jetty，tomcat等启动服务，接收外部系统的请求，将请求得到的数据发往kafka，activeMQ等消息队列中，就立马响应给外部...

2017-09-28

463

本文讲的是主要厂商在大数据领域的布局状况,大数据所带来的商业机会被越来越多具有技术前瞻性的厂商所重视。商业利润的分布也有了很大变化，据市调机构测算：今年预计总价值50亿美元的大数据市场目前有44%的份额来自服务类产品，31%源于硬件销售，而软件支持则占去了另外25%。这导致传统的IT企业凭借多年的技术积累和客户资源在向大数据领域转型，这个市场也为具有独特解决方案或服务的新兴公司带来了超越前者的机会。像IBM、惠普、戴尔这样的传统硬件厂商，依靠在软、硬件这样的优势，逐渐向客户提供端到端的解决方案。除了加强自身的研发力度，更在大数据的潜在科技突破点上攻城略地，广泛的合作、兼并动作频频。2010年EMC通过收购Greenplum正式进入了数据仓库市场。并在次年推出了支持大数据分析的下一代EMC Greenplum统一分析平台;同年IBM收购了数据分析公司Netezza，开始拓展商业价值方面的市场;惠普对 Vertica进行收购;去年10月，甲骨文发布了新版NoSQL数据库企业版，这是运行于Hadoop 之上的大数据软件之一;微软宣布与Hortonwork公司建立新的合作伙伴关系，后者致力于...

2017-09-28

426

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。