书评：《大数据处理之道》大数据热门技术遍历-低调大师

书评：《大数据处理之道》大数据热门技术遍历

2016-12-21 611

大数据无疑是当今时代最前沿最炙手可的概念，所以对于这种新技术，只有不断掌握最新的思想，时刻学习新的技术。作为大数据研发人员，时刻保持学习新技术，方能立于技术。

这本书，系统的讲解了当前流行的大数据软件Hadoop, Spark, Storm, Dremel/Drill，MapReduce, HDFS, Hive, Hbase, Pig, ZooKeeper等等，深入浅出的讲解，每个软件的优缺，这种横向比较如何把“死”的数据，变成真正有效的“资源”，最后再变成活生生的“金子”，可是说是大数据工具软件的集大成作品。

对于这么一个讲软件讲概念的书籍，更为难得的是幽默大话的表述风格，读起来畅快容易理解，可以轻松掌握。重点从各个技术的起源、设计思想、构架方面阐述，帮助读者能从根源上悟出大数据处理的核心道理，可以说每个人都会在读完有感触颇深的感觉。

本书最难能可贵之处在于全面，从广度上，涵盖了目前几乎所有的大数据处理热门技术，实为大数据行业的入门人员和从业人员的一顿饕餮盛宴。书中全面介绍了目前大数据处理领域的热门技术的精髓和适应的场景，实用性很强，特别是通过目录发现了后面章节有专门设计日志分析这一当前热门领域的机器学习场景，着实更加期待了。

微信关注我们

原文链接：https://yq.aliyun.com/articles/67055

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

kafka主题offset各种需求修改方法

简要：开发中，常常因为需要我们要认为修改消费者实例对kafka某个主题消费的偏移量。具体如何修改？为什么可行？其实很容易，有时候只要我们换一种方式思考，如果我自己实现kafka消费者，我该如何让我们的消费者代码如何控制对某一个主题消费，以及我们该如何实现不同消费者组可以消费同一个主题的同一条消息，一个消费组下不同消费者消费同一个主题的不同消息。如果让你实现该框架该如何实现？这里我演示实验storm的kafkaspout来进行消费，kafkaspout里面使用的低级api,所以他在zookeeper中存储数据的结构和我们使用kafka的java客户端的高级api在zookeeper中的存储结构是有所不同的。关于kafka的java客户端的高级api在zookeeper中的存储结构的构造可以看这篇文章：apache kafka系列之在zookeeper中存储结构。原文和作者一起讨论：http://www.cnblogs.com/intsmaze/p/6212913.html 可接网站开发，java开发。新浪微博：intsmaze刘洋洋哥微信：intsmaze 创建一个kafka...

2016-12-22

596

Quick BI的气泡地图功能能非常直观得体现全国各区域的数据情况。这里从网上搜了一份某社交网站的用户数据，数据量就五六万条，而且只包含这些用户的公开信息（省的自己还要去爬）。数据预处理数据包含的字段为uid、location、gender、followersnum、friendsnum，分别是用户id、所在区域、性别、关注人数、好友人数。里面的location这个字段是中文的，看到为“浙江”这样的就写了省的，也有是“浙江杭州”这样到省、市的，而且中间用空格分割。另外还有一些写的是“海外”或“其他”。先用个SQL对数据进行处理，整理出一个所在省的字段 create table wbuser2 AS select b.* from( select a.uid, a.`location`, a.`gender`, a.`follo

2016-12-23

709

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。