2016年北京hadoop in china见闻
一、 概况
笔者有幸参加了今年在北京主办的hadoop in china,在与会中有不少的感受与大家分享。今年的hadoop in china整体来看,参加会议的人比较多,在第一天上午场的topic里,大厅人都满了,内容也比较多。今年主题内容从大局观、产品、技术都有很多的内容。貌似今年的议题是假设参加会议的同学有一定的基础,没有过多的去介绍基础的内容,比如,没有人说hadoop是啥了,单刀直入,趋势、产品、新技术。大数据改变人类的未来,正在渗透到每个行业中,甚至是人的基因分析。
二、 云化
今年开始,有一个明显的趋势是,很多公司都开始在云化自己的产品,创业公司基本是使用公共云,传统的公司基本是私有云加上混合云的方案。但总体来讲,大家都一致认为最终的形态还是公用云的,不管是业务还是大数据。
三、 实时大数据
在第二天的下午场次里,最热是实时大

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
2015年上海hadoop in china见闻
过程 今天过来参加《china hadoop summit》,听了不少的场次。从技术栈上分类,大致为了 硬件、linux等基础软件、hadoop生态圈、分析与应用。我目前主要关注底层的软件技术,主要听了sql on hadoop及hadoop系统架构两个分会场的一些内容。下面讲述下我听的一些场次: 上午场次: 孙先生讲的 《Towards consistent distributed system》,给我们带来了从CAP理论出发,以新的视角去看待分布式系统,怎么权衡去设计分布式软件系统。 cloudera中国区的CTO,苗先生的《hadoop and cloudera》讲述了公司的发展,08年成立,目前1000人左右,54%的hadoop Committer,hadoop从批处理往实时化方向发展,基本听下来就是公司对hadoop有很大的控
-
下一篇
MapReduce源码分析之LocatedFileStatusFetcher
LocatedFileStatusFetcher是MapReduce中一个针对给定输入路径数组,使用配置的线程数目来获取数据块位置的实用类。它的主要作用就是利用多线程技术,每个线程对应一个任务,每个任务针对给定输入路径数组Path[],解析出文件状态列表队列BlockingQueue<List<FileStatus>>。其中,输入数据输入路径只不过是一个Path,而输出数据则是文件状态列表队列BlockingQueue<List<FileStatus>>,文件状态FileStatus包含文件路径、长度、数据块大小、数据块副本数、文件所属用户、文件所属组、文件权限、文件最近修改时间、文件最近访问时间、是否为目录等信息。 LocatedFileStatusFetcher采用了google并发编程包中的可监听Future模式ListenableFuture、可监听线程池ListeningExecutorService、回调函数FutureCallback,并使用了Java并发包中的可重入互斥锁ReentrantLock、多线程间协调通信工...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- MySQL8.0.19开启GTID主从同步CentOS8
- Dcoker安装(在线仓库),最新的服务器搭配容器使用
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS6,CentOS7官方镜像安装Oracle11G