首页 文章 精选 留言 我的

精选列表

搜索[视频去水印],共10000篇文章
优秀的个人博客,低调大师

后Hadoop时代,我们该如何去架构自己的大数据平台

过去数年,大数据开源生态圈完成了从无到有的转变,时下更是各种技术框架林立——从收集到处理,一直到数据可视化和储存,每个点都或多或少存在多个不同的替代方案。那么,在这个Hadoop已经不是唯一的时代,企业又该如何选择开源大数据技术,来架构一个稳定可靠的大数据平台? 2016年10月27日,云栖社区特邀请了kyligence创始人兼CEO韩卿 & 阿里云技术专家曹龙与大家一起共同探讨这个问题, 点击这里直接报名。 Hadoop老矣? 对于大数据玩家来说,Hadoop绝不陌生,正式立项于2006年,Doug Cutting在GFS和MapReduce启发下开发,开源大数据领域的开辟者,也奠定了大数据技术高速发展的根基。天生高贵,Hadoop一度是开源大数据的绝对霸主,也是时下装机量最高的大数据框架,那么“后Hadoop”时代又从何而来? 开源大数据生态繁花似锦 随着互联网,特别是移动互联网的高速发展,越来越多入网设备对企业原有基础设施造成了严峻挑战;而在这之外,大量设备带来的海量数据同样让这些企业有了从中提取洞见并指导实践的可能。因此在这两个需求的刺激下,大量针对具体业务场景的技术被开发并开源出来,就比如流计算框架Storm/Jstorm、Sql-on-Hadoop框架Impala等等。同时,限于Hadoop本身所存在的技术问题,类似Apache Spark、Flink这样的通用的计算框架也乘机发展了起来,通过更低的使用门槛吸引了足够多的目光,在短短数年内实现开源到火爆的转变。犹记得那年,在2015年的Strata + Hadoop World圣何塞会议后,国外知名云计算主编Gigaom的Derrick Harris就曾今撰写“ For now, Spark looks like the future of big data”,并在开篇指出: Titles can be misleading. For example, the O’Reilly Strata + Hadoop World conference took place in San Jose, California, this week but Hadoop wasn’t the star of the show. Based on the news I saw coming out of the event, it’s another Apache project — Spark — that has people excited.——Derrick Harris” 然而,就像阿里技术专家封神所述,“没有哪个软件能解决所有的问题,通常是针对某些特定的场景,即使是Spark、Flink等。目前存在有意思的事情是:Greenplum类似的MPP引擎想处理大数据的需求,Hadoop等被定位为大数据的引擎也想解决小数据的问题(列式存储、或者也加入一些索引)”。 环顾时下,未来的大数据引擎究竟采用什么样的方式尚不可知,不过在大数据平台构建过程中如何去做好技术选型,以及在后续过程中如何做好开源的自主研发却是个值得讨论问题,为此,我们特别邀请了韩卿及曹龙来到此次云栖说,希望给大家一些参考。 分享嘉宾 韩卿 韩卿Luke Han,Kyligence联合创始人兼CEO,Apache Kylin联合创建者及项目委员会主席,首个来自国内的Apache软件基金会顶级项目VP,负责Kylin的战略规划,发展路线图及产品设计等,并致力于发展Apache Kylin全球社区,构建生态系统及推广等。曾任eBay全球分析基础架构部大数据产品负责人,Actuate中国首席顾问,卓越动力华东区技术总监等职,在大数据,数据仓库,商业智能,可视化情报分析等领域拥有丰富的经验。 曹龙 曹龙,阿里云技术专家,专注在大数据领域,6年分布式引擎研发经验;阿里YARN、Spark技术负责人;先后研发上万台Hadoop、ODPS集群;目前是阿里E-mapreduce负责人之一,为广大公共云用户提供专业的Hadoop服务。 立即参与请点击这里直接报名。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册