专访携程李亚锋：大数据技术融合下的Spark更具魅力-低调大师

专访携程李亚锋：大数据技术融合下的Spark更具魅力

2017-05-01 735

大数据”作为当下最火热的IT行业词汇，在主流的数据处理工具当中Hadoop和Spark都被大家所熟悉。不过，目前基于内存计算的Spark适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，已经逐渐获得很多企业的支持。这是否意味着我们应该彻底抛弃Hadoop？在前不久的北京Spark亚太峰会上，记者有机会专访到携程大数据平台高级经理李亚锋，为大家分享如何通过Spark与Hadoop大数据技术间的融合，实现优势互补，引导企业发现用户的潜在需求。

李亚锋，携程大数据平台高级经理，负责大数据底层平台的运营和开发。2002年起一直专注于IT互联网领域，从事过网络会议、IPTV、安全网关、游戏架构、搜索引擎、推荐引擎等，主要偏后台架构和底层开发。加入携程后，开始转向大数据领域。

以下为51CTO记者对李亚锋老师的专访录音整理

您

微信关注我们

原文链接：https://yq.aliyun.com/articles/78909

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

小米架构师：亿级大数据实时分析与工具选型

本文根据欧阳辰老师在〖2016 DAMS中国数据资产管理峰会〗现场演讲内容整理而成。讲师介绍欧阳辰，超过15年的软件开发和设计经验，目前就职于小米公司，负责小米广告平台的架构研发。曾为微软公司工作10年，担任高级软件开发主管，领导团队参与微软搜索索引和搜索广告平台的研发工作。曾在甲骨文公司从事数据库和应用服务器的研发工作。热爱架构设计和高可用性系统，特别对于大规模互联网软件的开发，具有丰富的理论知识和实践经验。大家好，很高兴能跟大家分享一些关于实时数据分析的话题。刚毕业时我有幸去了Oracle公司做企业软件数据库，成为Oracle中国第一批研发员工。后来做了几年，觉得还是想做互联网软件，就去了微软，工作了十年左右。在那做两个项目，一个是搜索，一个是广告平台。去年一月份加入小米公司，现在主要负责搭建广告平台和大数据平台。所以今天我会结合我在小米、微软的一些大数据实践，给大家谈谈我对大数据的理解，并介绍一些好用的工具。本次演讲的内容大致分为以下部分：大数据和价值大数据分析工具分类 HBase的应用和改进 Druid的实时分析实践其它工具的探索一、大数据和价值什么是...

2017-05-02

595

“我们很荣幸能够见证Hadoop十年从无到有，再到称王。感动于技术的日新月异时，希望通过这篇内容深入解读Hadoop的昨天、今天和明天，憧憬下一个十年。“ 本文分为技术篇、产业篇、应用篇、展望篇四部分。技术篇 2006年项目成立的一开始，“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头，这个单词代表的是“核心”（即Core Hadoop项目）以及与之相关的一个不断成长的生态系统。这个和Linux非常类似，都是由一个核心和一个生态系统组成。现在Hadoop在一月发布了2.7.2的稳定版，已经从传统的Hadoop三驾马车HDFS，MapReduce和HBase社区发展为60多个相关组件组成的庞大生态，其中包含在各大发行版中的组件就有25个以上，包括数据存储、执行引擎、编程和数据访问框架等。 Hadoop在2.0将资源管理从MapReduce中独立出来变成通用框架后，就从1.0的三层结构演变为了现在的四层架构：底层——存储层，文件系统HDFS 中间层——资源及数据管理层，YARN以及Sentry等上层——MapReduce、Impa...

2017-05-02

529

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。