Hadoop峰会：南航航空大数据技术应用-低调大师

Hadoop峰会：南航航空大数据技术应用

2017-08-31 585

文章讲的是 Hadoop峰会：南航航空大数据技术应用， 2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。

　　Hadoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。

▲南航天合高级架构师于英

　　在第二天下午的企业大数据实践主题论坛中，南航天合高级架构师于英带来《南航航空大数据技术应用》的演讲，分享了南航大数据的发展，以及大数据服务平台和大数据处理平台的架构设计。

　　于英表示，传统的关系数据库在支持非结构化数据分析挖掘上存在技术上的瓶颈，受到关系范式的影响，扩展性和并发性比较差，成本较高，无法支持海量数据。但是大数据的环境下需要一个海量、高效的数据库，满足高扩展性、高可用性和低成本的需求。

　　谈到南航为什么做大数据项目，他表示，南航目前拥有亚洲第一、世界第三的旅客量，基于原来IOC、IOE的模式支撑数据存在很大的瓶颈，所以南航才开始逐步基于开源做大数据应用支撑。航空业会产生大数据，例如波音787每飞一个来回都会产生几TB的数据。除此之外，南航还会对客户信息做大量分析，用于精准营销和产品设计。

▲南航大数据总体架构

　　NoSQL作为大数据开源产品的代表，有以下优点：大数据量、高性能和高可用、弹性扩展能力、灵活的数据模型和低成本。但是又存在很多不足，例如产品成熟度不足：不能支持事务、多表查询、聚合查询等;支持力度不足：大多为开源项目，没有能力提高全球服务支持，需要用户自行解决;管理功能缺陷：使用门槛较高，需要大量的技能来支持安装、使用、维护和调优。

作者:王玉圆

来源：IT168

原文链接：Hadoop峰会：南航航空大数据技术应用

微信关注我们

原文链接：https://yq.aliyun.com/articles/221209

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CTO下午茶：当我们谈论万物互联时，我们在谈论什么？

一片嫩叶，汲日月精华，沐春秋雨露，汇山水灵性。一朝脱离大树，便需要经过杀青、揉捻、烘干、渥堆、压制等等一系列脱胎换骨的考验，方百炼成茶。再静静地历经岁月，转化出弥久醇香。最后经沸水冲拂，热烈中，舒展沉浮，一吐芬芳。 “禅茶一味”，越是看似简单的东西，越有无比深刻的内容。茶如此，人如此，企业亦如此。从最初的 “多协议路由器” 到如今的 “万物互联”，过去 30 多年，思科几乎成了 “互联网” 的同义词。思科的软硬件系统承载着全球 80% 的互联网通信，在进入的每一个领域都成为市场的领导者，创造着一个又一个技术传奇。大浪淘沙。我始终认为，支持思科成功的根本，源于对 “互联网” 本质的深刻理解，以及对 “万物互联” 这一未来发展方向的把握。这两者相辅相成，如同分别握着 “显微镜” 和 “望远镜” 的两只手。“显微镜” 观战术、现本质：明察秋毫、见微知著；“望远镜” 看战略、指方向：高瞻远瞩、洞察未来。那么，“互联网” 的本质是什么？“万物互联” 又是什么呢？用中国人的汉字来回答这个问题，最为精辟易懂。什么是 “互联网”？互联网就是 “网、联、互”。 · “网”：即物理的相互连通，强...

2017-09-01

529

赛普拉斯半导体公司近日宣布推出专为物联网 (IoT) 设计的最新微型控制器 (MCU) 架构——PSoC 6。该架构基于超低功耗40纳米处理技术，是业内功耗最低、灵活性最高的解决方案，并且集成了下一代物联网设备所需的安全特性。该架构完美的平衡了性能、成本和功耗的需求，填补了相关领域的空白。双核 ARM Cortex-M4与 Cortex-M0+架构使设计者能够同时优化功耗与性能。通过独特的PSoC结构及简单易用的软件可配置外设，PSoC 6使得工程师们能够设计出创新的下一代物联网设备。 PSoC 6 赛普拉斯总裁兼首席执行官Hassane El-Khoury表示：“作为物联网无线解决方案领域的领导者，我们第一时间认识到，客户需要一个能够在兼顾安全功能的同时更好地平衡性能与功耗的处理器解决方案。我们的PSoC 6微型控制器架构专为解决这些问题而设计，这让我们丰富的物联网嵌入式系统解决方案组合如虎添翼。” 树立业界领先的最新超低功耗标杆赛普拉斯专有的超低功耗40纳米SONOS处理技术使PSoC 6 微型控制器架构能够在ARM Cortex-M4 和 Cortex-M0+ 内核上分别以...

2017-09-01

567

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。