福特首席数据科学家谈三点大数据经验-低调大师

福特首席数据科学家谈三点大数据经验

2017-06-03 590

Photo: Ford

数据已经成了福特公司的“燃油”，从产品设计到商业智能，从汽车部件到社交网络上的用户，福特公司每天需要处理海量且快速增长的数据。

今日福特公司首席数据官Michael Cavaetta做客Structure Show，介绍了福特公司的大数据处理经验，归结为三点：

一、数据可以影响设计

数周前福特公司在北美国际汽车展上亮相的F-150皮卡车型采用了轻型铝材取代钢材提高燃油经济性。鲜为人知的是，这项设计改动离不开 Cavaetta领导的数据部门的贡献。Cavaretta的团队还分析社交网络数据，帮助公司了解为什么北美的福特嘉年华车主不喜欢变道转向灯自动三闪的设计。社会化数据分析显示，用户并非不喜欢三闪这个功能，而是对转向灯拨杆在转向柱上的位置不满意。

二、着眼价值，而不仅仅是成本

二战以后福特公司就已经是个数据驱动的公司，但是近年来福特的数据化进入了一个全新的阶段Alan Mulally上任后格外重视数据，对数据分析数量的要求是前任的两倍。进行任何重要决策时的第一句话都是：“好吧，给我看数据，证明给我看你的数据分析能够支持决策。”

对数据的超级重视使得福特开始着眼新技术，如将Hadoop看做是数据规则的改变者，而不仅仅是一种廉价的数据存储技术。对数据分析结果的时效性的要求使得福特开始重新思考整个数据环境的设计，但是Cavaretta指出：”对新技术要知道适可而止，对于福特这样庞大体量的企业来说，花三年时间建设一个牛逼的数据仓库也许并不能跟上业务发展的节奏。但是Cloudera推出数据总线产品后曾鼓吹企业不再需要数据仓库，这对于福特来说也不现实，我们不可能一下把所有系统都换成Hadoop，一切都已价值而不是成本作为衡量标准，如果新技术短期不能带来太多价值，那么就适可而止。“

三、数据科学家不是神

福特公司并没有追逐传说中的数据科学家，Cavaretta认为真正的数据科学家太少了，企业没有必要苛求，福特的数据分析团队更多的是依靠团队的互补和多元化，并从公司内部招募数据分析师，取得了很好的效果。此外，Cavaretta认为很多大数据分析厂商鼓吹的“软件取代数据科学家”的时代还远未到来。

文章来自IT经理网

文章转载自开源中国社区 [http://www.oschina.net]

微信关注我们

原文链接：https://yq.aliyun.com/articles/112991

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里巴巴加入 Apache 基金会并捐赠项目 JStorm

11月19日，阿里巴巴集团宣布正式加入Apache基金会，并向Apache基金会捐赠开源项目JStorm。JStorm正式成为Apache Storm里的子项目。JStorm将在 Apache Storm里孵化，孵化成功后会成为Apache Storm主干。 Apache基金会官方表示，非常高兴JStorm能够成为Apache Storm社区的一员。JStorm是由阿里巴巴开源的实时计算系统，它使用Java语言代替Clojure语言重写了Apache Storm，并在原来的基础上做了诸多性能和功能的优化。 JStorm团队在开源领域屡获殊荣经过4年发展，阿里巴巴JStorm集群已经成为世界上最大的集群之一，基于JStorm的应用数量超过1000个。数据显示，JStorm集群每天处理的消息数量达到1.5PB。阿里巴巴共享事业部高级技术专家封仲淹介绍，得益于阿里巴巴内部业务应用的磨练，JStorm平台发展得越来越快。最近两年，JStorm增加了Backpressure，Dynamic HighLevel Batch，Stable Nimbus HA，CGroup Module，Clas...

2017-06-04

507

3.3. MapReduce与YARN 3.3.1 YARN概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序 3.3.2 YARN的重要概念 1、 yarn并不清楚用户提交的程序的运行机制 2、 yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源） 3、 yarn中的主管角色叫ResourceManager 4、 yarn中具体提供运算资源的角色叫NodeManager 5、这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序，tez …… 6、所以，spark、storm等运算框架都可以整合在yarn上运行，只要他们各自的框架中有符合yarn规范的资源请求机制即可 7、 Yarn就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享...

2017-06-04

605

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。