文章讲的是
当当网:大数据推动B2C电子商务商业价值，
2014年4月10日-12日，第五届中国数据库技术大会(DTCC 2014)在北京五洲皇冠国际酒店拉开序幕。在为期三天的会议中，大会将围绕大数据应用、数据架构、数据管理、传统数据库软件等技术领域展开深入探讨，并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上，向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展，以满足于广大从业人士和行业用户的迫切需要。
![借助SAP HANA实现文本分析和文本挖掘]()
▲点击进入第五届中国数据库技术大会(DTCC 2014)报道专题
自2010年以来，国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix两大技术社区，已经连续举办了四届中国数据库技术大会，每届大会与会规模超千人，大会云集了国内水平最高的数据架构师、数据库管理和运维工程师、数据库开发工程师、研发总监和IT经理等技术人群，是目前国内最受欢迎、人气最高的的数据库技术交流盛会。今年是中国数据库技术大会五周年，大会将继续秉承分享IT最佳应用实践的宗旨，围绕传统数据库和大数据两条技术主线，在目前IT技术和管理快速的大背景下，更加深入地探讨数据库技术的现状和未来的发展方向，以及我们在这个转型过程中的实践经验和教训。
![当当网:大数据推动B2C电子商务商业价值]()
▲当当网技术副总裁傅强
大数据的萌芽阶段- 2006年之前
2006年之前，从电商领域对数据的使用开始，充其量是零售业的报表，2006年还不能算是大数据。计算能力限于当时的服务器，小型机是当时做数据分析的主流产品。2006年之前，BI系统在电商网站中承担的职责主要集中在零售业的经典数据报表&数据分析。
2006年发生的故事
最开始做当当网的搜索功能，通过搜索和分类再找，还没有推荐的概念。后来在亚马逊看到了推荐功能，看到产品的惊喜。在好奇心的趋势之下，决定自己做推荐系统。找一个商品，这个商品被那个顾客买了，然后找出相关的商品。
当当网大数据的探索之旅
![当当网:大数据推动B2C电子商务商业价值]()
▲最开始的硬件配置
解决方案
1、多步骤处理：内存有限，不得不分批分块计算。
2、只计算3-6个月：一方面降低计算量，另一方面数据较新，让用户最新的群体行为有机会影响推荐效果基本信息。
3、剪枝：去除脏数据噪声、低频低销量冷门商品、高频畅销商品。
4、稀疏矩阵的高压缩比的存储与支持高效查询仍然是问题?
大数据的萌芽阶段- 2007年当当网推荐系统1.0上线
开创国内B2C电商领域之先河，第一个大数据技术的应用：当当网推荐系统1.0在2007年上线。推荐系统的价值：帮用户发现有价值的商品、长尾商品的销售、技术的同学们扬眉吐气。
启示：数据产生价值!
萌芽阶段小结
【电商各种大数据应用中，不断增加的数据维度】：从商品、订单、到用户。
【解决大数据应用中，应用的技术不断跨界】：推荐系统1.0：从数据库技术 – 搜索引擎倒排索引技术 – 协同过滤。
广告系统：搜索引擎倒排索引技术 – 自然语言处理。
【解决大数据应用中，新工具层出不穷】：C++ & 脚本。
开源技术与分享精神，推动了电商乃至互联网大数据技术的高速发展
2009年，淘宝开始使用Hadoop，去IEO，引领了开源技术的发展。随着之后淘宝一系列数据产品，如数据魔方、量子恒道等，无论技术专业领域，还是淘宝生态圈中的数据使用方，好评声音一片。
当当网流量分析系统的演变过程
![当当网:大数据推动B2C电子商务商业价值]()
▲2009年遇到瓶颈
![当当网:大数据推动B2C电子商务商业价值]()
2010年-2011年 – Hadoop从探索到全面推广
![当当网:大数据推动B2C电子商务商业价值]()
2009年-2010年，流量、商品、用户数据分别有各自的报表;2011年，当当使用hadoop处理流量数据、商品数据、用户数据的全面打通：运营能力，大幅提升;精细化运营的核心能力之一；有了一个更大的Hadoop集群。
启示：向大数据工具要价值!
系统演变过程小结
【电商各种大数据应用中，不断增加的数据维度】：从商品、订单、到用户、到店铺、流量、精准到线上每一个位置的每一次曝光。
【解决大数据应用中，应用的技术不断跨界】：流量分析：非实时大数据分布式存储/计算能力 + 实时大数据分布式存储/计算能力 + 数据库技术。
【解决大数据应用中，新工具层出不穷】：Hadoop1.0 + HIVE/PIG、Redis & MongoDB & Storm。
2012年至今大数据应用可谓是百花齐放
【电商各种大数据应用中，不断增加的数据维度】：从商品、订单、到用户、到流量、精准到线上每一个曝光、再到评论、供应链上下游、店铺等等。
评论挖掘是2012-2013年的热点之一：见Tmall.com、JD.com的应用。
【解决大数据应用中，应用的技术不断跨界】
比如：搜索、推荐、广告之间越来越多的核心技术相互复用，相互促进。广告系统深度应用自然语言处理技术，越看越像搜索系统。推荐系统大量使用机器学习+CTR预估，越看越像广告系统。
![当当网:大数据推动B2C电子商务商业价值]()
▲相关评论度
推荐系统2.0：从数据库技术 – 搜索引擎倒排索引技术 – 协同过滤 – 自然语言处理 – 机器学习 – CTR预估 – 大数据分布式存储/计算能力。
![当当网:大数据推动B2C电子商务商业价值]()
![当当网:大数据推动B2C电子商务商业价值]()
▲推荐系统
评论挖掘&推荐系统2.0的价值：用户体验大幅提升、技术创造价值、技术的同学们得、激励和肯定。
启示：面对大数据，眼花缭乱的工具和技术，更需要擦亮眼睛，发现价值!
展望2014年
2013年-2014年互联网金融方兴未艾：因为有大数据，电商已经有能力逐步建立供应商、顾客、入驻商家的信用体系。
2014年O2O大战开始：对电商领域的大数据而言，又增加了2个非常重要的、新的数据维度：线下传统店铺的大数据信息+用户随时随地的行为偏好。
大数据还会推动电子商务甚至中国互联网哪些大事件发生呢?让我们拭目以待。
作者:景保玉
来源：IT168
原文链接：当当网:大数据推动B2C电子商务商业价值
