《Spark与Hadoop大数据分析》——第3章 深入剖析Apache Spark
第3章 深入剖析Apache Spark Apache Spark 的技术、社区和用户群都在快速增长。2015 年推出了两个新的API:DataFrame API 和 DataSet API。这两个 API 构建在基于 RDD 的核心 API 之上。我们有必要了解 RDD 的更深层概念,包括运行时的架构和它在 Spark 各种资源管理器上的表现。 本章分为以下子主题:
当用户从PC端向移动端转移的过程中,因为移动端的小屏化、浏览时间碎片化的特点,在有限的时间、空间中仅能向用户呈现有限的内容,因此对APP内容提供者的推荐算法能力提出了新的挑战。在电商购物环境下更有其自身的特点,如用户需求动态变化、商品种类数量繁多、促销活动频繁等,在此,我们从手机淘宝的实践中,选取若干具有创新性的案例和技术,进行分析与讨论。
图1是结合电商特点,由实际需求驱动的一个三层推荐系统架构图,简要说明如下。
第一层是item(可以是商品、店铺、内容等)相关的选品设计:根据各无线产品的定位,我们为特定人群选择他们所需要的优质商品。
第二层是用户与item的匹配层:它包含以协同过滤为主的算法,考虑用户短中长期兴趣和需求的变化,以及空间时间上下文的变化,从海量item库中找出最可能满足其当前需要的物品。
第三层是精确排序层:基于经典的Learning to Rank技术来进行精准推送;同时,为了更早、更准确地捕捉用户意图的变化,在计算层引入流式计算引擎,并研发了在线学习框架。
由上述的三层推荐系统构建的技术体系,我们得以支撑电商中数百个应用场景和产品,包括最具技术挑战的“双11”场景。我们在这些场景中做出了大胆的产品和技术创新。下面选择三个原创性的算法和技术,逐一进行分析和讨论。
微信关注我们
转载内容版权归作者及来源网站所有!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。
马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。
Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。
Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。