【云栖号案例 | 医疗健康】小红唇：大数据打造你的变美频道-低调大师

【云栖号案例 | 医疗健康】小红唇：大数据打造你的变美频道

2020-03-15 486

云栖号案例库：【点击查看更多上云案例】
不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！

公司简介

小红唇App是国内最大的一款针对15-25岁年轻女性的垂直视频分享社区和社交化电商平台，业务模式为短视频美妆社区电商。我们为用户提供了丰富的平台内容、活跃的社区生态和优质的产品选择。

业务痛点

数据仓库：

1.需要在打造在线数仓，在线完成数据开发、数据清洗和转换等任务。
2.通过数仓构建可视化数据展示的应用，即时展示营收数据，便于运营和决策快速调整。

推荐引擎：打造短视频和图片的推荐引擎，需要具备便捷性和灵活性的在线产品，支持多种算法和过滤体系。
算法平台应用：

1.基于视频元信息的回归：作为一个UGC的平台，用户上传内容的质量是参差不齐的，为了保证平台内容的质量。编辑进行了很多精选和挑选的工作。如何提升编辑的筛选效率是当前需要解决的关键问题。
2.近义词：需要有一套高效的算法优化搜索的体验，使用户在搜索时更容易获得目标内容。
3.业务总线：需要提升一些应用场景（搜索热词统计、实时热度统计）的响应速度、实时触发业务事件，支撑类似于发送优惠券、推送消息等业务。

数据仓库解决方案

小红唇App的数据来源主要为两个方面，当所有数据都搬到MaxCompute平台上之后，在其上做的数据开发更加轻松。

业务服务器产生的API日志，代表着用户的各种行为数据。用户行为日志是通过阿里云的DataHub组件把API日志采集到MaxCompute平台上，只需要在数加的IDE里做一些简单的配置即可将数据完整的迁移过来。
服务器产生的各种交易数据，比如用户发的帖子、买的东西。业务数据是通过阿里云提供的DATAX工具载入到MaxCompute平台上，业务数据库已经完全迁移到了阿里的RDS平台。
在MaxCompute平台上，可以用类SQL的语句编写数据清洗和转换的执行任务，平台同时提供管理器对任务进行调度和管理。在数仓之上，构建了很多应用，最直接的就是QUICK BI。社区内容运营和商品运营都是依赖于实际的运营数据来做进一步的决策和运营商的策略调整，QUICK BI对运营的指导非常大。
阿里云的QUICK BI不需要开发可视化的前端，只需要在数加的data IDE里面做相应数据任务的编排就可以很容易的通过QUICK BI产品展示出来。
在QUICK BI可视化的界面上不仅有各种图表的展现还提供了一定功能的多维数据分析，极大提高了运营效率。

算法平台解决方案

基于视频元信息的回归

作为一个UGC的平台，用户上传内容的质量是参差不齐的，为了保证平台内容的质量。编辑进行了很多精选和挑选的工作。如何提升编辑的筛选效率？为此，我们选择了阿里云的机器学习平台。通过视频的元信息（时长，帧率，码率，描述内容，亮度，对比度，分辨率，锐度）的抽取，形成了特征矩阵，随机选取了已有视频数据；以是否经过编辑精选做了有监督的逻辑回归训练，训练出模型；对新的视频应用这个模型给出预判评估，作为视频编辑的参考, 及搜索推荐的影响因子。

具体的过程如上图所示。我们需要将自己的视频信息进行量化，通过拖拽、拼接构建起训练的模型。最左边这张图应用了逻辑回归、线性回归、随机森林三种模型进行训练，目前选用的是逻辑回归的模型。在算法平台训练完模型之后会非常容易的导入到DateWorks中，准备好的新视频数据就会把模型节点加进去，得到对应的预测打分。最右边的图是把评分结果通过QUICK BI展示。整个过程没有太多的工作量，只需要在平台上做一些配置就可以完成整个视频元信息的回归和训练。

近义词：

近义词主要是为了优化搜索的体验，具体是把用户发布的内容、视频的名称、描述、用户的标签、评论等语料信息通过阿里云实时计算word2vec算法获取词向量，通过余弦相似度计算获取近义词，通过人工筛选、录入到搜索引擎的同义词库中提升搜索体验。

最上层是用户输入的元数据，通过几个步骤，以及K-means聚类算法做了一些分析。

业务总线

最开始使用阿里云实时计算只是为了提升一些应用场景（搜索热词统计、实时热度统计）的响应速度。但是，通过阿里云实时计算已经截取了所有的业务事件，那么是否可以通过实时计算将业务事件实时触发出来支撑类似于发送优惠券、推送消息等业务？实践证明了其可行性。目前，通过阿里云实时计算这套业务总线体系的时延控制在了秒级。

上云价值

小红唇App拥抱数加已有半年光景，对数加的体验非常好，其感受主要为以下四点：

不需要像传统大数据业务一样构建一个非常复杂的Hadoop栈，并且对其进行运维，节省了金钱和时间成本。
MaxCompute的整个生态系统设计的比较完善，无需专职数据团队，降低了人员成本。
得益于数加的生态，可以在21天内搭建推荐系统。
借助阿里云实时计算非侵入实现业务总线，满足了绝大部分场景。

相关产品

大数据计算服务 · MaxCompute

MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。
更多关于阿里云MaxCompute的介绍，参见MaxCompute产品详情页。

云数据库RDS MySQL版

MySQL 是全球最受欢迎的开源数据库之一，作为开源软件组合 LAMP（Linux + Apache + MySQL + Perl/PHP/Python）中的重要一环，广泛应用于各类应用场景。

更多关于云数据库RDS MySQL版的介绍，参见云数据库RDS MySQL版产品详情页。

Quick BI

Quick BI 专为云上用户量身打造的新一代智能BI服务平台。

更多关于Quick BI的介绍，参见Quick BI产品详情页。

实时计算

实时计算（Alibaba Cloud Realtime Compute，Powered by Ververica）是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处理流程和行业解决方案；支持 Datastream API 作业开发，提供了批流统一的 Flink SQL，简化 BI 场景下的开发；可与用户已使用的大数据组件无缝对接，更多增值特性助力企业实时化转型。

更多关于实时计算的介绍，参见实时计算产品详情页。

DataWorks

DataWorks是一个提供了大数据OS能力、并以all in one box的方式提供专业高效、安全可靠的一站式大数据智能云研发平台。同时能满足用户对数据治理、质量管理需求，赋予用户对外提供数据服务的能力。

更多关于阿里云DataWorks的介绍，参见DataWorks产品详情页。

【云栖号在线课堂】每天都有产品技术专家分享！
在线课堂地址：https://yqh.aliyun.com/zhibo

立即加入社群，与专家面对面，及时了解课程最新动态！
【云栖号在线课堂社群】https://c.tb.cn/F3.Z8gvnK

微信关注我们

原文链接：https://yq.aliyun.com/articles/749975

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【云栖号案例 | 互联网】Ping++：百万级交易量的大数据平台

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司简介我们是上海简米网络科技有限公司，旗下的聚合支付品牌Ping++ 是国内领先的第三方支付解决方案SaaS服务商。我们的Ping++ 产品成立于2014年4月，2016年初获得由宽带资本领投的千万美元 B 轮融资。我们为零售、电商、O2O、教育、旅游、SaaS 服务等众多领域的商户提供定制化支付解决方案，累计帮助15000多家商户解决支付问题。从安全可靠的聚合支付平台到简单无忧的聚合支付云服务，我们不仅极大地简化了企业与移动支付渠道和消费分期渠道的对接过程，还将日常交易管理、账务管理、大数据分析、多级商户、用户账户等功能集成到统一的管理平台。从支付接入、交易处理、业务分析到业务运营、大数据营销，我们以定制化全流程的解决方案来帮助企业应对在商业变现环节可能面临的诸多问题。业务痛点我们公司的Ping++产品通过搭建在云端的支付处理平台，为商户集中处理所需第三方支付渠道的交易请求，并提供统一的SDK接口供商户调用。当商户的用户发起交易时，就会调用这个SDK，...

2020-03-16

558

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司简介美甲帮是牧云网络旗下一款专注美甲行业的社区型垂直电商APP，其核心业务包括美甲资讯、美甲行业认证、培训教学、商城、招聘等板块，目前已汇聚全国80%的美甲师，覆盖国内90%的美甲店，数以百万计的美甲从业人员和爱好者在此学习交流分享，是广泛覆盖专业美甲领域用户的移动互联网产品，也是国内深受美甲从业者喜爱的的最大的专业美甲社区以及最大的美甲线上商城。美甲帮已经在“社群经济、培训营销、平台商城”基础上，向“社群、平台、国际、生态”进化，打造“超级生态链”企业。小小的美甲行业被美甲帮玩出了天价，这也为目前以获取女性消费力为主题的互联网业界带来一个新的业务模式。我们美甲帮的使命与愿景是：提升整个美甲行业的创业环境及经营能力，不断降低创业门槛，帮助小微女性创业者成功，并与其共同成功。业务痛点美甲帮的主营业务在商城方面，截至目前已经拥有百万级别的用户，积累了大量的用户数据，如何更好的服务用户并提升客户体验是美甲帮进行大数据探索的出发点。目前存在的挑战为：如何更好的...

2020-03-16

626

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。