【大数据干货】轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求。

2016-12-29 628 收藏

免费开通大数据服务：https://www.aliyun.com/product/odps

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端，然后分天、分小时的展开数据分析作业，分析结果再导入数据库和报表系统，最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍，整个过程中数据量庞大，且计算复杂，这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。

关于墨迹天气

北京墨迹风云科技股份有限公司于2010年成立，是一家以“做卓越的天气服务公司”为目标的新兴移动互联网公司，主要开发和运营的“墨迹天气”是一款免费的天气信息查询软件。“墨迹天气”APP目前在全球约有超过5亿人在使用，支持196个国家70多万个城市及地区的天气查询，分钟级、公里级天气预报，实时预报雨雪。提供15天天气预报，5天空气质量预报，实时空气质量

上一篇 下一篇

微信关注我们

原文链接：https://yq.aliyun.com/articles/68211

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Flink改进及其在阿里巴巴搜索中的应用

本文整理自阿里搜索基础设施团队研究员蒋晓伟在Flink Forward 2016大会上的演讲，原始演讲视频可以在这里查看。 以下为演讲整理 阿里是世界上最大的电子商务零售商，其2015年的年销售额就超过了eBay和Amazon的总和，达3940亿。Alibaba Search，个性化搜索和推荐平台，既是顾客的关键入口，也承担了大部分的在线收益。因此，阿里搜索基础设施团队一直在努力改进产品。 对于电子商务网站上的搜索引擎，到底什么最重要？必然是实时地为每一位用户提供最相关和准确的搜索结果。以阿里巴巴的规模，这是个棘手的问题，很多技术也根本无法满足需求。Apache Flink就是这样一项技术，而阿里现在通过基于Flink的Blink系统，来支撑它的搜索基础设施的核心，以向终端用户提供相关、精准的信息。本文讲解Flink在阿里搜索中承担的任务，并概括选择Flink的原因。 同时也会提到Blink与Flink的区别，及如何通过data Aritisans和Flink社区将这些改动反馈。倘若开源项目接受了这些改动，Alibaba Search会积极地把系统从Blink转移到原生Apache F...

2016-12-30

617

上一篇

R、SQL、Python，看数据科学家最喜欢的编程语言

数据的爆炸增长以及公司将数据转化为商业价值的巨大可能性，不断增加着市场对数据科学家的需求。 但是，一个合格的数据科学家必须具备哪些技能，拥有什么样的教育背景呢？数据科学家在团队中的角色是什么？数据科学家大多使用什么工具和编程语言呢？这些就是米兰理工大学的大数据分析观测台通过一项针对数据科学家的国际调查正在研究的部分问题。如果你的工作与数据有关，也可以支持一下这个完全匿名的调查（ survey）。 除了基础的数据科学相关的技能，编程是数据科学家务必要具备的五种主要能力之一，即使就专业知识而言这不是最相关的。 迄今为止世界范围内已经有超过200位数据科学家参与了调查，然而结果显示并没有一种在数据科学领域占绝对优势的编程语言，但是也似乎主要集中在有限几个选项里：几乎96%的参与者断言至少要用R，SQL或者Phython中的一种。 值得一提的是，当前的调查中排名第一的是53%的数据科学家选择的的由R Foundation for Statistical Computing提供支持的R语言。一开始R主要是在统计学家或学术圈内流行，但近几年被相当多的应用于数据科学。如今R是最受欢迎的开源语言之一很...

2016-12-30

604

下一篇

相关文章

发表评论

发表

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-28 大小: 1MB 下载: 4次

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次