使用Data Lake Analytics快速分析OSS上的日志文件

2018-12-13 590

背景

Data Lake Analytics (后文简称 DLA)是Serverless化的云上交互式查询分析服务，用户可以通过标准的SQL语句对存储在OSS, OTS, RDS等介质上的数据进行快速地查询分析。

日志文件在大数据分析中的地位举足轻重。对于一个服务来说，其日志文件往往记录了其运行的所有详细信息。无论是故障排除，状态监控，还是预测告警，都离不开对日志文件的查询分析。由于OSS的高性价比，越来越多的用户倾向把大量的日志文件存储在OSS中。DLA可以无需移动OSS上的日志文件，直接对其做查询分析。

本文将介绍如何使用DLA对常见格式的日志文件做查询。

使用DLA查询日志文件

DLA可以分析的日志文件需要满足下面的条件：

日志文件是纯文本的格式，每行可以映射为表中的一条记录；
每行的内容有固定的模式，可以用一个正则表达式去匹配

目前对日志

微信关注我们

原文链接：https://yq.aliyun.com/articles/679405

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

为什么说，MapReduce，颠覆了互联网分层架构的本质？

为什么说，MapReduce系统架构，颠覆了互联网分层架构的本质？下图是一个典型的，互联网分层架构：客户端层：典型调用方是浏览器browser或者手机APP 站点应用层：实现核心业务逻辑，从下游获取数据，对上游返回html或者json 服务层：业务服务，数据服务，基础服务，对上游提供友好的RPC接口数据缓存层：缓存加速访问存储数据固化层：数据库固化数据存储同一个层次的内部，例如端上的APP，以及web-server，也都会进行MVC分层：view层：展现 control层：逻辑 model层：数据工程师骨子里，都潜移默化的实施着分层架构设计。互联网分层架构的本质究竟是什么呢？如果我们仔细思考会发现，不管是跨进程的分层架构，还是进程内的MVC分层，都是一个“数据移动”，然后“被处理”和“被呈现”的过程。如上图所示：数据处理和呈现，需要CPU计算，而CPU是固定不动的： db/service/web-server都部署在固定的集群上端上，不管是browser还是APP，也有固定的CPU处理而数据是移动的：跨进程的：数据从数据库和缓存里，转移到service层，到web...

2018-12-14

498

Apache spark 2.4:内置 Image Data Source的介绍 [原文链接]（https://databricks.com/blog/2018/12/10/introducing-built-in-image-data-source-in-apache-spark-2-4.html）引言图片分类以及对象检测的深度学习框架的发展使得在apache spark急需支持图片数据处理流程，在支持图片处理流程需要考虑到以下问题：处理不同格式，大小以及色彩的图片，如何快速检测图片处理的正确性。通过图片数据源提供的标准图片抽象可以解决在图片数据处理过程中遇到的大部分问题，在Apache Spark 2.3中，MMLSpark 库提供ImageSchema.readImages API（see Microsoft’s post

2018-12-14

635

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

使用Data Lake Analytics快速分析OSS上的日志文件

背景

使用DLA查询日志文件

为什么说，MapReduce，颠覆了互联网分层架构的本质？

【译】Apache spark 2.4:内置 Image Data Source的介绍

相关文章

发表评论

资源下载

优质分享App

Mario

腾讯云软件源

Spring

欢迎您来访！