【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析-低调大师

【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析

2017-01-08 587

【场景】

用户搭建网站会不断的产生访问日志(Nginx,Apache访问日志)。为了从访问日志中挖掘出更多价值，本文主要阐述如果利用阿里云数加从沉睡中的访问日志中获取更有价值的数据，包括用于实时统计和展示网站访问的一系列指标，例如PV，UV，设备，地理，状态码，爬虫，网络流量等指标。

【具体分析需求】

用户想根据访问日志来实时统计和展示网站访问重要指标，需要设计到流式计算和离线计算，那么阿里云数加·StreamCompute更好的可以解决日志的实时计算场景，而阿里云数加·MaxCompute则更好的来处理批量数据，适合于离线数据计算。

那么如何来使用阿里云数加来构建一个高可用的数加架构两者计算场景都可以满足？

【日志字段】

日志格式：

$remote_addr - $remote_user [$time_local] “$request” $s

微信关注我们

原文链接：https://yq.aliyun.com/articles/68500

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于自定义日志打印的UDAF调试

看到最近有一些用户，代码在本地IDE环境里调试成功了后，到线上调试出现结果不符合预期的情况。因为IDE里无法模拟多个worker进行分布式调试UDAF的场景，所以有一些BUG可能需要到线上用一些简单的测试数据进行调试。这里用最简单的手工打印日志的方法，针对代码调试中最麻烦的UDAF的例子做一次调试。通过问题的定位和解决，希望能给大家在面对UDF的线上调试的时候提供一些思路。初始化首先，线上的真实数据可能非常多，千万不要直接对着上亿条数据直接调试，否则很难定位到原因。面对线上的问题，最好先根据数据情况，简化计算场景。比如我这里，就先把测试数据简化成： drop table if exists testUDAF; create table testUDAF( str string ) partitioned by (ds str

2017-01-09

897

Elasticsearch简介 Elasticsearch（ES）是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。想要发挥其强大的作用，你需使用C#将其集成到你的应用中。Lucene非常复杂，你需要深入的了解检索相关知识来理解它是如何工作的。Elasticsearch是使用Java编写并使用Lucene来建立索引并实现搜索功能，但是它的目的是通过简单连贯的RESTful API让全文搜索变得简单并隐藏Lucene的复杂性。不过，Elasticsearch不仅仅是Lucene和全文搜索引擎，它还提供：分布式的实时文件存储，每个字段都被索引并可被搜索实时分析的分布式搜索引擎可以扩展到上百台服务器，处理PB级结构化或非结构化数据而且，所有的这些功能被集成到一台服务器，你的应用可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互。上手Elasticsearch非常简单，它提供了许多合理的缺省值，并对初学者隐藏了复杂的搜索引擎理...

2017-01-09

520

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。