日志数据采集与分析对接

课程描述

通过日志服务采集用户、数据库、业务等访问数据。演示对于业务日志分析与处理，程序日志查询与监控，打通日志与数据仓库对接案例。

日志种类

• 网站访问日志

准备步骤 & 依赖

• ECS虚拟机（测试账号已默认创建虚拟机-ECS控制台）

• OSSBucket

  • 用做数据仓库，存储日志服务同步的各类数据

• RAM服务

  • 生成RAM角色用于同步日志数据至OSSBucket

操作步骤

• 日志采集配置

  • 登陆日志服务控制台，选择华东1创建日志服务project，其中Project名称全局唯一，建议名称加上登陆账号前缀进行区别
    

• 创建logstore存储访问日志
  
• 向导创建NGINX日志采集
  

• 配置文件路径（/var/log）和文件名称（access_log），其中NGINX日志配置为：

  log_format web_site_com '"$remote_addr