2018上海云栖大会workshop-日志数据采集与分析对接
日志数据采集与分析对接
课程描述
通过日志服务采集用户、数据库、业务等访问数据。演示对于业务日志分析与处理,程序日志查询与监控,打通日志与数据仓库对接案例。
日志种类
- 网站访问日志
准备步骤 & 依赖
- ECS虚拟机(测试账号已默认创建虚拟机-ECS控制台)
OSSBucket
- 用做数据仓库,存储日志服务同步的各类数据
RAM服务
- 生成RAM角色用于同步日志数据至OSSBucket
操作步骤
日志采集配置
- 登陆日志服务控制台,选择华东1创建日志服务project,其中Project名称全局唯一,建议名称加上登陆账号前缀进行区别
- 登陆日志服务控制台,选择华东1创建日志服务project,其中Project名称全局唯一,建议名称加上登陆账号前缀进行区别
- 创建logstore存储访问日志
- 向导创建NGINX日志采集
配置文件路径(/var/log)和文件名称(access_log),其中NGINX日志配置为:
log_format web_site_com '"$remote_addr




