【最佳实践】Filebeat实现MySQL日志轻量化发送至Elasticsearch
在今天的文章中,我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。
环境准备
1、准备centos7.4版本 ECS 环境,关闭 selinux、firewall。
2、准备阿里云elasticsearch 6.7 版本环境,并使用创建的账号密码登录Kibana
3、安装 Filebeat 版本为 6.7.0
4、安装 MySQL 版本为 5.6.48
安装 MySQL
我们需要通过以下命令,来对 MySQL 进行安装。
# yum install mysql-server # systemctl start mysqld # systemctl status mysqld ####通过mysqladmin设置root密码##### # mysqladmin -u root password "12
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
JFinal 4.9 发布,持续精雕细琢
JFinal 是一个 Web MVC + ORM + AOP + Template Engine 四合一的极简、极轻量级应用开发框架,至今已迭代发展进入第 10 年。 JFinal 坚持极简设计,迭代近 10 年,却只有 3 万行代码,比传统的同等功能组合类框架要少几十倍的代码量,这使得开发者可以完全掌控其源代码,也成为学习 java 框架设计的绝佳资源。 经过这么多年的迭代,JFinal 已经非常完善、成熟。JFinal 4.9 主要打磨了近半年来开发者的需求与反馈,较大的雕琢有下面这些: 1、重构、优化自带的 json 转换模块 JFinalJson 模块被重新设计,初步测试,性能提升至 jackson 的 3 倍以上。并且添加了一些便利的功能,如下配置可以开启将 Model、Record 字段名转成驼峰格式: JFinalJson.setModelAndRecordFieldNameToCamelCase(); 大量开发者将数据库字段名命名成下划线的格式,如:"user_id",这就造成了与 java 变量名风格的不统一,对代码质量有一定损害。 上述配置只...
- 下一篇
Spark SQL repartition 为啥生成的文件变大了?
记录一个客户问题 客户用Spark SQL的repartition接口来解决Hive ORC表小文件的问题,发现文件膨胀的很厉害 比如原来有1000个小文件,总大小是500MBrepartition(10) 再 insert overwrite之后 10个文件 总大小是2~3GB 但是检查了一下最终的两个分区的 row count是一致的 调查结论 先说一下这两接口不同 repartition 把record完全打乱最终随机插入到10个文件 有Shufflecoalesce 把相邻的分区的数据捏在一起,没有Shuffle 为啥shuffle打乱数据会让最终的表输出文件变大 其实就是 ORC 数据编码问题原来的源分区其实是通过HashPartition的方式分布的,这样的数据分布可以让ORC的编码压缩得更加极致,而repartition完全打乱后导致本来在一个文件的相同记录分布到10个文件,那就是每个文件都有该记录的编码索引,那么最终文件就变大了 所以推荐使用 coalesce 接口来做类似的事情
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,CentOS7官方镜像安装Oracle11G
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Red5直播服务器,属于Java语言的直播服务器
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7