首页 文章 精选 留言 我的

精选列表

搜索[实时模板],共10000篇文章
优秀的个人博客,低调大师

基于Spark Streaming 进行 MySQL Binlog 日志准实时传输

基本架构 RDS -> SLS -> Spark Streaming -> Spark HDFS 上述链路主要包含3个过程: 如何把 RDS 的 binlog 收集到 SLS。 如何通过 Spark Streaming 将 SLS 中的日志读取出来,进行分析。 如何把链路 2 中读取和处理过的日志,保存到 Spark HDFS中。 环境准备 安装一个 MySQL 类型的数据库(使用 MySQL 协议,例如 RDS、DRDS 等),开启 log-bin 功能,且配置 binlog 类型为 ROW 模式(RDS默认开启)。 开通 SLS 服务。 操作步骤 检查 MySQL 数据库环境。 查看是否开启 log-bin 功能。 mysql> show variables like "log_bin"; +---------------+-

优秀的个人博客,低调大师

rsync+inotify 实现服务器文件实时同步

oneproxy数据库中间件说明 #wgethttp://www.onexsoft.com/software/oneproxy-rhel5-linux64-v6.0.0-ga.tar.gz #tar -zxvf oneproxy-rhel5-linux64-v6.0.0-ga.tar.gz -C /usr/local/ # cd /usr/local/oneproxy/ 1.指定中间件启动的shell脚本和启动文件的程序目录位置 # sed -i 's/^export.*$/export\ ONEPROXY_HOME=\/usr\/local\/oneproxy/g' demo.sh # sed -i 's/^ONEPROXY_HOME=.*$/ONEPROXY_HOME=\/usr\/local\/oneproxy/g' oneproxy.service # cp oneproxy.service /etc/init.d/oneproxy # chmod +x /etc/init.d/oneproxy #chkconfig --add oneproxy # chkconfig oneproxy on 二、oneproxy的管理 启动中间件: 方式一 # sh /usr/local/oneproxy/demo.sh 方式二 关闭中间件: 方式一 # /etc/init.d/oneproxy stop 方式二(需要通过mysql客户端登录控制台使用的管理平台的账号密码,为中间件默认密码) #安装MySQL客户端 # yum install mysql -y # mysql -uadmin -pOneProxy -h127.0.0.1 -P4041 mysql> shutdown force; ERROR 2013 (HY000): Lost connection to MySQL server during query # /etc/init.d/oneproxy start 三、oneproxy的配置 3.1基础配置 3.2管理平台的使用 默认登录管理平台账号密码: # mysql -uadmin -pOneProxy -h127.0.0.1 -P4041 3.2分表规则的 3.3主要参数说明 MySQL节点,与是否真实Master无关,可以用“@”来指定一个集群名字。通常来讲具有复制关系的主备节点,都应当用同一个集群名字,任何一个节点都必须属于一个集群,不指定的话,默认值为“default”。 proxy-slave-addresses,只读节点,只能用来转发读请求的MySQL节点,可以使用多次来指定多台MySQL节点,与是否真实Slave无关,可以用“@”来指定一个集群名字。通常来讲具有复制关系的主备节点,都应当用同一个集群名字,任何一个节点都必须属于一个集群,不指定的话,默认值为“default”。 proxy-user-list,所有后端MySQL节点都需要有这里指定的用户名,口令也要相同,可以用“@”来指定这个用户连接时所用的默认的数据库名,可以使用多次来指定多个用户。 proxy-group-policy,用来指定某个MySQL集群的分流策略,策略“master-only”表示只使用Master,为“read-failover”表示Master不可用时将读切到备,策略“read-slave”表示只读Slave,策略“read-balance”表示读所有的节点,可以使用多次来为不同的MySQL主备设置不同的策略。 proxy-group-security,用来指定某个MySQL集群的安全策略,策略0为无限制,策略1禁用了DDL(默认值),策略2表示一定要有Where条件,策略3表示只允许查询(Select)命令,可以使用多次来为不同的MySQL主备设置不同的策略。 proxy-part-tables,分库分表配置文件,json格式文本,主要包含表的分区逻辑及每个分区的集群位置,详情参考分库分表部份的介绍。 proxy-charset,客户端的字符集信息。 本文转自去轻狂书生51CTO博客,原文链接: http://blog.51cto.com/8999a/1964979 ,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册