首页 文章 精选 留言 我的

精选列表

搜索[apache storm],共10000篇文章
优秀的个人博客,低调大师

***阿里云ECS实战配置虚拟主机 + Apache 配置虚拟主机三种方式

阿里云ECS实战配置虚拟主机 买了一台ECS阿里云服务器,性能感觉有点富余,想着可以陪着虚拟主机多一些WWW目录好放一些其他的程序。比如DEMO什么的。 今天研究了下,主要是就是做基于不同域名的虚拟主机,也就是下面参考方案中的第二个。 1.设置域名映射同一个IP,修改hosts(host文件位置:/etc/hosts): 192.168.1.10abc.com 192.168.1.10 test.tang.cn 2. 跟上面一样,建立虚拟主机存放网页的根目录(本人采用的是XAMPP) /htdocs/abc/1.html /htdocs/test/2.html 3. 在httpd.conf中将附加配置文件httpd-vhosts.conf包含进来,接着在httpd-vhosts.conf中写入如下配置: 就是将httpd.conf文件中的 (位置:/opt/lampp/etc/extra) Include etc/extra/httpd-vhosts.conf 注释去掉 # Virtual hosts Include etc/extra/httpd-vhosts.conf 为了使用基于域名的虚拟主机,必须指定服务器IP地址(和可能的端口)来使主机接受请求。可以用NameVirtualHost指令来进行配置。 如果服务器上所有的IP地址都会用到, 你可以用*作为NameVirtualHost的参数。在NameVirtualHost指令中指明IP地址并不会使服务器自动侦听那个IP地址。这里设定的IP地址必须对应服务器上的一个网络接口。 下一步就是为你建立的每个虚拟主机设定<VirtualHost>配置块,<VirtualHost>的参数与NameVirtualHost指令的参数是一样的。每个<VirtualHost>定义块中,至少都会有一个ServerName指令来指定伺服哪个主机和一个DocumentRoot指令来说明这个主机的内容存在于文件系统的什么地方。 如果在现有的web服务器上增加虚拟主机,必须也为现存的主机建造一个<VirtualHost>定义块。其中ServerName和DocumentRoot所包含的内容应该与全局的保持一致,且要放在配置文件的最前面,扮演默认主机的角色。 注意参考httpd-vhosts.conf中的推荐写法来写,有些没有必要的不用写 <VirtualHost *:80> ServerAdmin abc@163.com DocumentRoot "/opt/lampp/htdocs/abc/" ServerName abc.com ServerAlias www.abc.com ErrorLog "logs/abc.com-error_log" CustomLog "logs/abc.com-access_log" common</VirtualHost> <VirtualHost *:80> ServerAdmin tang@163.com DocumentRoot "/opt/lampp/htdocs/test/" ServerName test.tang.cn ServerAlias www.test.tang.cn ErrorLog "logs/test.tang.cn-error_log" CustomLog "logs/test.tang.cn-access_log" common</VirtualHost> 4. 大功告成,重启服务器,测试下每个虚拟主机,分别访问www.abc.com、test.tang.cn 一、基于IP 1. 假设服务器有个IP地址为192.168.1.10,使用ifconfig在同一个网络接口eth0上绑定3个IP: [root@localhostroot]#ifconfigeth0:1192.168.1.11 [root@localhostroot]#ifconfigeth0:2192.168.1.12 [root@localhostroot]#ifconfigeth0:3192.168.1.13 2. 修改hosts文件,添加三个域名与之一一对应: 192.168.1.11www.test1.com 192.168.1.12www.test2.com 192.168.1.13www.test3.com 3. 建立虚拟主机存放网页的根目录,如在/www目录下建立test1、test2、test3文件夹,其中分别存放1.html、2.html、3.html /www/test1/1.html /www/test2/2.html /www/test3/3.html 4. 在httpd.conf中将附加配置文件httpd-vhosts.conf包含进来,接着在httpd-vhosts.conf中写入如下配置: <VirtualHost192.168.1.11:80> ServerNamewww.test1.com DocumentRoot/www/test1/ <Directory"/www/test1"> OptionsIndexesFollowSymLinks AllowOverrideNone Orderallow,deny AllowFromAll </Directory> </VirtualHost> <VirtualHost192.168.1.12:80> ServerNamewww.test1.com DocumentRoot/www/test2/ <Directory"/www/test2"> OptionsIndexesFollowSymLinks AllowOverrideNone Orderallow,deny AllowFromAll </Directory> </VirtualHost> <VirtualHost192.168.1.13:80> ServerNamewww.test1.com DocumentRoot/www/test3/ <Directory"/www/test3"> OptionsIndexesFollowSymLinks AllowOverrideNone Orderallow,deny AllowFromAll </Directory> </VirtualHost> 5. 大功告成,测试下每个虚拟主机,分别访问www.test1.com、www.test2.com、www.test3.com 二、基于主机名(域名) 1. 设置域名映射同一个IP,修改hosts: 192.168.1.10www.test1.com 192.168.1.10www.test2.com 192.168.1.10www.test3.com 2. 跟上面一样,建立虚拟主机存放网页的根目录 /www/test1/1.html /www/test2/2.html /www/test3/3.html 3. 在httpd.conf中将附加配置文件httpd-vhosts.conf包含进来,接着在httpd-vhosts.conf中写入如下配置: 为了使用基于域名的虚拟主机,必须指定服务器IP地址(和可能的端口)来使主机接受请求。可以用NameVirtualHost指令来进行配置。 如果服务器上所有的IP地址都会用到, 你可以用*作为NameVirtualHost的参数。在NameVirtualHost指令中指明IP地址并不会使服务器自动侦听那个IP地址。这里设定的IP地址必须对应服务器上的一个网络接口。 下一步就是为你建立的每个虚拟主机设定<VirtualHost>配置块,<VirtualHost>的参数与NameVirtualHost指令的参数是一样的。每个<VirtualHost>定义块中,至少都会有一个ServerName指令来指定伺服哪个主机和一个DocumentRoot指令来说明这个主机的内容存在于文件系统的什么地方。 如果在现有的web服务器上增加虚拟主机,必须也为现存的主机建造一个<VirtualHost>定义块。其中ServerName和DocumentRoot所包含的内容应该与全局的保持一致,且要放在配置文件的最前面,扮演默认主机的角色。 NameVirtualHost*:80 <VirtualHost*:80> ServerName * DocumentRoot /www/ </VirtualHost> <VirtualHost *:80> ServerName www.test1.com DocumentRoot /www/test1/ <Directory "/www/test1"> Options Indexes FollowSymLinks AllowOverride None Order allow,deny Allow from all </Directory> </VirtualHost> <VirtualHost *:80> ServerName www.test2.com DocumentRoot /www/test2/ <Directory "/www/test2"> Options Indexes FollowSymLinks AllowOverride None Order allow,deny Allow from all </Directory> </VirtualHost> <VirtualHost *:80> ServerName www.test3.com DocumentRoot /www/test3/ <Directory "/www/test3"> Options Indexes FollowSymLinks AllowOverride None Order allow,deny Allow from all </Directory> </VirtualHost> 4. 大功告成,测试下每个虚拟主机,分别访问www.test1.com、www.test2.com、www.test3.com 三、基于端口 1. 修改配置文件 将原来的 Listen 80 改为 Listen 80 Listen 8080 2. 更改虚拟主机设置: <VirtualHost192.168.1.10:80> DocumentRoot/var/www/test1/ ServerNamewww.test1.com </VirtualHost> <VirtualHost192.168.1.10:8080> DocumentRoot/var/www/test2 ServerNamewww.test2.com </VirtualHost> 如何联系我:【万里虎】www.bravetiger.cn 【QQ】3396726884 (咨询问题100元起,帮助解决问题500元起) 【博客】http://www.cnblogs.com/kenshinobiy/

优秀的个人博客,低调大师

实践心得 | 用 Apache SeaTunnel 搞定 PostgreSQL 到平凯数据库云服务的数据迁移

![](https://developer.qcloudimg.com/http-save/yehe-11851421/6ec8c39b51c946a2143ce5e7559f39a7.jpg) **作者 | bytehouse** ## **一、迁移背景** 我们业务初期采用 PostgreSQL 作为 OLTP 兼分析型数据库,采用本地自建部署方式。实际运维过程中,需要投入大量人力处理数据库高可用架构维护、定时备份、故障恢复等基础工作,运维成本高、复杂度高,且偶尔会出现运维疏漏,存在一定的业务连续性风险。考虑到 平凯数据库云服务 无需本地部署运维、使用便捷,且计费模式灵活可控,我们决定在优先保证业务连续性和稳定性的前提下,尝试将 PostgreSQL 数据库迁移至 平凯数据库云服务,同时也希望通过这次迁移,探索更适合业务的多元化数据存储与分析架构。我们的核心业务为**道路交通卡口数据分析**——基于海量车辆通行记录(车牌、车速、位置、驾驶行为特征等),为交通管理与安全监管提供数据支撑。核心数据表 driving\_data\_jsonb 采用 JSONB + 分区表设计,日均过车记录约 500 万条,单分区存储约 1.5 亿条车辆通行记录(约 60GB),是业务中数据量最大、查询最频繁的表。典型分析场景包括: * **道路拥堵指数分析**:按时间段、路段聚合车流量与平均车速,实时评估道路通行状态 * **区间超速检测**:基于卡口间通行时间与距离,计算车辆区间平均速度,识别超速行为 * **驾驶轨迹分析**:还原车辆行驶路径,分析驾驶习惯与异常行为模式 * **连续驾驶时长监控**:追踪单车连续驾驶时间,配合交通法规(如连续驾驶 4 小时需强制休息)进行预警这类分析查询涉及大量数据聚合与多维交叉计算,对数据库的 OLAP 能力要求较高。 ## **二、迁移环境概览** ### **2.1 ​**​**源端环境** | 项目 | 详情 | | ---------- | ---------------------------------------------------------- | | 数据库 | PostgreSQL 18.2 | | 部署方式 | 本地虚拟机(测试环境) | | 数据库 | traffic(交通数据业务库) | | 核心表 | driving\_data\_jsonb(分区表,单分区约 1.5 亿行 / 60GB) | | 网络出口 | 500Mbps 宽带,直连公网 | ### **2.2 ​**​**目标端环境** | 项目 | 详情 | | ---------- | ----------------------------------- | | 平台 | 平凯数据库云服务(PingKai Cloud) | | 区域 | cn-shanghai(上海) | | 存储消耗 | 约 62.62 GiB | ### **2.3 ​**​**网络拓扑** 源端通过 500Mbps 宽带经公网直连平凯数据库云服务,未部署专线或 VPN。 ## **三、迁移工具选型** 迁移过程中,我们重点对比了 DataX 和 SeaTunnel 两款常用迁移工具。 ![](https://developer.qcloudimg.com/http-save/yehe-11851421/0fcfef471b3c718d5da42ec746b2f6a5.jpg) 结合业务对"及时同步、稳定无丢失"的核心要求,最终选用 **SeaTunnel 2.3.13** 作为迁移工具。 ## **四、SeaTunnel 迁移实战** ### **4.1 ​**​**迁移策略:全量**​**+**​**增量两步走** 由于 SeaTunnel 2.3.13 版本的 PG-CDC 连接器在"全量 + 增量一体化"模式下存在已知 Bug(已向社区反馈并协助修复),我们采用**全量初始化**​**+ ​CDC**​**增量同步两步走**的方案: **第一步**:通过 JDBC PostgreSQL 连接器进行全量数据初始化同步 **第二步**:基于 CDC 增量连接器实现实时数据同步 ### **4.2 ​**​**全量同步配置(Jdbc Source → Jdbc Sink**) 以下为全量同步阶段的核心配置: ``` env { parallelism = 2 checkpoint.interval = 10000 pipeline.name = "PG_TO_TiDB_DRIVING" flink.execution.checkpointing.mode = "EXACTLY_ONCE" flink.execution.checkpointing.timeout = 600000 } source { Jdbc { url = "jdbc:postgresql://:5432/traffic" driver = "org.postgresql.Driver" user = "postgres" password = "******" query = "SELECT record_id, pass_time, plate_no, plate_color, vehicle_type, speed, speed_limit, status, longitude, latitude, speed_variance, lane_change_count, raw_behavior_features, create_time, update_time FROM driving_data_jsonb" column.filters = "update_time" start.time = "2025-01-01 00:00:00" fetch.size = 1000 parallelism = 2 } } sink { Jdbc { url = "jdbc:mysql://:4000/traffic?sslMode=VERIFY_IDENTITY" driver = "com.mysql.cj.jdbc.Driver" user = "******" password = "******" database = "traffic" table = "driving_data_jsonb" generate_sink_sql = true save_mode = "upsert" unique_key = ["record_id"] batch.size = 1000 batch.interval = 1000 parallelism = 2 } } ``` ### **4.3 ​**​**增量同步配置(Postgres-CDC Source → Jdbc Sink**) 全量同步完成后,启动 CDC 增量连接器实时同步源端变更数据: ``` env { execution.parallelism = 1 job.mode = "STREAMING" checkpoint.interval = 5000 } source { Postgres-CDC { username = "postgres" password = "******" database-names = ["traffic"] schema-names = ["public"] table-names = ["traffic.public.driving_data_jsonb"] url = "jdbc:postgresql://:5432/traffic" decoding.plugin.name = "pgoutput" slot.name = "final_slot" startup.mode = "latest" plugin_output = "out" } } sink { Jdbc { url = "jdbc:mysql://:4000/traffic?sslMode=VERIFY_IDENTITY" driver = "com.mysql.cj.jdbc.Driver" user = "******" password = "******" database = "traffic" table = "driving_data_jsonb" generate_sink_sql = true save_mode = "upsert" unique_key = ["record_id"] batch.size = 1000 batch.interval = 1000 parallelism = 2 } } ``` ### **4.4 ​**​**关键配置说明** 以下为全量同步与增量同步中的关键配置项说明: | 配置项 | 说明 | | ---------------------------------- | ----------------------------------------------- | | parallelism = 2 | 并行度设为 2,匹配源端资源 | | checkpoint.mode = EXACTLY\_ONCE | 端到端精确一次语义,保障数据一致性 | | checkpoint.interval = 10000 | Checkpoint 间隔 10 秒,平衡性能与容错 | | save\_mode = upsert | 基于 unique\_key 做 Upsert 写入,避免重复数据 | | unique\_key = ["record\_id"] | 以 record\_id 作为去重键 | | sslMode = VERIFY\_IDENTITY | 平凯数据库云服务强制 TLS 加密连接 | | batch.size / batch.interval | 批量写入 1000 条或每 1 秒刷写一次,取先到者 | | decoding.plugin.name = pgoutput | CDC 增量同步使用 PostgreSQL 原生逻辑解码插件 | | slot.name | 指定逻辑复制槽名称,确保增量数据不丢失 | | startup.mode = latest | 从最新位置开始消费增量数据,避免重复同步 | ### **4.5 ​**​**迁移结果** | 指标 | 数据 | | --------------- | -------------------------------------------------------------------------------------------------------------------------------------------------- | | 全量同步耗时 | 单分区约 12 小时(源端为虚拟机测试环境) | | 增量同步延迟 | 迁移过程顺畅,未出现明显延迟 | | 数据一致性 | 每条记录包含唯一主键 record\_id,Sink 端采用 upsert 模式写入,基于主键去重,确保数据不丢不重。迁移完成后通过源端与目标端的行数比对进行最终验证。 | | Schema 兼容性 | 未遇到 PG → TiDB 的数据类型映射问题 | **说明**:本次迁移优先完成了数据量最大的主表(driving\_data\_jsonb),其他表数据量较小,后续按需同步。 ## **五、踩坑与经验** ### **5.1 PG-CDC**​**连接器**​**Bug** SeaTunnel 2.3.13 的 PG-CDC 连接器在全量 + 增量一体化模式下存在 Bug,导致流程无法正常完成。我们通过社区反馈联系到开发者并协助定位修复,最终采用全量与增量分步执行的方式规避了该问题。 **建议**:使用 SeaTunnel 进行 PG 迁移时,建议优先采用全量 + 增量两步走的方案,稳定性更有保障。如需使用一体化模式,请确认所用版本已修复该问题。 ### **5.2 ​**​**网络带宽影响** 源端部署在本地虚拟机,通过 500Mbps 宽带经公网连接平凯数据库云服务,单分区 60GB 数据全量同步耗时约 12 小时。如果源端部署在云端同区域或使用专线,同步耗时预计可大幅缩短。 ## **六、迁移后业务表现** 迁移至平凯数据库云服务后,最直观的提升就是 **OLAP**​**场景下的业务表现**——统计分析、复杂查询的效率有了明显改善,业务端查询等待时间缩短,查询体验得到优化。后续我们计划结合具体业务场景,进一步探索启用 **TiFlash** 列式存储引擎,以此进一步优化分析查询性能,充分发挥 TiDB HTAP 架构在行列混用场景下的优势。 **说明**:目前我们尚未整理出详细的迁移后业务应用分析结果,具体的查询性能对比数据将在后续补充。 ## **七、总结与建议** **整体评价** 本次 PostgreSQL 到平凯数据库云服务的迁移整体达到了预期目标。SeaTunnel 作为迁移工具表现稳定,全量同步与增量同步均顺利完成,未出现数据丢失问题。平凯数据库云服务在 OLAP 分析场景下带来了可感知的性能提升,同时大幅降低了数据库运维负担。 **给其他**​**PG**​**用户的迁移建议** 1. **工具选择**:推荐 SeaTunnel,连接器生态丰富且社区活跃,JDBC 通用连接器可快速适配 PG 和 TiDB 2. **迁移策略**:建议采用全量 + 增量两步走,稳定性优于一体化模式 3. **数据一致性**:务必开启 EXACTLY\_ONCE Checkpoint 模式,使用 upsert 写入避免重复 4. **网络规划**:源端与 平凯数据库云服务 的网络质量对全量同步耗时影响显著,建议优先使用同云部署或专线连接 5. **安全连接**:平凯数据库云服务 强制 TLS,Sink 端配置 sslMode=VERIFY\_IDENTITY 确保传输加密

优秀的个人博客,低调大师

从 JSON 到 JSONL,Apache SeaTunnel 如何解决HTTP 大数据传输的内存难题?

转载自 | 数仓生态圈 SeaTunnel可以从HTTP中获取数据,一般来说,HTTP会返回一个JSON格式的字符串,SeaTunnel解析JSON后分解出来数据类型,然后输出到目标系统中。 常规来说是没有问题,但是如果这个HTTP请求的数据量过大,对于服务端和客户端的压力就非常大,那么如何解决这个问题呢?那就需要使用流式处理方式JSONL,边生成数据边发送,这样就不需要一次性把数据都放入内存,减少内存的使用量。例如从数据库里面获取1个月的订单,如果总共100万条数据,那么我们可以一次只取5天的数,循环获取和输出,那么就不需要一次性的把100万条数据放入内存中。 ## 一、JSON与JSONL的输出格式 1、JSON 通过HTTP返回JSON样式的数据如下 ``` [ { "id": 1, "name": "a" }, { "id": 2, "name": "b" }] ``` 返回的内容整体是一个JSON格式,数据处理会把返回的整个数据进行处理 2、JSONL 通过HTTP返回JSONL样式的数据如下``` ``` {"id":1,"name":"a"}{"id":2,"name":"b"} ``` 返回的内容整体不是一个JSON格式,而是每行一个JSON类型,并且通过换行来分割其他JSON。 ## 二、区分返回格式的参数 ![](https://developer.qcloudimg.com/http-save/yehe-11851421/d7cef01d0ed10d2545bd04f2fbc51c32.jpg) ## 三、举例 1、先做一个HTTP测试服务,返回上面2种格式 ``` [root@localhost]# curl http://localhost:3000[ { "id": 1, "name": "aaa" }, { "id": 2, "name": "bbb" }][root@localhost]# curl http://localhost:3000/jsonl{"id":1,"name":"aaa"}{"id":2,"name":"bbb"} ``` 2、JSON格式的配置 ``` env { parallelism = 1 job.mode = "BATCH"}source { Http { plugin_output = "http" url = "http://localhost:3000" method = "GET" format = "json" enable_multi_lines = false schema = { fields { id = int name = string } } }}sink { Console { parallelism = 1 }} ``` 输出结果 ``` 2026-07-04 18:13:09,073 INFO [.a.s.c.s.c.s.ConsoleSinkWriter] [st-multi-table-sink-writer-1] - subtaskIndex=0 rowIndex=1: SeaTunnelRow#tableId=Optional[http] SeaTunnelRow#kind=INSERT : 1, aaa2026-07-04 18:13:09,073 INFO [.a.s.c.s.c.s.ConsoleSinkWriter] [st-multi-table-sink-writer-1] - subtaskIndex=0 rowIndex=2: SeaTunnelRow#tableId=Optional[http] SeaTunnelRow#kind=INSERT : 2, bbb ``` 3、JSONL格式的配置 ``` source { Http { plugin_output = "http" url = "http://localhost:3000/jsonl" method = "GET" format = "json" enable_multi_lines = true schema = { fields { id = int name = string } } }} ``` 返回结果和上面相同,如果把`enable_multi_lines`改为`false`,那么结果只会有第一条数据,后面的数据没有获取到。 ## 四、总结 如果是常规的HTTP服务返回1个JSON格式的字符串时,那么就不用管这个参数,它默认就是`false`。如果是流式的JSONL输出格式,那么一定要记住设置`enable_multi_lines`参数为`true`。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码