搜索[数据库采集]结果-低调大师优秀个人博客

精选列表

搜索[数据库采集]，共10024篇文章

Springboot2将连接池hikari替换为druid，体验最强大的数据库连接池

前言什么是数据库连接池？

2025-09-05

xtools一款基于JDK25的通用Java工具库

SDK 2.42.34 实现对象存储集成 ip2region 3.3.7 实现离线IP地址定位使用 java-jwt 4.5.1 实现JWT令牌生成与验证集成 OSHI 6.11.1 实现系统信息采集

2026-04-16

微服务架构日志采集运维管理

### 场景描述阿里云日志服务(SLS)结合Kubernetes容器集群日志特点以及应用场景，提供全方位的容器微服务应用环境下的日志采集、处理以及分析的实践解决方案。

2020-02-12

全网最全网络数据采集(爬虫)指南

，我们应该先思考另外一个问题，为何采集爬取数据，只有回答了这个问题，才能理解为什么爬虫这个行业这么火爆，在严刑峻法之前依然有这么多前仆后继，我是这么理解的，围绕数据采集有以下使用场景，且有利益输送，在列举之前

2019-03-06

Logtail 文件日志采集之完整正则模式

前言为了简化文件日志的采集过程，Logtail 提供了按行采集的极简模式：通过换行符来切分日志，每行作为一条日志。

2018-12-16

Kubernets日志采集配置模式介绍与对比

日志服务支持通过Logtail采集Kubernetes（简称K8S）集群日志，并支持CRD（CustomResourceDefinition）和控制台等方式进行采集配置管理。

2018-06-13

Kubernetes中Logtail日志采集CRD配置详解

日志采集配置默认支持控制台配置方式，同时针对Kubernetes微服务开发模式，我们还提供CRD的配置方式，您可以直接使用kubectl对配置进行管理。

2018-06-13

日志采集中的关键技术分析

在这个转变的过程中，日志采集Agent在其中扮演着重要的角色。

2018-06-11

基于TableStore的数据采集分析系统介绍

摘要在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。

2017-11-16

redis（logstash）.conf内容 #服务端配置,logstash抓取redis数据，配置名自取例一 #从redis读数据 input { redis { host => "127.0.0.1" port => 6379 type => "redis-input" data_type => "list" key => "logstash:redis" } } output {#输出到ela stdout {} elasticsearch { cluster => "elasticsearch" codec => "json" protocol => "http" } } 例二 #从redis读数据 input{ redis{ host=>'192.168.233.130' data_type=>'list' port=>"6379" key=>'logstash:redis' type=>'redis-input' } } output{ #输出到ela elasticsearch{ embedded=>true } } logstash-kibama 9292 logstash-redis 6379 logstash-elasticsearch9200 kibana5601 #vimredis（logstash）.conf #日志收集端配置,logstash集被监听日志文件数据，配置名自取 input{#收集监控端日志文件 file{ type=>"producer" path=>"/soft/apache.log" } file{ type=>"php-log" path=>"/soft/php.log" } } filter{#日志内容里面只要有匹配mysql或GET或error的内容就会被过滤出来，发送到logstashindex grep{ match=>["@message","mysql|GET|error"] } } output{#将收集的日志文件发送到redis redis{ host=>'192.168.233.130' data_type=>'list' key=>'logstash:redis' } } 测试程序发送数据->Redis消息队列->Logstash->Elasticsearch集群通过管线化的思路增加索引速度为了解决Redis队列的瓶颈问题，使用多管线机制，来增加整个系统的吞吐量，为此，我们同时部署了多个Redis实例，和对应数量的Logstash实例：测试程序发送数据 -> Redis消息队列1 ->Logstash1-> Elasticsearch集群测试程序发送数据 -> Redis消息队列2 ->Logstash2 -> Elasticsearch集群测试程序发送数据 -> Redis消息队列3 ->Logstash3 -> Elasticsearch集群 ... 采用管线机制的好处是，扩展性是显而易见的本文转自 wdy198622 51CTO博客，原文链接:http://blog.51cto.com/weimouren/1732075

2017-11-11

syslog介绍-CS架构来采集系统日志

syslog架构 Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的。syslog是一种标准的协议，分为客户端和服务器端，客户端是产生日志消息的一方，而服务器端负责接收客户端发送来的日志消息，并做出保存到特定的日志文件中或者其他方式的处理。在Linux中，常见的syslog服务器端程序是syslogd守护程序。这个程序可以从三个地方接收日志消息：（1）Unix域套接字 /dev/log；（2）UDP端口514；（3）特殊的设备/dev/klog（读取内核发出的消息）。相应地，产生日志消息的程序就需要通过上述三种方式写入消息，对于大多数程序而言就是向/dev/log这个套接字发送日志消息。关于syslog的协议介绍在Unix类操作系统上，syslog广泛应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备的syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。完整的syslog日志中包含产生日志的程序模块（Facility）、严重性（Severity或 Level）、时间、主机名或IP、进程名、进程ID和正文。在Unix类操作系统上，能够按Facility和Severity的组合来决定什么样的日志消息是否需要记录，记录到什么地方，是否需要发送到一个接收syslog的服务器等。由于syslog简单而灵活的特性，syslog不再仅限于 Unix类主机的日志记录，任何需要记录和发送日志的场景，都可能会使用syslog。长期以来，没有一个标准来规范syslog的格式，导致syslog的格式是非常随意的。最坏的情况下，根本就没有任何格式，导致程序不能对syslog 消息进行解析，只能将它看作是一个字符串。在2001年定义的RFC3164中，描述了BSD syslog协议： http://www.ietf.org/rfc/rfc3164.txt 不过这个规范的很多内容都不是强制性的，常常是“建议”或者“约定”，也由于这个规范出的比较晚，很多设备并不遵守或不完全遵守这个规范。接下来就介绍一下这个规范。约定发送syslog的设备为Device，转发syslog的设备为Relay，接收syslog的设备为Collector。Relay本身也可以发送自身的syslog给Collector，这个时候它表现为一个Device。Relay也可以只转发部分接收到的syslog消息，这个时候它同时表现为Relay和Collector。 syslog消息发送到Collector的UDP 514端口，不需要接收方应答，RFC3164建议 Device 也使用514作为源端口。规定syslog消息的UDP报文不能超过1024字节，并且全部由可打印的字符组成。完整的syslog消息由3部分组成，分别是PRI、HEADER和MSG。大部分syslog都包含PRI和MSG部分，而HEADER可能没有。 syslog的格式下面是一个syslog消息： <30>Oct 9 22:33:20 hlfedora auditd[1787]: The audit daemon is exiting. 其中“<30>”是PRI部分，“Oct 9 22:33:20 hlfedora”是HEADER部分，“auditd[1787]: The audit daemon is exiting.”是MSG部分。摘自：http://blog.csdn.net/smstong/article/details/8919803 本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/7680507.html ，如需转载请自行联系原作者

2017-11-07

UNIX/Linux系统取证之信息采集案例

UNIX/Linux系统取证之信息采集案例在UNIX/Linux系统取证中，及时收集硬盘的信息至关重要，《Unix/Linux网络日志分析与流量监控》一书中，将详细讨论各种常见系统进程系统调用及镜像文件获取方法

2016-06-18

加油机数据采集设备加油机数据采集器加油机智能采集器液位仪数据采集设备原厂成品油流通数智化综合监管平台技术原理与落地应用解决方案

加油机数据采集设备加油机数据采集器加油机智能采集器液位仪数据采集设备技术原理与落地应用解决方案

2026-09-10

VFBOX网关采集EtherCAT转Modbus协议项目案例

某智能制造工厂的生产线采用EtherCAT协议的控制器（如伺服驱动器、I/O模块等），而工厂的上位机监控系统（SCADA）和MES工控平台仅支持Modbus TCP/RTU协议。为实现生产线数据与上层系统的无缝对接，需要部署协议转换网关，将EtherCAT设备数据转换为Modbus协议数据。

2026-07-15

cprobe —— All-in-One 的探针采集器

cprobe 是一个缝合怪，整合 Prometheus 服务发现的能力以及各类 Exporter 的能力，预期是做一个 All-in-One 的探针采集器。为何有此想法呢？

2023-12-14

Loggie —— 云原生日志采集/处理系统

Loggie是一个基于Golang的轻量级、高性能、云原生日志采集Agent和中转处理Aggregator，支持多Pipeline和组件热插拔，提供了：一栈式日志解决方案：同时支持日志中转、过滤、解析

2022-03-16

采集 Nginx 日志的几种方式，你知道几种？

如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。

2021-09-22

Android端埋点自动采集技术原理剖析

数据中台内容请加入阿里云数据中台交流群—数智俱乐部（文末扫描二维码或点此加入） -阿里云数据中台官网 https://dp.alibaba.com/index （作者：qingliang_hu）定义 APP埋点自动采集是指用户在

2020-07-07

EDAS 专有网络ECS集群应用数据采集实践

本文将就日志采集器进行介绍和技术支持遇到的经典案例进行分享日志采集器示意图日志采集器分为 Server 端和 Client 端。SProxy 是安装在您应用实例上的日志采集器 Client。

2020-01-12

视频采集：iOS平台基于AVCaptureDevice的实现

，负责协调从哪里采集数据，输出到哪里去。

2019-04-03

使用Logtail采集Kubernetes上挂载的NAS日志

采集k8s挂载Nas后的日志该文档主要介绍使用logtail以两种不同的方式进行k8s挂载Nas后的日志采集。

2019-02-25

在 Kubernetes 中使用 Fluent Bit 进行日志采集

Fluent Bit 和 Fluentd 一样，是 Treasure Data 资助的采集工具，二者对比如下： Fluentd FluentBit 范围服务器嵌入设备和 IoT 设备内存约 20

2018-12-13

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。