搜索[数据库采集]结果-低调大师优秀个人博客

精选列表

搜索[数据库采集]，共10024篇文章

xtools-app一款基于JDK25,SpringBoot4,SpringCloud的最新微服务脚手架

请求响应日志消息队列RabbitMQ、错误重试任务调度异步任务总线、任务记录限流降级Sentinel、BlockException处理通用配置公共配置项代码生成模块数据源管理多数据源、连接测试表结构管理数据库同步

2026-06-09

MySQL8.0.19开启GTID主从同步CentOS8

GTID模式介绍一、GTID Replication介绍从MySQL5.6开始增加了强大的GTID（Global Transaction ID，全局事务ID）这个特性，用来强化数据库的主备一致性，

2025-09-05

如何写一个日志采集工具

如何写一个日志采集工具背景一系列分布式架构、容器技术的发展促进了软件开发、交付、qa的效率，在架构的演化上，主要可以看到2类变化，一个变化是系统层面，从单体系统向微服务的方向演进，一个是资源方面，逐步细分

2018-11-13

转载: iOS音视频实时采集硬件编码

其中的swift版的viewcontroller是视频采集部分，供参考。 OC部分包括了音视频的采集以及编码。

2018-06-03

基于TableStore/MaxCompute的数据采集分析系统介绍

摘要在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。

2017-12-28

数据平台数据处理流程图数据准备：主要分为几个来源：FTP数据来源，合作方推送的数据，从携程对外开放的API接口获取数据，酒店管理系统日志数据以及在线旅行社网站的数据源。数据接入：针对数据多来源的特性开发针对特定场景的数据接入方式。 a.FTP来源的数据：采用shel脚本开发，包括检查数据是否准备就绪、开始下载、解密解包、lzop压缩、put方式上传文件到HDFS b.合作方推送的数据：搭建简单的web服务，接受携程推送的请求，利用Nginx完成请求负载，并利用Nginx记录请求中的数据，写入文件。后续通过日志收集系统获取数据（其实可以从合作方直接将数据推送Kafka的） c.合作方API接口数据：开发程序形成生产者消费者模式，生产者将任务写入队列，消费者从队列中获取任务并利用线程池并发从合作方API接口获取数据 d.PMS日志数据：主要由开源Flume组件完成 e.网站数据：利用爬虫抓取网站数据 3.数据存储：分为实时和离线数据存储两种方式，分别通过Kafka和HDFS进行存储 4.数据处理：在数据处理环节，主要利用MapReduce和Spark进行数据处理任务的开发。 5、数据查询：将Hive定义在数据查询这一流程，用户在使用数据平台过程中，通过Hive对数据进行查询。本文转自巧克力黒 51CTO博客，原文链接：http://blog.51cto.com/10120275/2044014，如需转载请自行联系原作者

2017-11-06

基于DataHub采集数据的营销报告分析

1 DataHub采集数据阿里云的datahub提供了接口可将项目中产生的数据同步到Datahub中，并实时同步到MaxCompute项目对应的表中。下面介绍如何利用DataHub收集数据。

2017-07-30

LVS+keepalived+rsyslog部署日志采集UDP协议

本文原创，禁止转载，版权所有，违者必究，本文中略有带过的东西，设计到工作环境架构，可以留言探讨，谢谢。 LVS部署部署环境： Centos 6.5 64 安装软件包 ipvsadm-1.24.tar.gz keepalived-1.2.7.tar.gz kernel-devel-2.6.18-402.el5.x86_64.rpm rsyslog-8.4.0-1.el6.x86_64.rpm rsyslog-relp-8.4.0-1.el6.x86_64.rpm rsyslog-udpspoof-8.4.0-1.el6.x86_64.rpm popt-1.13-7.el6.x86_64.rpm popt-1.13-7.fc13.src.rpm 安装所需依赖包： yum install -y popt-static kernel-devel make gcc openssl-devel lftplibnl* popt* openssl-devel lftplibnl* popt* libnl* libpopt* gcc+ 关闭防火墙： Iptables -F service Iptables save 修改selinux sed -i 's/SELINUX=enforcing/#SELINUX=enforcing/'/etc/selinux/config sed -i 's/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/'/etc/selinux/config echo -e "SELINUX=disabled" >>/etc/selinux/config 安装IPvsadm 1、创建内核软链接，不然编译会报错 *重要 2.6.32-642.el6.x86_64/ 内核版本重要一步 2、安装软件包 cd ipvsadm-1.24 3、开启或重启 /etc/init.d/ipvsadm start stop --------------------------------------- 安装keepalived 安装依赖包 yum -y install openssl-devel popt-devel libnl-devel cd /usr/local/src/ tar -xzvf keepalived- 1.2.7.tar.gz 这里本文用到轮询加DR 进入配置文件 vim /etc/keepalived/keepalived.conf 重启配置文件 /etc/init.d/keepalived restart 重启配置文件安装rsyslog的步骤我就不再叙述了和上面差不多一样修改rsyslog.conf

2016-09-29

利用Spark Streaming实现分布式采集系统

系统处理结构 QQ20160529-1@2x.png 采集元数据源，目前存储在ES里采集系统会定时到ES里获取元数据，并且执行特定的收集逻辑通过采集系统的一定的算子，将数据格式化，接入Kafka 通过标准

2016-09-10

硬件同步 vs 软件同步：多相机采集怎么选

简介：多相机采集要做的第一件事，是让几路画面属于同一个物理瞬间。实现只有两条路：硬件同步靠共同时钟与外触发，把曝光锁在同一时刻；软件同步让各机先独立采集，再用时间戳在后端对齐。

2026-09-11

PLC数据采集网关的核心功能与作用

PLC数据采集网关的核心功能是实现工业现场设备与企业上层系统之间的数据桥梁作用。具体来说，它的核心功能和作用包括：

2026-08-20

网络爬虫：在数字丛林中采集信息的艺术

想象一下：互联网是一个无边无际的图书馆，有万亿个书架（网页），每个书架上摆满了书籍（信息）。你想找到某类信息，不可能一本本去翻。于是你制作了一个"智能机器人"，告诉它："去把和'数据分析'相关的所有书摘抄回来。"这个机器人就是网络爬虫。

2026-08-17

Kubernetes 容器日志采集最佳实践：DaemonSet vs Sidecar 模式

摘要：在 Kubernetes 集群中，日志采集是保障可观测性的基石。本文深入对比 DaemonSet 与 Sidecar 两种主流采集模式的原理、优劣和适用场景，结合腾讯云 CLS 的落地实践，帮

2026-08-03

阿里云为何要将数据采集开发套件开源

作者：望宸数据采集正成为决定 Agent 品质的核心基础设施随着 Agent 的不断演进和供应链的持续繁荣，数据采集正从传统的运维工具进化成为决定 Agent 品质的核心基础设施。为什么这么说呢？

2026-02-04

ModStartCMS v5.1.0 数据采集接口，登录自动注册

处理关联模型功能增强 [新功能] JS弹窗组件回调新增参数 [新功能] Grid新增pageJumpEnable可配置页码跳转 [新功能] Text组件新增autoTrim可配置自动去除首尾空格 [新功能] 数据采集接口支持

2022-11-02

ModStartBlog v6.0.0 博客标签页面，采集接口增强

七牛云、融云、赛邮、UCloud、云片、网易云） V6.0.0 版本更新 2022 年 10 月 25 日 ModStartBlog 发布 v6.0.0 版本，增加了以下 12 个特性： [新功能] 数据采集接口支持

2022-10-25

【公开课】Kubernetes 日志采集与监控告警

本节课主要分为以下四个部分： 1.容器日志采集与管理 Kubernetes 日志处理方案 2.容器监控指标的采集与管理以Prometheus 为核心的统一监控方案 3.Demo 演示云原生环境日志采集与指标监控

2021-05-12

谷歌和苹果（仍然）大规模采集用户隐私数据

谷歌和苹果公司近来在用户隐私保护和透明度方面高调行事，例如Google上月宣布停止Chrome第三方cookie，而苹果公司则在iOS14中禁止开发者不经用户同意采集IDFA(广告客户识别码)，后者是广告行业跨应用追踪消费者

2021-04-05

使用 DataFlux 采集 Elasticsearch 性能指标并展示

DataFlux包含五大功能模块： Datakit 采集器 Dataway 数据网关 DataFlux Studio 实时数据洞察平台 DataFlux Admin Console 管理后台 DataFlux.f

2020-05-31

分布式及高可用元数据采集原理

如何采集元数据? 元数据采集是指获取数据生命周期中的元数据，对元数据进行组织，然后将元数据写入数据库中的过程。

2019-10-16

13行代码实现：Python实时视频采集（附源码）

13行代码实现：Python实时视频采集（附源码）一、前言本文是《人脸识别完整项目实战》系列博文第3部分：程序设计篇（Python版），第1节《Python实时视频采集程序设计》，本章内容系统介绍：基于

2019-04-07

湖北分布式智能数据采集方法有哪些？

随着大数据、人工智能等互联网信息技术的发展和应用，数据量的不断增加，政企单位应该如何对庞大的数据系统进行有效的管控以及数据采集分析？什么是分布式数据采集？

2019-03-11

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。