搜索[数据流]结果-低调大师优秀个人博客

精选列表

搜索[数据流]，共5172篇文章

构建高并发AI数据流水线：基于腾讯云CKafka+DataPipeline+TI-ONE的实战

很多团队把“数据工程”等同于“写几个Spark SQL定时跑批”，但在实时推荐、风控、自动驾驶等场景下，数据延迟超过100ms就会导致模型AUC下降0.03，收入损失可达千万级。真正的瓶颈往往不在模型，而在：

2026-08-22

kimi-code 深度掌握系列文章-从一个 Prompt 到完成的数据流向（二）

理解这条数据流是掌握 kimi-code 内部机制的关键。

2026-08-05

美股订单簿失衡做市策略：基于云架构的完整数据流落地实践

在美股微观结构量化研发场景中，订单簿失衡型自动做市是高频报价主流方案。大量研发实践发现普遍存在一致性偏差：基于本地历史数据集完成回测时收益曲线平稳、风控指标可控，但将行情链路、策略服务部署至云服务器进行模拟推演后，双边报价持续偏离合理区间，风控阈值频繁触发告警。

2026-07-20

可信数据流通开发者必看，深度解读隐语密态计算设备SPU（Secretflow Processing Unit）

加入隐语社区，探索可信数据流通的未来！

2025-09-26

【SIGMOD 2023】深度学习弹性数据流水线系统GoldMiner，大幅提升任务和集群效率

我们知道深度学习计算可以被表达为数据流图（DFG），GoldMiner通过对于用户DFG的分析，自动找出其中无状态的子图。

2023-06-21

未来6年，其60%至80%的数据流量将运行在5G网络上

Orange首席技术信息官迈克尔·特拉比亚(Michael Trabbia)在讨论下一代技术的一些商业案例时指出，未来6年，该运营商60%至80%的数据流量将运行在5G网络上。

2020-12-07

数据流被污染？数据质量不高？蚂蚁金服数据资产管理平台了解一下

今年年初，蚂蚁金服ATEC城市峰会在上海举办。金融智能专场分论坛上，蚂蚁金服数据平台部高级数据技术专家李俊华做了主题为《蚂蚁金服数据治理之数据质量治理实践》的精彩分享。演讲中，李俊华介绍了蚂蚁金服数据架构体系的免疫系统——数据质量治理体系，此外还着重介绍了数据质量实施的相关内容，以及蚂蚁的数据质量治理实践与所面对的实际挑战。蚂蚁金服数据平台部高级数据技术专家李俊华一、数据治理概况近年来，蚂蚁金服不断在数据架构上进行升级改造，其目的在于解决蚂蚁所面临的数据物理孤岛问题。如今，蚂蚁以及整个阿里巴巴集团的底座都统一到了同一个平台上，这样当实现第五代数据架构体系升级时，就降低了一站式研发的整体门槛，并使得蚂蚁金服的所有工程师都可以在平台上轻松玩转数据。如今，在蚂蚁的数据架构中已经能够很好地解决数据孤岛问题，而如今在数据治理体系中所需要关注

2019-02-26

Java 学习（25）---（IO流之数据流 / 内存操作流 / 打印流 / 标准输入输出流)

数据流 可以读写基本数据类型的数据数据输入流： DataInputStream DataInputStream(InputStream in) 数据输出流： DataOutputStream DataOutputStream

2018-08-02

云数据流量5年后翻这么多倍

思科称，到2020年时，云数据流量很可能将增长2.7倍，从2015年的每年3.9 ZB增长到2020年的每年14.1 ZB.大数据与其关联的物联网将是推动这一增长的主要力量。

2018-04-09

腾讯云量化工程实践：负载均衡环境股票实时行情数据流完整性保障

在腾讯云基于 CVM、消息队列 CKafka 搭建股票实时行情处理管线，用于策略仿真、批量回测、信号生成的过程中，为提升吞吐能力与服务可用性，很多量化研发人员会采用多 WebSocket 长连接配合负载均衡 CLB 做流量分发。

2026-08-18

主机集群监控工具 WGCLOUD v3.4.4 支持拓扑图数据流动和代码语法高亮显示

WGCLOUD是一款集成度较高的分布式运维监控平台，具有集群监控，易部署、易上手使用、轻量、高效、自动化等特点，server 端基于springboot 开发，agent 端使用 go 编写。核心模块包括：主机系统信息监控，CPU 监控，CPU 温度监控，内存监控，网络流量监控，磁盘 IO 监控，磁盘空间监测，系统负载监控，硬盘 smart 健康检测，应用进程监控，端口监控，docker 监控，日志文件监控，文件防篡改保护，数据可视化监控，自动生成拓扑图、大屏可视化，数通设备监测，服务接口监测，web ssh 堡垒机，指令下发，告警信息（邮件、钉钉、微信等）推送。码云仓库：https://gitee.com/wanghouhou/wgcloud GITHUB 仓库：https://github.com/tianshiyeben/wgcloud WGCLOUD 唯一官网：http://www.wgstart.com WGCLOUD 支持监测的操作系统平台支持监测 Linux 系列：Debian、RedHat、CentOS、Ubuntu、Fedora、麒麟、统信 (UOS)、龙芯 (mips) 等支持监测 Windows 系列：Windows Server 2008 R2，2012，2016，2019，2022，Windows 7，Windows 8，Windows 10，Windows 11 支持监测 Unix 系列：solaris，FreeBSD，OpenBSD 支持监测 MacOS 系列：macOS amd64，macOS arm64 其他支持：ARM，Android（安卓），riscv64，s390x，树莓派等 WGCLOUD-v3.4.4 更新说明 2023-01-29发布 1. 新增，服务接口监测，增加采集响应 body 体积大小 2. 新增，指令下发和自定义监控项模块，支持同时下发多条指令 3. 新增，FTP/SFTP，服务接口，数通监测列表添加开始监控和停止监控按钮 4. 新增，成员账号增加迁移功能，可以将某个账号的所有监控资源迁移到其他账号 5. 新增，公众看板的监控概要和主机列表页面，可以设置自动刷新 (10 分钟一次)，查看说明 6.bug 修复，删除成员账号时候，同时解绑该账号的主机、服务接口、PING、SNMP、数据库、FTP 的账号信息 7.bug 修复，snmp 列表搜索跳转到 ping 列表 8.bug 修复，主机列表按照 cpu%，内存 % 排序不准确的问题 9. 改造，指令下发、自定义监控项、服务接口、数据监控、日志监控模块，原文本域改造为在线代码编辑器 (主要用于语法高亮显示) 10. 改造，数通拓扑图菜单，拆分为 PING 拓扑图和 SNMP 拓扑图 11. 优化，主机判定下线机制更灵敏 12. 优化，主机图表中增加显示告警线 13. 优化，数据开放接口：主机列表、主机 CPU 使用率、主机内存使用率、主机系统负载、主机系统网络流量等接口，增加排序参数 14. 优化改进，日志监控模块性能，主要针对监控体积较大的日志文件时候自动优化，保护系统性能 15. 一些已知的 bug 修复，优化 UI，代码结构优化

2023-01-31

太赞了，Intellij IDEA竟然把Java8的数据流问题这么完美的解决掉了！

从那时起，我们将大部分代码库迁移到lambda表达式、数据流和新的日期API上。我们也会使用Nashorn来把我们的应用中运行时发生改变的部分变成动态脚本。

2020-07-20

《Storm企业级应用：实战、运维和调优》——第3章核心概念和数据流模型

第3章核心概念和数据流模型本章从细节入手，了解Storm的核心概念，包括Stream、Spout、Bolt、Tuple、Task、Worker、Stream Grouping和Topology。

2017-07-02

袋鼠云数栈 DataOps 数据生产力实践，实现数据流程的自动化和规范化

袋鼠云产品团队在帮助企业进行数字化转型实践的过程中，发现很多企业在数据生产链路上都有着相同的问题。包括数据团队聚焦于业务需求短期内的快速交付，内部缺少自顶向下的数据生产管理制度，在数据标准、数据生产流程到研发规范的各个层面均存在不完善与不规范之处；很多环节依赖人工操作，团队协作效率低，业务需求影响慢，存在大量的重复数据建设；先开发后治理的模式也往往导致历史债越来越沉重。数字化转型实践走在前列的企业都在积极寻找数据生产效率提升的办法，而 DataOps 的出现，从理论和实践上形成了一套成熟的解决方案，让上述问题迎刃而解。作为国内领先的数字化基础软件与应用服务商，袋鼠云数栈在7年多的研发历程中为上千家客户提供了数据生产效率提升解决方案，也在这个过程中不断地将 DataOps 的理念融合到产品中，助力越来越多的企业成功实现数字化转型升级。本文将就数栈基于 DataOps 的敏捷、高质量数据生产力实践进行分享，希望对大家有所帮助。 DataOps 基础概念如果说数据中台的崛起代表着企业数字化转型从流程驱动走向数据驱动，从数字化走向智能化。那么 DataOps，则是实现数据中台的一个优秀的理念或方法论。 DataOps 的概念早在2014年即由 Lenny Liebmann 提出，2018年 DataOps 正式被纳入 Gartner 的数据管理技术成熟度曲线当中，标志着 DataOps 正式被业界所接纳并推广起来。信通院和大数据技术标准推进委员会在今年的数据资产管理大会中提出，DataOps（数据研发运营一体化）是一种面向数据全生命周期，以价值最大化为目标的最佳实践。它通过重构企业内数据生产组织、流程和工具，综合利用研发管理、交付管理、数据运维三项核心技术能力，价值运营、系统工具、组织管理、安全风险四项保障能力来实现数据研发运营的一体化、敏捷化、精益化、自动化、智能化、价值显性化理念。目前国内已经有包括工商银行、农业银行、浙江移动、联通数科等企业成功实践了 DataOps，实现了数据生产力的跃迁。数栈基于 DataOps 的数据运营实践数栈是袋⿏云打造的⼀站式⼤数据基础软件，包含⼤数据基础平台、⼤数据开发与治理、数据智能分析与洞察多系列产品，融合 DataOps 数据运营理念，以自主可控、安全创新为技术内核，将全域数据资产进行汇聚、加⼯、治理、服务、分析，为企业提供安全、稳定、易⽤的⼤数据平台，洞察数字化机遇，明确转型方向，创造数据新价值。数栈的 DataOps 实践路线如下图：解决方案层面数栈经过银行、基金、证券、保险、高校、政务、港口、制造等多个行业的实践已经储备了丰富的成功经验，可以根据企业的业务和数字化现状从业务蓝图、数据资产、组织转型、技术选型和实施路径规划方面进行量身设计。针对数据治理过程，数栈将多年沉淀的方法论进行了产品化，以下是结合产品层的一些具体操作分享。数据集成数据集成即将来自业务系统、API、文件等数据源中的数据通过离线或实时的方式抽取到数栈大数据平台的过程。抽取作业的配置是否灵活简便，工具能否适配企业多种多样的数据来源，数据的传输是否稳定，是否存在错漏及抽取性能的优劣是所有用户的核心关注点。数栈自研的分布式批流一体同步工具 ChunJun 给出了优秀的解决方案。基于 ChunJun 实现的数据集成，能够30秒可视化地配置离线和实时数据同步任务，实现多源异构数据的双向同步，可通过提升并发度和设置同步速率上限来灵活地调控同步性能，支持系统异常中断后数据同步的断点续传，支持整库批量生成同步任务，也支持将同步过程中读取或写入异常的数据记录脏数据表进行异常分析。数据抽取完成后元数据也会落到数栈的元数据库，用户可在数据资产的数据地图中进行表元数据查询。数据标准定义、建表规范设计及标准化建表数据资产模块可以对表字段的数据标准进行定义，从词根、码表、字段的业务属性和技术属性上进行定义规范，避免同一字段在不同表中定义、名称不一致等问题。数栈平台内置了部分行业的标准模版，同时也支持数据标准的一键导入，帮助用户快速进行数据标准的建立与管理。建表规范设计中主要支持定义数仓层级、层级的表名模型元素组成和模型元素内容，用于约束后续的数据模型构建中表名的统一规范。基于建表规范，从资产进行标准化建表，配置基础信息时平台会自动关联表所属数仓层级让用户进行技术属性的定义，从而构成标准化表名。基于数据标准，用户在定义表结构时只需填写表字段内容，平台解析后将自动映射到同名数据标准并在执行建表时进行标准覆盖率检测，在规范化的基础上简化建表操作。逻辑模型与指标设计数据模型中展示了最基础的事实表和维表之间的基本关系，方便后续创建指标时，直接基于已经固化好的数据关系进行开发。数栈指标管理平台DataIndex 可按业务进行指标体系梳理，汇总成每个业务领域的指标目录。针对每个指标，可定义其名称、编码、业务口径、加工逻辑、调度属性等信息。数据开发、数据质量校验与代码的统一管理数栈支持离线开发与实时开发两种数据开发模式，下面以离线开发为例介绍数据开发流程。首先管理员可以配置 SQL 开发规范，当前平台内置了一些 SQL 规范检查规则，此外也可根据开发说明自行开发一些检查规则注册到平台。这些检查规则生效后平台将在 SQL 运行前和提交前对代码进行扫描，在扫描结果发现的异常中，若触发的是提示规则，即轻微的不规范，则会给出提示但不影响运行和提交；若触发的是阻断规则，那么数据开发将无法进行运行和提交。以此来事前规避一些高危的 SQL 操作及不必要的占用大量资源的任务运行等情况。用户可在离线开发中通过工作流来编排一个数据开发业务流程，编写每个任务的代码并配置调度属性和任务依赖。在离线开发平台内创建的任务，代码可对接至远端仓库（Bitbucket、GitLab）进行拉取和推送，实现企业内部代码的统一管理，也常用于初始化大数据平台替换时任务的批量迁移。 SQL 代码测试无误并提交后一般由运维人员将任务打包发布至另一个项目，发布过程中将前置校验发布包内容是否完整，可在数栈审批中心开启发布审批流程，由审批角色把控发布的规范性和影响。针对金融场景下测试和生产环境网络隔离的情况，发布过程也可对接企业内部统一的审批中心，审批通过后通过 jenkins 等工具完成跨网络的发布包传输实现任务投产。同时有两个十分重要的问题：数据生产出来如何评估质量？出现质量问题时能否及时中断业务流程并通知开发人员及时处理？数据资产平台DataAssets 支持单表和多表质量校验，单表校验内置完整性、准确性、规范性、唯一性校验规则，用户也可以通过自定义 SQL 来进行个性化的数据校验；多表校验可实现两张表的数据比对，例如可以在数据同步场景中校验源端和目标端数据读写是否存在错漏。当质量任务和离线任务产生关联时，通过配置质量校验的强弱规则和告警可实现重要质量问题及时中止任务流的运行并通知相关开发人员。数据服务经过数栈平台生产的数据可通过 API、自助查询、数据同步至外部库的方式对外提供服务，常应用于报表、大屏、标签、数据门户等上层数据应用。安全管理 ● 用户认证支持对接企业的单点登陆，支持 LDAP、Oauth2 等认证方式，可配置多层级的 Kerberos 认证。 ● 数据权限管理数栈平台层可实现 Hadoop 下的数据权限管理，可将数据进行自动识别划分成不同的等级，在特定的 Hadoop 版本下也支持对接 Ranger 开启引擎的权限策略，另外也可对接企业已有的数据权限管理体系。 ● 审批流程对接表、API 等数据资源的权限申请，数据标准、离线任务的发布等涉及权限点变更或内部上线的流程均可对接数栈内的审批中心进行管理。 ● 操作审计任务运行、表的 DDL 操作、增删用户、权限申请等所有关键操作都会记录审计列表。未来数栈还将继续完善数据治理全链路，通过产品体验优化、工具智能升级提升数据生产的质量和效率，不断为企业数据价值的发挥提供动力和保障。《数栈产品白皮书》：https://www.dtstack.com/resources/1004?src=szsm 《数据治理行业实践白皮书》下载地址：https://www.dtstack.com/resources/1001?src=szsm 想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=szkyzg 同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」，交流最新开源技术信息，qun号码：30537511，项目地址：https://github.com/DTStack

2023-08-09

鸿蒙内核源码分析(管道文件篇) | 如何降低数据流动成本 | 百篇博客分析OpenHarmony源码 | v70.01

百篇博客系列篇.本篇为: v70.xx 鸿蒙内核源码分析(管道文件篇) | 如何降低数据流动成本 | 51 .c .h .o 文件系统相关篇为: v62.xx 鸿蒙内核源码分析(文件概念篇) | 为什么说一切皆是文件

2021-09-12

网传阿里云监控用户数据流量？官方第一时间回应在此！

“阿里云监控用户的数据流量?”“真的假的?”随着一张朋友圈截图的出现，这则不知真假的消息在大半个 IT 科技圈流传开来。

2017-07-02

MongoDB 文档迁移到关系数据库：从字段盘点到可重跑、可对账的数据流水线

MongoDB 的文档模型适合快速迭代：同一个集合中的文档可以拥有不同字段，嵌套对象和数组也能直接保存。随着系统进入报表、对账、权限管理或跨系统交换阶段，这种灵活性可能转化为迁移成本：目标关系数据库要求明确的列类型、主键、外键和约束，而源数据的字段存在缺失、类型漂移、重复嵌套和历史脏数据。

2026-08-10

再度事件相机：DVXplorer S Duo的双路数据流如何分工？事件、图像与边缘计算的一体化思路

事件相机系统有一个常见矛盾：事件流适合快速变化和低延迟，普通图像适合颜色、纹理和人眼理解；如果把两台相机或两个计算节点分别处理，系统又会增加同步、标定和数据传输复杂度。

2026-08-25

腾讯云原生量化工程实践：基于美股实时盘口深度数据流构建自适应 OBI 订单簿失衡指标

基于腾讯云 CVM、时序数据库 CTSDB、消息队列 CKafka 搭建美股日内高频仿真、大规模批量回测管线时发现，多数量化研发人员建模仅依赖 K 线、分时成交量等滞后行情指标。这类数据仅能在价格走势成型后完成归因，无法提前捕捉盘口多空资金切换的前置信号。

2026-08-17

解锁事务消息，发力大数据流计算，Apache RocketMQ 开发者再聚深圳，干货满满获开源爱好者好评

7月29日，阿里中间件（Aliware）联合阿里巴巴技术协会，在深圳举办了Apache RocketMQ毕业后的第二次线下Meetup。当天现场的700名和线上三个直播平台的开源技术爱好者一起，与活动现场的Committer及Contributor就RocketMQ的CI/CD、最终一致性事务、金融领域的最佳实践、流计算生态、以及开源社区生态建设等话题展开深入探讨。本次活动不仅促进了开源社区的发展壮大，也推进了消息技术及规范的进一步发展。据统计，报名活动页面浏览量58000次，报名人数达2034人，线上3大平台直播，总PV超过17000，UV接近7500。 Aliware Open Source•深圳站现场海报 Apache RocketMQ Contributor,丁磊作为主持人开场致辞，简单回顾了RocketMQ的发展历程，Roc

2018-08-01

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。