搜索[数据流]结果-低调大师优秀个人博客

精选列表

搜索[数据流]，共5172篇文章

Wormhole 大数据流式处理平台之设计思想

作为一个实时大数据流式处理平台，Wormhole的设计目标和设计规范最终都是为流上处理数据而服务。本篇为Wormhole的具体功能做铺垫，下篇系列文章我们将为大家介绍Wormhole的具体功能。

2019-06-28

大数据流处理如何帮助世界新兴市场

还将讨论大数据流处理如何帮助世界新兴市场。什么是大数据? 大数据是指企业在日常运营中遇到的大量结构化和非结构化数据。然而，数据量并不是什么大问题。重要的是，组织为了业务的利益处理这些数据的方式。

2019-06-18

[剑指offer] 数据流中的中位数

本文首发于我的个人博客：尾尾部落题目描述如何得到一个数据流中的中位数？如果从数据流中读出奇数个数值，那么中位数就是所有数值排序之后位于中间的数值。

2018-07-25

大数据时代之hadoop：了解hadoop数据流

了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。

2017-07-02

【Hadoop Summit Tokyo 2016】数据流与Apache NiFi

本讲义出自Aldrin Piri在Hadoop Summit Tokyo 2016上的演讲，主要介绍了什么是数据流以及当前数据流在研发中面临的挑战，并介绍了Apache NiFi的基本概念以及其架构设计

2017-03-01

PieCloudDB Database Flink Connector: 让数据流动起来

Apache Flink 是一个分布式流计算处理引擎，用于在无界或有界数据流上进行有状态的计算。它在所有的通用集群环境中都可以运行，在任意规模下都可以达到内存级的计算速度。

2024-05-31

深入理解 redux 数据流和异步过程管理

前端框架的数据流 前端框架实现了数据驱动视图变化的功能，我们用 template 或者 jsx 描述好了数据和视图的绑定关系，然后就只需要关心数据的管理了。

2021-09-26

实时数据引擎系列(一) : 新鲜的数据流

setPort(27017).setUser("root").setPassword("xxx").withCdc().formatCdc(cacheConfig).build() 来构建一个完整的实时数据流

2021-08-19

在前文「从 Bridge 到 OVS」中，我们已经对 OVS 进行了一番探索。本文决定从 OVS 的整体架构到各个组件都进行一个详细的介绍。 OVS 架构 OVS 是产品级的虚拟交换机，大量应用在生产环境中，支撑整个数据中心虚拟网络的运转。OVS 基于 SDN 的思想，将整个核心架构分为控制面和数据面，数据面负责数据的交换工作，控制面实现交换策略，指导数据面工作。从整体上看，OVS 可以划分为三大块，管理面、数据面和控制面。数据面就是以用户态的 ovs-vswitchd 和内核态的 datapath 为主的转发模块，以及与之相关联的数据库模块 ovsdb-server，控制面主要是由 ovs-ofctl 模块负责，基于 OpenFlow 协议与数据面进行交互。而管理面则是由 OVS 提供的各种工具来负责，这些工具的提供也是为了方便用户对底层各个模块的控制管理，提高用户体验。下面就对这些工具进行一个逐一的阐述。 ovs-ofctl：这个是控制面的模块，但本质上它也是一个管理工具，主要是基于 OpenFlow 协议对 OpenFlow 交换机进行监控和管理，通过它可以显示一个 OpenFlow 交换机的当前状态，包括功能、配置和表中的项。使用时，有很多参数，我们可以通过 ovs-ofctl --help 查看。常用命令： ovs-ofctl show switch-name ：输出交换机信息，包括其流量表和端口信息。 ovs-ofctl dump-ports switch-name：输出交换机的端口统计信息，包括收发包、丢包、错误包等数量。 ovs-ofctl add-flow switch-name：为交换机配置流策略。 ovs-dpctl：用来配置交换机的内核模块 datapath，它可以创建，修改和删除 datapath，一般，单个机器上的 datapath 有 256 条（0-255）。一条 datapath 对应一个虚拟网络设备。该工具还可以统计每条 datapath 上的设备通过的流量，打印流的信息等，更过参数通过 ovs-dpctl --help 查看。常用命令： ovs-dpctl show ：显示所有 datapath 的基本信息。 ovs-dpctl dump-dps ：显示所有 datapath 的名字。 ovs-dpctl dump-flows DP ：显示一条 datapath DP 上的流信息。 ovs-appctl：查询和控制运行中的 OVS 守护进程，包括 ovs-switchd，datapath，OpenFlow 控制器等，兼具 ovs-ofctl、ovs-dpctl 的功能，是一个非常强大的命令。ovs-vswitchd 等进程启动之后就以一个守护进程的形式运行，为了能够很好的让用户控制这些进程，就有了这个命令。详细可以 ovs-appctl --help 查看。 ovs-vsctl：查询和更新 ovs-vswitchd 的配置，这也是一个很强大的命令，网桥、端口、协议等相关的命令都由它来完成。此外，还负责和 ovsdb-server 相关的数据库操作。常用命令： ovs-vsctl show ：显示主机上已有的网桥及端口信息。 ovs-vsctl add-br br0：添加网桥 br0。 ovsdb-client：访问 ovsdb-server 的客户端程序，通过 ovsdb-server 执行一些数据库操作。常用命令： ovsdb-client dump：用来查看ovsdb内容。 ovsdb-client transact ：用来执行一条类 sql。 ovsdb-tool：和 ovsdb-client 要借助 ovsdb-server 才能进行相关数据库操作不同，ovsdb-tool 可以直接操作数据库。 OVS 源码结构 OVS 源码结构中，主要包含以下几个主要的模块，数据交换逻辑在 vswitchd 和 datapath 中实现，vswitchd 是最核心的模块，OpenFlow 的相关逻辑都在 vswitchd 中实现，datapath 则不是必须的模块。ovsdb 用于存储 vswitch 本身的配置信息，如端口、拓扑、规则等。控制面部分采用的是 OVS 自家实现的 OVN，和其他控制器相比，OVN 对 OVS 和 OpenStack 有更好的兼容性和性能。从图中可以看出 OVS 的分层结构，最上层 vswitchd 主要与 ovsdb 通信，做配置下发和更新等，中间层是 ofproto ，用于和 OpenFlow 控制器通信，并基于下层的 ofproto provider 提供的接口，完成具体的设备操作和流表操作等工作。 dpif 层实现对流表的操作。 netdev 层实现了对网络设备（如 Ethernet）的抽象，基于 netdev provider 接口实现多种不同平台的设备，如 Linux 内核的 system, tap, internal 等，dpdk 系的 vhost, vhost-user 等，以及隧道相关的 gre, vxlan 等。数据转发流程通过一个例子来看看 OVS 中数据包是如何进行转发的。 1）ovs 的 datapath 接收到从 ovs 连接的某个网络端口发来的数据包，从数据包中提取源/目的 IP、源/目的 MAC、端口等信息。 2）ovs 在内核态查看流表结构（通过 hash），如果命中，则快速转发。 3）如果没有命中，内核态不知道如何处置这个数据包，所以，通过 netlink upcall 机制从内核态通知用户态，发送给 ovs-vswitchd 组件处理。 4）ovs-vswitchd 查询用户态精确流表和模糊流表，如果还不命中，在 SDN 控制器接入的情况下，经过 OpenFlow 协议，通告给控制器，由控制器处理。 5）如果模糊命中， ovs-vswitchd 会同时刷新用户态精确流表和内核态精确流表，如果精确命中，则只更新内核态流表。 6）刷新后，重新把该数据包注入给内核态 datapath 模块处理。 7）datapath 重新发起选路，查询内核流表，匹配；报文转发，结束。总结 OVS 为了方便用户操作，提供了很多管理工具，我们平常在使用过程中只需记住每个工具的作用，具体的命令可以使用 -h 或 --help 查看。对云计算感兴趣的小伙伴可以关注我的微信公众号：aCloudDeveloper，专注云计算领域，坚持分享干货。

2017-12-23

用puthivestreaming把hdfs里的数据流到hive表

全景图： 1. 创建hive表 1 2 3 4 5 6 7 CREATE TABLE IF NOT EXISTS newsinfo.test( name STRING ) CLUSTERED BY (name)INTO 3 BUCKETS ROW FORMAT DELIMITED STORED AS ORC TBLPROPERTIES( 'transactional' = 'true' ); 1 2. 这里用了ReplaceText生成 json 数据（正式环境可以直接从hfs里取到） 3. 用ConvertJSONToAvro转换json 到avro { "name": "dtu", "type": "record", "fields":[ { "name":"name","type": "string" } ] } 4.PutHiveStreaming 本文转自疯吻IT博客园博客，原文链接：http://www.cnblogs.com/fengwenit/p/5928368.html，如需转载请自行联系原作者

2017-11-05

Apache Flink Task执行之数据流处理流程源码分析

Flink Task执行之数据流处理流程源码分析从这里的分析已经知道我们编写的代码最终被封装成Flink Task并在一个while循环中由一个线程中不断执行，本篇文章将进一步了解Flink Task

2020-10-04

PiFlow v0.7 发布：大数据流水线系统

PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。

2020-06-02

Stream 分布式数据流的轻量级异步快照

这是一种适用于现代[数据流]执行引擎的轻量级算法，可最大限度地减少空间需求，让快照发生时对系统的影响降到最低。

2018-04-17

用Spark机器学习数据流水线进行广告检测

在这篇文章中，我们Spark的其它机器学习API，名为Spark ML，如果要用数据流水线来开发大数据应用程序的话，这个是推荐的解决方案。关键点：了解机器学习数据流水线有关内容。

2017-07-31

从Chukwa到Keystone ：Netflix 的数据流水线演进

2015 年 12 月，Netflix 新的数据流水线 Keystone 上线。本文将介绍近年来 Netflix 数据流水线的演进。这是介绍新的 Keystone 数据流水线系列文章的第一篇。

2017-07-02

OpenAL播放pcm或wav数据流-windows/ios/android(一)

OpenAL播放pcm或wav数据流-windows/iOS/Android(一) 最近在研究渲染问题，本文采用openal做pcm和wav数据流播放，并非本地文件，demo是windows的，ios

2017-05-10

28-TransferQueue从单controller数据流走向流式数据系统

第 27 篇把 data movement 拆成 DataProto序列化、driver 侧合并、Ray object 和 DataProtoFuture。第 28 篇继续往前走：如果 controller 上的数据回流已经成为结构性压力，系统能不能不要让每个 rollout 结果都先回到 controller，再由 controller 拼出完整 batch？

2026-07-27

案例分享｜Alluxio数据流转方案在联通智网的应用

同时，由于中间的本地 HDFS 集群存在性能瓶颈，导致整体数据流转速度变慢；数据中转存在安全风险：非 Kerberos HDFS 集群，无身份认证仍可访问，存在数据泄漏的安全风险；带宽与硬件限制性能

2025-01-16

支持 Upsert、Kafka Connector、集成 Airbyte，Milvus 助力高效数据流处理

，我们已经透露过 Milvus（Zilliz Cloud）为提高数据流处理效率，先后支持了 Upsert、 Kafka Connector、Airbyte，而这些功能的作用都是简化数据处理和集成流程，

2023-12-01

开源大数据流水线系统PiFlow V1.5 发布

大数据流水线系统PiFlow V1.5版本正式发布，该版本新增多语言组件扩展功能：基于容器技术，通过将领域模型算法内置于容器内部，打通上下游数据通路，实现不同语言（Python/R等）组件扩展。

2023-05-11

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。