搜索[数据流]结果-低调大师优秀个人博客

精选列表

搜索[数据流]，共5172篇文章

React 数据流

让我们揭开这层纱，透过它的四大通信方式，了解它一、基于props的单向数据流 组件，从概念上类似于Javascript函数。

2021-03-23

Storm概念学习系列之数据流模型、Storm数据流模型

数据流模型 数据流模型是由数据流、数据处理任务、数据节点、数据处理任务实例等构成的一种数据模型。本节将介绍的数据流模型如图1所示。

2017-11-19

Flink-数据流编程模型

2) 核心API 在实践中，大多数应用程序不需要上面描述的低级抽象，而是对核心API进行编程，比如DataStream API(有界或无界数据流)和DataSet API(有界数据集)。

2018-12-17

智慧数据流动极速服务未来

华为在2014华为云计算大会(HCC 2014)举办了主题为“智慧数据流动、极速服务未来”的融合数据迁移解决方案发布会。

2017-08-08

思考Web应用的数据流

这篇文章尝试描述一下稍微正常一点的, 基于数据流来设计架构的一个构想. 由于后端开发经验的欠缺, 我并不打算给出可行的方案. 在开始之前, 先回顾一下实时 Web 应用的架构设计.

2017-07-31

ReactorKit：iOS单向数据流架构

它借助单向数据流完善了React的可组合视图组件。它更多的是一种模式，而不是一种传统的框架。在ReactorKit框架中，用户动作和视图状态都是通过可观测的流传递给每一层。

2017-07-03

MapReduce的数据流程、执行流程

MapReduce的数据流程：预先加载本地的输入文件经过MAP处理产生中间结果经过shuffle程序将相同key的中间结果分发到同一节点上处理 Recude处理产生结果输出将结果输出保存在hdfs

2016-05-12

Scrapy 架构及数据流图简介

Scrapy 组件介绍 Scrapy Engine引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。详细内容查看下面的数据流(Data Flow)部分。

2018-03-12

Elasticsearch Serverless 中的数据流自动分片

传统上，用户会更改数据流的分片配置，以处理各种工作负载并充分利用可用资源。在 Elastic Cloud Serverless 中，我们引入了数据流的自动分片，使其能够根据索引负载自动管理和扩展。

2024-12-30

实战 | 使用 Kotlin Flow 构建数据流 "管道"

单向数据流 △ 加载数据流的过程每款 Android 应用都需要以某种方式收发数据，比如从数据库获取用户名、从服务器加载文档，以及对用户进行身份验证等。

2022-03-23

Flink 在字节跳动数据流的实践

字节跳动数据流的业务背景 数据流处理的主要是埋点日志。埋点，也叫Event Tracking，是数据和业务之间的桥梁，是数据分析、推荐、运营的基石。

2022-01-11

Flink SQL 如何实现数据流的 Join？

其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流，内存压力和计算效率在长期运行来说都是不可避免的问题。

2019-12-17

数据平台数据处理流程图数据准备：主要分为几个来源：FTP数据来源，合作方推送的数据，从携程对外开放的API接口获取数据，酒店管理系统日志数据以及在线旅行社网站的数据源。数据接入：针对数据多来源的特性开发针对特定场景的数据接入方式。 a.FTP来源的数据：采用shel脚本开发，包括检查数据是否准备就绪、开始下载、解密解包、lzop压缩、put方式上传文件到HDFS b.合作方推送的数据：搭建简单的web服务，接受携程推送的请求，利用Nginx完成请求负载，并利用Nginx记录请求中的数据，写入文件。后续通过日志收集系统获取数据（其实可以从合作方直接将数据推送Kafka的） c.合作方API接口数据：开发程序形成生产者消费者模式，生产者将任务写入队列，消费者从队列中获取任务并利用线程池并发从合作方API接口获取数据 d.PMS日志数据：主要由开源Flume组件完成 e.网站数据：利用爬虫抓取网站数据 3.数据存储：分为实时和离线数据存储两种方式，分别通过Kafka和HDFS进行存储 4.数据处理：在数据处理环节，主要利用MapReduce和Spark进行数据处理任务的开发。 5、数据查询：将Hive定义在数据查询这一流程，用户在使用数据平台过程中，通过Hive对数据进行查询。本文转自巧克力黒 51CTO博客，原文链接：http://blog.51cto.com/10120275/2044014，如需转载请自行联系原作者

2017-11-06

扩展数据流的三种方式

地理信息系统（GIS）是许多组织决策和管理过程中的一个重要组成部分。结构良好的地理信息系统（GIS）提供了非常有价值的工具，用于在自然和建筑环境中可视化、分析和查询地理空间数据，以及关于特征和对象的相关信息。因为地理信息系统（GIS）数据库可以包含关于各种特征和地形的信息，所以它通常使用由广泛的输入和数据源产生的信息来构建和维护。随着地理信息系统（GIS）数据应用的扩展，对于从现场收集和提供高质量，可操作的空间数据采用新的高效方法的需求也在增长。满足数据看似无止境的需求，并不总是涉及传统的地理信息系统（GIS）现场技术人员。某些类型的地理空间数据可以由公众产生。在某些情况下，数据收集完全不涉及到人类。数据收集的三种方式当今广泛可用的连接，以及基于互联网的通信选项使得能够采用新的方法来收集和使用地理信息系统（GIS）的信息。我们可以将技术分为三大类：专业人士来源，公众来源和自动获取。来源于专业人员的GIS数据遵循传统的使用人员的路径，他们经过培训并配备了GIS数据采集。技术人员通常具有他们正在收集数据的应用中的专业知识。例如，致力于收集湿地数据的人可能是植物学家，环境科学家或海洋生物学家。与此类似，收集关于道路和高速公路的信息的人员可有接受过土木工程，运输技术或相关学科的培训。尽管来自专业人士来源的地理信息系统（GIS）数据收集的现场设备可以包括消费级设备，例如智能手机或平板电脑，但是许多组织倾向于使用专用设备。这些解决方案可以在困难的环境中工作，并在商业和工业领域提供更高的可靠性和性能。此外，诸如TrimbleGeo7系列手持设备等解决方案，可以产生比标准智能手机和平板电脑提供更高精度的GNSS位置。相比之下，公众数据收集由公众进行，并且几乎不需要资产或技术知识。事实上，参与此活动的大多数人不知道他们正在捕获地理空间数据。虽然该技术可以利用大量潜在的数据收集器，但在评估传入数据时，开发可靠和可操作的信息时面临挑战。在查看公众数据收集时，人们可以确定收集和使用数据的两种常用方法。两者结合地理位置与用户报告的属性或情况。一种方法使用使得公民能够报告关于感兴趣项目的问题或关注的应用。例如，一个人可以报告失效的交通信号，破碎的混凝土人行道，以及道路标志的损坏。该报告通常具有报告该问题的全球导航卫星系统位置，并向负责该问题的市政部门报告。部门审查报告并计划任何所需的维修或维护活动。这种“管理的公众解决方案”还可以包括在完成后向公民反馈，通知他们的报告被听取，并采取行动。反馈有助于鼓励参与，公众希望听到他们的关注已得到解决。对于公众的地理信息系统（GIS）数据的不同方法绕过了市政维护系统的审查和管理。相反，收集的信息被快速地重新分配给其他用户。例如可以在诸如交通报告和车辆路由的应用中找到。驾驶员可以使用智能手机应用程序报告交通堵塞，事故或建筑延误，可以立即与使用该应用程序的其他司机共享。用户可以输入关闭道路或道路状况变化的信息，以更新系统使用的地图。这种接近实时报告具有更大吸引力的能力，可以对交通流有整体好处，但是该方法可能缺乏专业人士来源或管理公众系统中常见的质量控制和分析。第三种技术是自动化的数据采集，帮助地理信息系统（GIS）扩展到新的地理和应用领域。全自动系统可以提供连续的定位和属性信息。例如，岩土监测解决方案利用GNSS或光学技术获取精确的位置信息。数据可以结合地震或结构的传感器模型的行为对地球或人造结构（如建筑物、桥梁、大坝）进行监测。自动传感器也可以连接移动或便携式定位系统。通过将地面穿透雷达或其他传感器与GIS风格的定位设备相结合，可以快速收集数据，以映射地下设施，例如公用设施和隧道。与定位过程结合使用，自动传感器有助于减少去现场的时间，并减少或消除数据捕获和记录过程中的用户错误。其他自动化传感器可以安装在固定位置（由GNSS传感器捕获位置）以报告数据，例如交通，气体,污染物浓度，水位，以及天气等。市政公用事业公司可以将空间数据与物联网（IoT）相结合，以监测诸如水压和流量的参数。在服务中断的情况下，自动化系统可以将设施和传感器的位置与客户报告的地址合并，以查清隔离故障的原因。演变场景不同的数据收集技术正在经历不同的进化路径。由于定制的流程和信息流程，来自专业人士的方法在数据采集中经历了工作效率的提高过程。公众来源的地理信息系统（GIS）正在发展，以便通过复杂的分析和可视化支持的简单的用户交互来接触更多的人。随着人们对其意见和建议的更快响应，公众的参与预计将会增加。对于自动化数据收集，物联网的快速增长将使集成的地理空间和企业解决方案，能够及时提供关于自然和人为特征的数据。了解这三种方法的优势和权衡，使地理空间专业人员能够优化数据采集的成本和结果。这样，他们可以提供客户决策过程中所需的全面及时的信息。这是一个重要的而有价值的服务。本文转自d1net（转载）

2017-07-02

DataFlow Engine 数据流引擎 v9.6.7 发布

DataFlow Engine 数据流引擎 v9.6.7 已经发布此版本更新内容包括：支持MYSQL、ORACLE、达梦、人大金仓、、PostgreSQL数据库以及Elasticsearch之间的数据同步

2024-12-13

每日一博 | 使用 Kotlin Flow 构建数据流

2022-03-29

从 RxJS 到 Flink：如何处理数据流？

这意味着可以在编程语言中很方便地表达静态或动态的数据流，而相关的计算模型会自动将变化的值通过数据流进行传播。

2021-02-22

IoT Studio服务开发MySQL数据流转示例Demo

概述阿里云物联网平台的规则引擎功能支持将数据流转到MySQL数据库，但是仅支持同区域(上海--华东二)的数据流转，这里介绍使用IoT Studio服务开发：云数据库MySQL节点，通过MySQL数据库的公网地址

2020-03-21

数据流监控可视化1树状结构

这里的数据流指数据从前端流向后端的过程中途径的所有组件或者说服务，比如用户的http请求先到Nginx, 再到后端服务1, 再到发现服务，再到缓存服务，再到后端服务2, 然后是数据库，以及其他调用，总的来说就是一个请求进入的路径

2020-03-21

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

React 数据流

Storm概念学习系列之数据流模型、Storm数据流模型

Flink-数据流编程模型

智慧数据流动极速服务未来

思考Web应用的数据流

ReactorKit：iOS单向数据流架构

MapReduce的数据流程、执行流程

从 LiveData 迁移到 Kotlin 数据流

Scrapy 架构及数据流图简介

Elasticsearch Serverless 中的数据流自动分片

实战 | 使用 Kotlin Flow 构建数据流 "管道"

Flink 在字节跳动数据流的实践

Flink SQL 如何实现数据流的 Join？

多来源数据采集、处理的数据流程

扩展数据流的三种方式

DataFlow Engine 数据流引擎 v9.6.7 发布

每日一博 | 使用 Kotlin Flow 构建数据流

从 RxJS 到 Flink：如何处理数据流？

IoT Studio服务开发MySQL数据流转示例Demo

数据流监控可视化1树状结构

资源下载

Nacos

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！

精选列表

React 数据流

Storm概念学习系列 之数据流模型、Storm数据流模型

Flink-数据流编程模型

智慧数据流动 极速服务未来

思考Web应用的数据流

ReactorKit：iOS单向数据流架构

MapReduce的数据流程、执行流程

从 LiveData 迁移到 Kotlin 数据流

Scrapy 架构及数据流图简介

Elasticsearch Serverless 中的数据流自动分片

实战 | 使用 Kotlin Flow 构建数据流 "管道"

Flink 在字节跳动数据流的实践

Flink SQL 如何实现数据流的 Join？

多来源数据采集、处理的数据流程

扩展数据流的三种方式

DataFlow Engine 数据流引擎 v9.6.7 发布

每日一博 | 使用 Kotlin Flow 构建数据流

从 RxJS 到 Flink：如何处理数据流？

IoT Studio服务开发MySQL数据流转示例Demo

数据流监控可视化1树状结构

资源下载

Nacos

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！

Storm概念学习系列之数据流模型、Storm数据流模型

智慧数据流动极速服务未来