首页 文章 精选 留言 我的

精选列表

搜索[万物智联],共10000篇文章
优秀的个人博客,低调大师

OpenAtom openKylin 2025年度报告 | 智启全球,根植未来

OpenAtom openKylin是由开放原子开源基金会孵化及运营的开源项目,由基础软硬件企业、非营利性组织、社团组织、高等院校、科研机构和个人开发者共同创立。 社区以“为世界提供与人工智能技术深度融合的开源操作系统”为愿景,旨在于开源、自愿、平等、协作的基础上,共同打造全球领先的智能桌面操作系统开源根社区,推动Linux开源技术及其软硬件生态繁荣发展。

优秀的个人博客,低调大师

案例分享|Alluxio数据流转方案在联通智网的应用

分享嘉宾 陈得泳 - 中国联通大数据平台 SRE 工程师,致力于基于开源生态构建稳定、高效、安全、低成本的大数据集群。 观看完整分享回放 业务背景 统一底座和安全基座位于不同IDC; 统一底座:承接 O 域全域网络数据,包括移动网信令、告警、故障、资源以及固网数据等基础数据加工的大数据集群,位于郑州 IDC; 安全基座:是应对网络安全专项支撑的大数据分析平台,位于呼和 IDC。 统一底座加工后的DNS/NetFlow等固网基础数据,支撑安全基座数据分析需求。 数据规律 O 域统一底座每小时生产数据,存储于 HDFS 集群,需要在一小时内传输至安全基座的 HDFS 集群,供业务加工,两套大数据平台都有自己独立的 KDC; 每小时的数据呈规律性波动,日传输数据总量达 310TB,平均每小时约 13TB(波峰 16TB,波谷 4.6TB)。 业务挑战 310TB 的数据分布在 6张 Hive 表,此数据同步任务吞吐性能受限于以下挑战: 带宽受限:因为没有单独的专线,两个 IDC 之间的数据传输复用了共享的带宽,存在 15GB/s 限制 ,避免数据传输任务影响共享带宽中其它跨域交互的业务; KDC 互信:O 域统一底座和安全基座是两套独立的大数据平台,为了避免直接交互,均配置了独立的KDC,KDC 之间不能配置互信,所以需要实现跨KDC 数据传输; 数据校验:每日庞大的数据传输量及众多的任务,为确保数据完整性,采取强化一致性策略、实施严格数据校验机制,以及增量同步技术,用来提升系统的可靠性与数据准确性。 历史方案 历史同步方案基于 Hadoop 的 DistCP 实现,在统一底座和安全基座集群之间建设一套中转集群包含: 非 Kerberos HDFS 作为中转集群; 与源端同 KDC Realm 的 YARN-SRC; 同目标端同 KDC Realm 的 YARN-DST。 方案的实现过程: 使用 YARN-SRC 将统一底座的数据同步至中转集群; 使用 YARN-DST 将中转集群的数据同步至安全基座; 配套调度任务和监控告警。 历史方案的缺陷 数据中转落盘增加时延:数据从 YARN-SRC 到 YARN-DST 的传输过程中,数据会在非 Kerberos HDFS 集群落地一次,然后再上传至目标 HDFS。这种分步传输增加了额外的时延。同时,由于中间的本地 HDFS 集群存在性能瓶颈,导致整体数据流转速度变慢; 数据中转存在安全风险:非 Kerberos HDFS 集群,无身份认证仍可访问,存在数据泄漏的安全风险; 带宽与硬件限制性能:数据吞吐性能受带宽和本地非 Kerberos HDFS 集群硬件资源的双重制约。带宽瓶颈使得数据在不同节点之间传输时出现延迟。同时,本地 HDFS 集群的硬件资源限制了并发处理能力(任务量翻倍),无法充分有效的支撑大量数据同时进行读写。 数据领域的“菜鸟裹裹”— Alluxio数据流转方案 Alluxio 数据流转方案核心优势 提供跨多数据中心和多套 KDC 异构存储集群的统一视图; 具备高吞吐、高可用、高稳定性的数据流转,包括存储拉取、缓存及集群间的数据分发、迁移和拷贝; 传输任务包含:失败重传、校验不通过自动重新提交、文件去重等能力; 具备数据校验功能,增强数据完整性; 配备丰富易用的运维和监控工具。 具体方案应用 将本地 HDFS 中转方案替换为 Alluxio 数据流转方案后,将原有从源 HDFS 拉取到中转 HDFS 集群,和从中转 HDFS 集群上传到目标 HDFS 集群的两次传输动作,优化成从源到目标的直接传输,有如下显著的提升: 减少了中间步骤,大大提高了数据传输效率,减少了性能瓶颈点; 提升了带宽利用率,在数据波峰时,可以接近15GB/s 的带宽上限,相较于原有方案带来约 3x 的性能提升; 实现双 KDC 交互,避免数据落盘,降低数据泄露的安全风险; 提供了丰富的数据分发管控功能和工具。 任务流程 配置任务自动调度,调度前自动扫描; 执行前会比对上下游 HDFS 数据是否一致,如果不一致,则进入下一步; 执行前判断上游是否正在对分区进行数据写入,如果没有,则进行分区数据传输任务; 任务失败或者存在临时目录时会自动等待下次任务执行。 生产效果 基于 Alluxio 数据流转方案的带宽使用情况展示: 从带宽监控来看,12:00–00.00 带宽使用率较高,数据量相对较大,但能保证数据在1小时内传输完成;00.00–10.00 数据量相对较小,30 分钟左右执行完,带宽峰值 15GB/s(35个节点的总带宽),基本上能够打满带宽,说明传输速率相对稳定。 在提供高性能数据下发能力的同时,Alluxio 还提供: 数据下发任务提交、运维的管理工具; 数据下发任务校验功能; 在下发任务部分文件失败、或者校验不通过时,能重新执行下发任务,同时自动带去重能力(已经成功下发的文件自动跳过,不重复进行下发,浪费带宽)。 Alluxio 数据流转方案带来的价值 性能提升显著:跨省机房定时数据传输任务吞吐提升 3 倍以上; 安全风险规避:满足多个不互信 KDC 下 HDFS 集群接入,规避数据泄露风险; 服务与工具优化:提供高可用、可扩展的能力及丰富管理、运维和监控工具; 成本与复杂度降低:相比原有方案,降低硬件、运维人力成本及复杂度。 — end —

优秀的个人博客,低调大师

一觉醒来,发现宇智波佐助在跳芭蕾

阿里通义实验室发布了一个用于可控角色视频合成的通用模型 MIMO,能够模仿任何人在复杂动作和物体交互的场景中的表现。简单讲,用户只要给定一个图像和视频或者动作序列,它就能把给定图像的人物直接替换成视频里面的人物,并且可以控制这个角色的动作和场景进行互动。 具体视频效果见:https://menyifang.github.io/projects/MIMO/index.html 计算机视觉和图形学领域的一个基本问题是,3D作品通常需要多视角捕捉进行逐个案例训练,这严重限制了它们在短时间内建模任意角色的适用性。最近的2D方法通过预训练扩散模型打破了这一限制,但在姿势通用性和场景交互方面仍然存在困难。 MIMO是一种新颖的可泛化模型,它不仅可以根据简单用户输入合成具有可控属性的角色视频,这些可控属性包括角色、动作和场景,MIMO 还能同时实现对任意角色的高级可扩展性、对新型3D动作的通用性以及对互动现实世界场景的适用性,所有这些都在一个统一框架中完成。 MIMO的核心思想是将2D视频编码为紧凑空间代码,同时考虑到视频发生固有的3D特性。用户可以输入多项数据:单个图像作为角色,一系列姿势作为动作,以及单个视频/图像作为场景。MIMO模型能够将这些目标属性嵌入潜在空间,以构建目标编码,并通过空间感知分解将驱动视频编码为空间编码,自由地按特定顺序整合潜在编码,从而实现直观的合成属性控制。 最后,明明介绍页面在一本正经讲核心原理,突然看到这里的坤哥,真的绷不住。 项目主页:https://menyifang.github.io/projects/MIMO/index.html

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册