搜索[并行文件系统]结果-低调大师优秀个人博客

精选列表

搜索[并行文件系统]，共10000篇文章

合肥全面推行工程招投标"暗标"评审：AI类人评审+暗标双轨并行，投标逻辑彻底重构

2026 年 8 月 20 日，合肥市公共资源交易监督管理局发布《关于推行工程建设项目"暗标"评审有关工作的通知》。文件核心一句话：

2026-08-27

IPD的基础理论与框架——（七）并行工程：实现降本增质，缩短开发及上市周期的“秘密武器”

IPD（集成产品开发）体系应运而生，成为众多企业提升产品开发能力的法宝，而并行工程则是IPD体系中的关键密码，对企业产品开发有着不可估量的重要性。从时间维度来看，并行工程能够大幅缩短产品上市时间。

2026-07-31

Meta 本周启动新一轮大裁员：8000 个岗位被裁，AI 投资与劳动力削减并行

Meta 本周正式启动新一轮大规模裁员，约 8000 个岗位被裁，同时该公司大幅增加 AI 领域投资，2026 年资本支出指引提升至最高 1450 亿美元。这一举措标志着 Meta 首席执行官马克·扎克伯格对裁员的态度已发生根本性转变。早在 2022 年底，当 Meta 首次宣布裁员 11000 人、最终扩大至 21000 人时，扎克伯格曾表达悔意。他在一封致员工的信中表示："我犯了错误，我为此承担责任。"彼时 Meta 股价正经历自由落体式下跌。2023 年初，他将这些裁员描述为 Meta"效率之年"的一部分。然而，三年后的今天，最新一轮裁员于本周三启动，裁员比例约为 10%。公司同时取消了 6000 个待招聘岗位的补充计划。根据知情人士透露，Meta 今年还计划在 8 月进行另一轮裁员，随后在秋季再进行一次裁员。此次裁员紧随今年 1 月 Reality Labs 部门约 1000 人的裁员，以及 3 月影响数百名员工的另一次缩减。Meta 还决定停止使用第三方供应商和承包商来处理内容审核任务，转而使用 AI 取而代之。与此形成鲜明对比的是，Meta 正大幅加码 AI 投资。上个月，公司将 2026 年资本支出指引提升至最高 1450 亿美元，较此前预期增加 100 亿美元。在宣布裁员前一周，Meta 告诉员工，这些缩减是"我们持续努力提高公司运营效率的一部分，并使我们能够抵消其他投资领域的支出。" 值得注意的是，这一次扎克伯格没有任何道歉。Meta 拒绝就此置评。在财报电话会议上，首席财务官苏珊·李表示，高管们"并不真正知道公司未来的最佳规模应该是什么"。谈及 AI 投资时，她说："到目前为止，我们的经验是，即使在大幅增加产能的情况下，我们仍然继续低估了我们的计算需求——随着 AI 的不断进步，我们的团队不断发现引人注目的新项目和新举措。" 整个科技行业从业者正在目睹一个矛盾现象：股价飙升、AI 初创公司估值暴涨的同时，雇主们却因为 AI 日益强大的能力而裁员。截至 2026 年，已有近 137 家科技公司约 11 万人被裁。根据 Layoffs.fyi 的数据，照此速度，裁员数量可能逼近 2023 年的峰值——当年有超过 26 万人被裁。思科是最新一家宣布类似举措的科技巨头。该公司上周在公布季度财报时表示，将削减不到 4000 个岗位。思科 CEO 查克·罗宾斯在一篇题为"我们的前进道路"的博文中写道："在 AI 时代获胜的公司将是那些专注、紧迫，并且不断将投资转向需求最强、长期价值创造最明显领域的公司。"财报公布后，思科股价单日大涨逾 13%，创 2011 年以来最佳单日表现。 Meta 员工对公司状况的不满也在加剧。匿名职业社交平台 Blind 的数据显示，Meta 员工对该公司的整体评分较 2024 年第二季度的峰值下降了 25%，文化评分暴跌 39%。在除薪酬外的所有类别中，Meta 的评分都出现下滑，且明显低于亚马逊、谷歌和 Netflix 等竞争对手。更令员工不安的是，Meta 最近推出了一款名为"模型能力计划"（MCI）的员工追踪工具，旨在从员工的电脑操作中收集数据，包括鼠标移动和键盘敲击。这一工具是 Meta 训练 AI 模型以驱动数字代理人的努力的一部分。员工将该数据追踪工具描述为"反乌托邦式"的，部分工人担心个人信息可能泄露。由于该项目的启动，一些员工的工作电脑速度明显变慢。员工们还发起在线请愿，敦促扎克伯格关闭该项目。华盛顿大学福斯特商学院信息系统助理教授莱奥·布西oux 表示，Meta 是众多正在"改革"其员工队伍和运营以适应"AI 正在改变我们工作方式"这一事实的公司之一。他指出，这种做法可能旨在增加恐惧或压力，将 AI 相关的威胁和裁员作为"推动文化变革的一种武器"；但也可能反映出"糟糕的管理层不知道如何以更让员工舒适的方式实现这一目标"。参考来源： CNBC 原文：https://www.cnbc.com/2026/05/18/metas-layoffs-starting-this-week-underscore-zuckerbergs-ai-reality-.html Layoffs.fyi 数据：https://layoffs.fyi/

2026-05-19

三段式架构的威力：DeepSeek Harness 如何让文件系统、Shell、LLM 全部可替换

系列：DeepSeek Harness 源码实战｜进度 7/16 原文仓库：https://github.com/deepseek-ai/deepseek-harness

2026-09-21

go-fastdfs 分布式文件系统 v1.4.7 发布，增加（删除文件名特殊字符）选项

go-fastdfs 是一个基于 http 协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。

2024-09-27

Linux云计算集群架构师->第7章-文件系统基本权限和高级权限管理

# 第7章-文件系统基本权限和高级权限管理 (上课时间2021-06-21，笔记整理时间2021-06-26) **本节所讲内容：** **7.1 文件的基本权限：r w x （UGO）** **7.2

2021-06-28

《iOS取证实战：调查、分析与移动安全》一第3章文件系统和数据存储3.1 介绍

第3章 文件系统和数据存储 3.1 介绍移动取证分析的一个关键方面是掌握哪些数据能够被恢复、这些数据存储在哪里，以及更重要的是如何访问这些数据。

2017-07-31

Docker核心实现技术(命名空间&控制组&联合文件系统&Linux网络虚拟化支持)

联合文件系统 联合文件系统（UnionFS）是一种轻量级的高性能分层文件系统，它支持将文件系统中的修改信息作为一次提交，并层层叠加，同时可以将不同目录挂载到同一个虚拟文件系统下，应用看到的是挂载的最终结果

2017-03-19

全链路并行+调参，割接从4小时缩到40分钟

凌晨两点，我盯着同步延迟的监控面板。源端数据库的变更日志不断堆积，目标端数据库的CPU只跑到了35%。当时用的是默认的串行同步模式，一条链路把增量同步拖成了龟速。业务方等着割接窗口，数据却还在路上慢慢爬。

2026-08-14

基于 ACK Fluid 的混合云优化数据访问（三）：加速第三方存储的读访问，降本增效并行

作者：车漾前文回顾：本系列将介绍如何基于 ACK Fluid 支持和优化混合云的数据访问场景，相关文章请参考：基于 ACK Fluid 的混合云优化数据访问（一）：场景与架构基于 ACK Fluid 的混合云优化数据访问（二）：搭建弹性计算实例与第三方存储的桥梁在前一篇文章《搭建弹性计算实例与第三方存储的桥梁》中，介绍如何通过 ACK Fluid 接入第三方分布式存储，可以实现弹性计算实例 ECI 和 ECS 与云下存储系统之间的访问和数据传输，这实际上解决上云的第一阶段问题：连通性。而对于生产环境来说，如果云上计算访问云下存储系统变成一种常态，就需要考虑性能、成本和稳定性。比如每年的云上访问线下数据的专线成本是多少？云上计算任务耗时和原有 IDC 计算任务相比是否有明显的落差？以及一旦专线出了问题，如何降低云上计算任务的损失？在本文中将重点介绍如何加速第三方存储访问，实现更好的性能，更低的成本以及降低对专线稳定性的依赖。概述即便云上计算能够以 Kubernetes 的标准化协议 PV 存储卷访问企业的线下存储，也无法避免在性能，成本上的挑战和需求：数据访问带宽有限和高延时：云上计算访问云下存储带来的数据访问延时和带宽有限，导致高性能计算耗时长，计算资源利用率低数据冗余读取，网络费用昂贵：深度学习模型的超参调优、自动调参深度学习任务等运行期间会不断重复访问同一数据。但是由于 Kubernetes 原生调度器无法感知数据缓存状态，导致应用调度的结果不佳，缓存无法重用，导致数据重复拉取引入更多外网和专线费用。线下分布式存储是数据并发访问的瓶颈，而且面临着性能和稳定性方面的挑战：当大规模算力并发访问线下存储且深度学习训练的 IO 压力增大，线下分布式存储很容易成为性能瓶颈。这会对计算任务造成影响，甚至会导致整个计算集群失效。受网络稳定性影响严重：一旦公共云和数据中心之间网络不够稳定，会导致数据同步出错，应用处于不可用的状态。数据安全需求：元数据和数据需要保护，不允许够持久化到云盘上。 ACK Fluid 提供了基于 JindoRuntime 的 PV 存储卷通用加速能力，可以支持满足 PVC 的第三方存储简单，快速，安全的获得通过分布式缓存实现数据访问加速能力，可以带来如下好处： 1. 零适配成本：只需要实现 CSI 协议中 PVC 的第三方存储即可以立即使用，无需额外开发。 2. 数据访问性能大幅提升，提升工程效率： a. 通过基于访问和策略数据预热等手段实现访问云下数据性能等同于数据位于云上计算集群b.弹性数据访问带宽应对高并发，数据访问吞吐提升到数百 Gbps，也可以缩容到 0，实现低成本和高吞吐的动态平衡。 c. 数据缓存亲和感知调度避免跨网络数据访问降低延迟 3. 避免热点数据的反复读取，节约网络成本：通过分布式缓存将热点数据持久到云上，减少数据读取，降低网络流量。 4. 以数据为中心的自动化运维实现高效的数据访问，提升运维效率：包括自动化和定时的数据缓存预热，避免反复拉取数据数据。还支持数据缓存扩容，缩容和清理，实现数据缓存的自动化管理。 5. 通过分布式内存缓存避免元数据和数据落盘，更加安全：对于数据安全敏感用户，ACK-Fluid 提供分布式内存缓存一方面性能好，另一方面也避免用户对于数据落盘的担忧。总结： *ACK Fluid 为云上计算访问第三方存储 PVC 提供了开箱即用，高性能，低成本，自动化和无数据落盘*的收益。演示 1.前提条件已创建 ACK Pro 版集群，且集群版本为 1.18 及以上。具体操作，请参见创建 ACK Pro 版集群 [ 1] 。已安装云原生 AI 套件并部署 ack-fluid 组件。重要：若您已安装开源 Fluid，请卸载后再部署 ack-fluid 组件。  未安装云原生 AI 套件：安装时开启 Fluid 数据加速。具体操作，请参见安装云原生 AI 套件 [ 2] 。已安装云原生 AI 套件：在容器服务管理控制台的云原生 AI 套件页面部署 ack-fluid。  已通过 kubectl 连接 ACK 集群。具体操作，请参见通过 kubectl 工具连接集群 [ 3] 。已创建需要访问存储系统对应的 PV 存储卷和 PVC 存储卷声明。在 Kubernetes 环境中，不同的存储系统有不同的存储卷创建方式，为保证存储系统与 Kubernetes 集群的连接稳定，请根据对应存储系统的官方文档进行准备。注意：对于混合云场景，为了数据的安全性和性能，建议您将数据访问模式配置为只读。 2.查询 PV 存储卷和 PVC 存储卷声明的信息执行如下命令，查询 Kubernetes 中 PV 存储卷和 PVC 存储卷声明的信息。 $ kubectl get pvc,pv 预期输出： NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE persistentvolumeclaim/demo-pvc Bound demo-pv 5Gi ROX 19h NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/demo-pv 30Gi ROX Retain Bound default/demo-pvc 19h PV存储卷 demo-pv 的容量为 30GB，支持 RWX 访问模式，已被绑定到 PVC 名称为 demo-pvc 的存储卷声明上，均可正常使用。 3.创建 Dataset 和 JindoRuntime 1）创建 dataset.yaml 文件，以下 Yaml 文件中包含两个待创建的 Fluid 资源对象，分别是 Dataset 和 JindoRuntime Dataset：所需挂载的 PVC 存储卷声明信息。 JindoRuntime：待启动的 JindoFS 分布式缓存系统配置，包括缓存系统 Worker 组件副本数，以及每个 Worker 组件最大可用的缓存容量等。 apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: pv-demo-dataset spec: mounts: - mountPoint: pvc://demo-pvc name: data path: / accessModes: - ReadOnlyMany --- apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: pv-demo-dataset spec: replicas: 2 tieredstore: levels: - mediumtype: MEM path: /dev/shm quota: 10Gi high: "0.9" low: "0.8" 配置文件中资源对象的详细参数说明如下。 2）执行如下命令，创建 Dataset 和 JindoRuntime 资源对象 $ kubectl create -f dataset.yaml 3）执行如下命令，查看 Dataset 的部署情况 $ kubectl get dataset pv-demo-dataset 预期输出：说明初次启动 JindoFS 缓存系统时涉及镜像拉取过程，因为网络环境等因素的影响，可能需要耗时 2~3 分钟。Dataset 处于 Bound 状态，表明 JindoFS 缓存系统已在集群内正常启动，应用 Pod 可正常访问 Dataset 中定义的数据。 4.创建 DataLoad 执行缓存预热由于首次访问无法命中数据缓存，应用 Pod 的数据访问效率可能较低，Fluid 提供了 DataLoad 缓存预热操作提升首次数据访问的效率。 1）创建 dataload.yaml 文件，代码示例如下 apiVersion: data.fluid.io/v1alpha1 kind: DataLoad metadata: name: dataset-warmup spec: dataset: name: pv-demo-dataset namespace: default loadMetadata: true target: - path: / replicas: 1 上述资源对象的详细参数说明如下所示。 2）执行如下命令，创建 DataLoad 对象 $ kubectl create -f dataload.yaml 3）执行如下命令，查看 DataLoad 状态 $ kubectl get dataload dataset-warmup 预期输出： NAME DATASET PHASE AGE DURATION dataset-warmup pv-demo-dataset Complete 62s 12s 4）执行如下命令，查看数据缓存状态 $ kubectl get dataset 预期输出： NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE pv-demo-dataset 10.96GiB 10.96GiB 20.00GiB 100.0% Bound 3m13s DataLoad 缓存预热操作完成后，数据集的已缓存数据量（CACHED）已更新为整个数据集的大小，代表整个数据集已被缓存，缓存百分比（CACHED PERCENTAGE）为 100.0%。 5.创建应用容器，访问 PV 存储卷中的数据 1）使用如下 YAML，创建 pod.yaml 文件，并修改 YAML 文件中的 claimName 名称与步骤二创建的 Dataset 名称相同 apiVersion: v1 kind: Pod metadata: name: nginx spec: containers: - name: nginx image: nginx command: - "bash" - "-c" - "sleep inf" volumeMounts: - mountPath: /data name: data-vol volumes: - name: data-vol persistentVolumeClaim: claimName: pv-demo-dataset # 名称需要与Dataset相同。 2）执行如下命令，创建应用 Pod $ kubectl create -f pod.yaml 3）执行如下命令，登录 Pod 访问数据 $ kubectl exec -it nginx bash 预期输出： # Nginx Pod中，/data目录下有一个名为demofile的文件，大小为11 GB。 $ ls -lh /data total 11G -rw-r----- 1 root root 11G Jul 28 2023 demofile # 执行cat /data/demofile > /dev/null命令，将demofile文件中的内容读取并写入/dev/null设备中，用时11.004秒。 $ time cat /data/demofile > /dev/null real 0m11.004s user 0m0.065s sys 0m3.089s 由于数据集中的数据已经全部缓存在了分布式缓存系统中，读取数据时将会从缓存中读取，而不是从远程存储系统中读取，从而减少了网络传输，提升了数据访问效率。相关链接： [1]创建 ACK Pro 版集群https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/create-an-ack-managed-cluster-2#task-skz-qwk-qfb [2]安装云原生 AI 套件https://help.aliyun.com/zh/ack/cloud-native-ai-suite/user-guide/deploy-the-cloud-native-ai-suite#task-2038811 [3]通过 kubectl 工具连接集群* https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/obtain-the-kubeconfig-file-of-a-cluster-and-use-kubectl-to-connect-to-the-cluster#task-ubf-lhg-vdb

2023-10-11

c盘删除哪些文件系统就废了，一份删了要重装的黑名单，附具体症状

见过一台改了属主强删 WinSxS 的机器，删完当时还能用，一周后更新装不上、SFC 修不了，最后重装。

2026-08-19

聊聊“文件系统”的底层逻辑

上周帮朋友清电脑，他要删一个十几GB的虚拟机镜像。Windows的删除对话框弹出来，进度条开始龟速蠕动，他盯着屏幕等了快两分钟。我实在看不下去，接过鼠标，打开Linux虚拟机，rm -rf 回车——瞬间完成。

2026-07-13

Rails 6.0 稳定版发布：新增 Action Mailbox 和 Action Text 功能、支持多数据库、并行测试、默认使用 Webpacker 和 Zeitwerk

Rails 6.0 稳定版已正式发布，下面直接来看看有哪些值得关注的更新：用于处理电子邮件的Action Mailbox、提供富本文编辑功能的Action Text、对多数据库的支持、对并行测试的支持、

2019-08-20

go-fastdfs 分布式文件系统 v1.4.2 发布，修复图片缩放过大服务出现退出问题

2021-05-14

Hyperf 发布文件系统组件及 v1.1.22 版本 | 企业级的 PHP 微服务云原生协程框架

更新内容本周主要新增了 文件系统(hyperf/filesystem) 组件，本组件对常用的云存储服务提供了协程化支持，通过合理抽象，程序不必感知存储引擎究竟是本地硬盘还是云服务器，实现解耦。

2020-03-26

[python作业AI毕业设计博客]大数据Hadoop工具python教程１-HDFS Hadoop分布式文件系统

Hadoop分布式文件系统(HDFS:Hadoop Distributed File System)是基于Java的分布式文件系统分布式，可扩展和可移植的文件系统，旨在跨越大型商用服务器集群。

2019-01-27

Hadoop Shell命令（基于linux操作系统上传下载文件到hdfs文件系统基本命令学习）

Apache-->hadoop的官网文档命令学习：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS

2017-08-31

Modbus TCP/IP、UDP、SNMP 三协议并行：以太网温湿度变送器在机房监控中的端口冲突与抓包分析

把 Modbus TCP、UDP 和 SNMP 做成"三协议并行"之后，问题从"单协议轮询瓶颈"变成了"三个协议栈如何在同一颗 MCU 里互不干扰、端口如何分配、报文如何抓、如何判"——这才是高并发机房监控里最硬的工程细节

2026-09-22

低成本上手AIGC和千亿大模型，一行代码自动并行，Colossal-AI再升级

相较于将模型按层切分的“类流水线”分布方式，模型并行可以提高非密集请求下的显存使用效率。

2023-01-04

Ready.Work 0.6.6.rc6 发布，一款原生支持分布式事务、大数据并行计算的微服务框架

Ready.Work 是一款超简单，原生支持分布式事务、大数据并行计算的微服务框架。

2021-11-01

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。