搜索[并行文件系统]结果-低调大师优秀个人博客

精选列表

搜索[并行文件系统]，共10003篇文章

贝叶斯网络的分解:局部和并行推理

Decomposition for Bayesian Networks: Local andParallel Inference

2026-07-20

并行智能体是否将重塑软件开发模式？

其核心优势很简单：实现真正的多任务并行处理。这并非源于更聪明的 AI 或更优的算法，而是并行化能力的突破。使用的仍是之前的氛围编程工具，只是现在能同时运行多个实例。

2025-11-07

每日一博 | 浅谈 openGauss 3.0 新特性：并行解码

因此，我们设计了并行解码特性，令多个线程协同并行解码从而提高解码性能，在基础场景下解码性能可达到100MBps. 设计思路——为什么考虑并行解码？

2022-04-13

sqltoy-orm 4.15.0 发版，增加并行查询功能

idea 插件(可直接在idea中检索安装): https://github.com/threefish/sqltoy-idea-plugins 更新内容 1、针对特定场景提供多个无先后依赖关系的sql并行执行

2020-08-26

GCC 并行编译大型源代码文件功能的改进

虽然 GNU Make 和其他构建系统可以很好地进行扩展以并发编译大量文件，不过GCC 自身也一直在让 GCC 的更多工作在编译大型源代码文件时能够并行执行。

2020-07-31

PGET，一个简单、易用的并行调用框架

如果是并行获取下游数据，则是不错的。最直接想到的并行获取方法，无非是将一个个获取数据的方法封装成一个个task，然后放到线程池里执行。但这种没经过设计的使用方式，易用性很低，可复用性也很低。

2020-03-03

CUDA 10.2 更新，NVIDIA 推出的并行计算架构

据悉，CUDA 10.2 的重点包括以下几个方面： CUDA 10.2现在将libcu ++作为图形处理器的并行标准C ++库提供。添加了CUDA虚拟内存管理（VMM）API。

2019-11-23

Tomcat 应用中并行流带来的类加载问题

互联网技术微信公众号链接：https://mp.weixin.qq.com/s/f-X3n9cvDyU5f5NYH6mhxQ 作者：肖铭轩、王道环随着 Java8 的不断流行，越来越多的开发人员使用并行流

2019-09-22

curl 7.66.0 发布：支持 HTTP/3 和并行传输

Retry-after：一些服务器不能或不愿意响应时，返回的一个标准HTTP 报头，表示在几秒钟后，或在未来的某个时间，请求可能会得到响应 HTTP/3：这个实验特性在默认情况下是禁用的，但是可以启用（通过设置）并行传输

2019-09-11

Spark 读取 Hbase 优化 --手动划分 region 提高并行数

一. Hbase 的 region 我们先简单介绍下 Hbase 的架构和 region ：从物理集群的角度看，Hbase 集群中，由一个 Hmaster 管理多个 HRegionServer，其中每个 HRegionServer 都对应一台物理机器，一台 HRegionServer 服务器上又可以有多个 Hregion（以下简称 region）。要读取一个数据的时候，首先要先找到存放这个数据的 region。而 Spark 在读取 Hbase 的时候，读取的 Rdd 会根据 Hbase 的 region 数量划分 stage。所以当 region 存储设置得比较大导致 region 比较少，而 spark 的 cpu core 又比较多的时候，就会出现无法充分利用 spark 集群所有 cpu core 的情况。我们再从逻辑表结构的角度看看 Hbase 表和 region 的关系。 Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。 Region由一个或者多个Store组成，每个store保存一个columns family，每个Strore又由一个memStore和0至多个StoreFile 组成。memStore存储在内存中， StoreFile存储在HDFS上。 region是HBase中分布式存储和负载均衡的最小单元。不同Region分布到不同RegionServer上，但并不是存储的最小单元。二. Spark 读取 Hbase 优化及 region 手动拆分在用spark的时候，spark正是根据hbase有多少个region来划分stage。也就是说region划分得太少会导致spark读取时的并发度太低，浪费性能。但如果region数目太多就会造成读写性能下降，也会增加ZooKeeper的负担。所以设置每个region的大小就很关键了。自0.94.0版本以来，split还有三种策略可以选择，不过一般使用默认的分区策略就可以满足需求，我们要修改的是会触发 region 分区的存储容量大小。而在0.94.0版本中，默认的 region 大小为10G，就是说当存储的数据达到 10 G 的时候，就会触发 region 分区操作。有时候这个值可能太大，这时候就需要修改配置了。我们可以在 HBASE_HOME/conf/hbase-site.xml 文件中，增加如下配置： <property> <name>hbase.hregion.max.filesize</name> <value>536870912</value> </property> 其中的 value 值就是你要修改的触发 region 分区的大小，要注意这个值是以 bit 为单位的，这里是将region文件的大小改为512m。修改之后我们就可以手动 split region了，手动分区会自动根据这个新的配置值大小，将 region 已经存储起来的数据进行再次进行拆分。我们可以在 hbase shell 中使用 split 来进行操作，有以下几种方式可以进行手动拆分。 split ‘tableName’ split ‘namespace:tableName’ split ‘regionName’ # format: ‘tableName,startKey,id’ split ‘tableName’, ‘splitKey’ split ‘regionName’, ‘splitKey’ 这里使用的是 split ‘namespace:tableName’ 这种方式。其中 tableName 自不必多说，就是要拆分的表名，namespace可以在hbase的web界面中查看，一般会是default。使用命令之后稍等一会，hbase会根据新的region文件大小去split，最终结果可以在web-ui的"table Details"一栏，点击具体table查看。以上~

2018-12-14

注意两个词汇的区别：并行和并发

* 大家注意两个词汇的区别：并行和并发 * 并行：前者是逻辑上同时发生，指在某一个时间内同时运行多个程序。 * 并发：后者是物理上同时发生，指在某一个时间点同时运行多个程序。

2018-04-02

《并行计算的编程模型》一2.5.1 GASNet工具

2.5.1 GASNet工具在各种系统实现GASNet过程中，开发团队发现需要统一支持的各种抽象。因为同一个团队同时负责了HPC和Titanium语言运行时，相同抽象需要复制三次（包括复杂的autoconf逻辑和C预处理器宏）的特性逐渐凸显出来，除非GASNet为客户端提供了公共实现。因此独立于GASNet规范的“GASNet工具”接口应运而生。当其包含在GASNet中时，可以获得单独的GASNet发布版本而无需GASNet的其他部分（即没有核心或扩展API）。当然，无论是作为GASNet中的一部分还是从独立发布版本中获取的工具，接口都全部记录在文件README-tools中。工具API中的一些功能简单介绍如下所示：内存屏障：例如，用于编写自旋锁构造，特别是对于比x86更弱的内存模型体系架构。原子性：例如用于编写无锁的数据结构。编

2017-08-31

Bluepill：LinkedIn开源的iOS并行UI测试工具

测试的并行运行可同时覆盖多种模拟环境，可扩展性从根本上提供了这种能力。

2017-08-02

大数据系列之并行计算引擎Spark介绍

Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点

2017-08-01

iOS：对GCD中同步、异步、并行、串行的见解

情况一：GCD-同步 GCD中向并行队列加同步任务,实际上都会加到当前线程中。

2017-07-01

Spark Streaming 不同Batch任务可以并行计算么？

同一Stage里的Task一般都是并行的。同一Job里的Stage可以并行，但是一般如果有依赖则是串行,可以参考我这篇文章 Spark 多个Stage执行是串行执行的么？。

2017-03-30

VS Code 和Claude Code这次搞了个“并行聊天”

前几天更新了 VS Code 1.128，发现了一个让我差点以为自己看错了的功能：Claude Agent 会话现在支持多聊天了。

2026-09-01

VS Code Git 工作树（Worktree）：多分支并行开发体验

git worktree add 与 git worktree list 的基本用法

2026-08-22

Disruptor生产和消费模式详解及高级应用（并行模式）

高级使用 6.1 并行模式 6.1.1 单一写者模式在并发系统中提高性能最好的方式之一就是单一写者原则，对Disruptor也是适用的。

2022-09-21

关于并发和并行，Go和Erlang之父都弄错了？

首先，并行和并发都是非常流行的概念，很多编程语言和工具通常都会重点宣传自己“兼具高度并行性和高度并发性”。但我却认为，并行和并发需要的是不同的工具，而对单个工具来说，并行和并发不可兼得。

2022-06-08

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。