首页 文章 精选 留言 我的

精选列表

搜索[nat],共1634篇文章
优秀的个人博客,低调大师

Nat. Biotechnol. | 全球溶解性有机质分子数据库

DRUGONE 溶解性有机质(DOM)是地球碳循环的重要组成部分,也是自然界化学组成最复杂的有机物库之一。然而,由于DOM包含数百万种结构各异的小分子,长期以来缺乏系统性的分子资源,限制了人们对微生物碳循环、生态系统功能及有机碳长期保存机制的理解。传统傅里叶变换离子回旋共振质谱和二维核磁共振能够揭示整体组成,却难以实现大规模分子结构鉴定和不同生态系统之间的直接比较。 研究人员构建ENVnet,这是首个覆盖全球多种生态系统的溶解性有机质分子资源库。ENVnet整合1389份环境样品,包括419份新采集样品和970份公开数据,涵盖海洋、河流、湖泊、农田、森林、泥炭地、冻土及地下水等13类环境。研究人员进一步开发质谱去卷积算法和REM-BLINK分子网络算法,从560余万条串联质谱数据中解析得到超过22000个高质量分子特征,并建立全球DOM分子网络。利用ENVnet,研究人员揭示了DOM跨生态系统共享的核心分子组成和环境特异性分子模式,并进一步建立机器学习模型预测DOM在微生物作用下的稳定性,为碳循环研究提供了新的分子资源平台。 ![](https://developer.qcloudimg.com/http-save/yehe-11978211/b220d09190e35130c21d6b328bc45ff4.png) 溶解性有机质广泛存在于土壤、河流、湖泊、海洋以及地下水中,是连接植物、微生物和全球碳循环的重要物质基础。每年大量有机碳通过DOM在不同生态系统之间迁移,其形成、转化和降解过程直接影响全球碳储存及气候变化。 近年来,宏基因组测序已经能够精细描绘参与碳循环的微生物群落组成,但与之相比,人们对于DOM本身的化学组成仍知之甚少。其主要原因在于DOM由数量极其庞大的天然有机分子组成,不同分子往往具有相近的质量和保留时间,传统质谱分析获得的大量串联质谱通常属于多个分子的混合碎片谱,即所谓嵌合质谱。这使得大多数环境代谢组数据无法像医学代谢组学一样建立标准质谱数据库。 虽然近年来提出了分子网络分析、质量差异匹配等方法,但仍无法直接获得适用于全球生态系统的大规模DOM分子资源。因此,建立统一、高质量、可持续更新的DOM分子数据库成为环境代谢组学的重要目标。 研究人员据此提出ENVnet,希望通过新的质谱解析算法和全球环境数据整合,构建能够跨生态系统比较DOM组成、解析分子结构并预测碳循环过程的开放资源平台。 **方法** 研究人员首先整合MassIVE公共数据库中的环境代谢组学数据,并新增419份来自农田、干旱区、泥炭地、冻土、地下水、热带森林及河流等环境的新样品,共获得1389份DOM样本。所有样品均采用液相色谱–串联质谱分析,累计获得560余万条MS/MS谱图。针对环境代谢组学中普遍存在的嵌合质谱问题,研究人员开发新的去卷积算法,将混合碎片谱自动分离为单分子谱图,并进一步利用REM-BLINK算法建立分子网络。随后结合MS-BUDDY、SIRIUS、CSI:FingerID和CANOPUS等工具完成分子式预测、结构推断和化学类别注释。最终构建ENVnet分子资源,并进一步利用土壤培养实验训练梯度提升树模型预测DOM分子的微生物稳定性,同时结合SHAP分析解释影响DOM稳定性的关键化学特征。 **结果** **ENVnet建立全球DOM分子资源** 研究人员首先建立ENVnet整体资源库。数据库覆盖海水、淡水、土壤和国际腐殖酸标准物质四大类样品,并进一步细分为海洋、湖泊、地下水、泥炭地、农业土壤、热带森林、永久冻土等13类生态环境。 经过计算去卷积,560余万条原始串联质谱最终得到约470万条高质量纯碎片谱,再进一步聚类获得22128个唯一分子特征,每个分子均对应唯一母离子质量和碎片模式。 由于环境代谢物标准品极其有限,仅约4.5%的分子能够直接匹配已有质谱库。为提高注释能力,研究人员进一步结合多种计算工具完成分子式、候选结构及化学类别预测,使全部分子均获得不同层次的结构注释。最终ENVnet形成全球最大的DOM分子网络,为后续环境比较和结构分析提供统一基础。 ![](https://developer.qcloudimg.com/http-save/yehe-11978211/146e949ba388a2aaf3c4b17b5c9a9def.png) 图1:ENVnet整体构建流程,包括全球环境样品采集、串联质谱去卷积、分子网络建立及分子资源库构建。 **去卷积算法显著提高复杂环境质谱解析能力** 研究人员进一步验证去卷积算法性能。实验发现,在所有环境样品中,仅约29%的串联质谱真正对应单一母离子,而超过70%的谱图同时包含多个共分离分子,因此传统代谢组学方法难以正确解析。 研究人员构建50组人工嵌合质谱进行系统验证。结果表明,新算法能够准确识别真实母离子及对应碎片,母离子识别准确率接近100%,碎片分配同样具有较高准确率和召回率。随后进一步利用MS1数据验证算法推断母离子,约93%的预测能够获得实验支持,其余约7%则被自动剔除。 随后,研究人员提出REM-BLINK分子网络算法。相比传统Modified Cosine算法,REM-BLINK能够同时考虑100余种常见质量差异关系,在精确率–召回率评价中明显优于传统方法,并形成更加符合真实化学关系的分子网络。 ![](https://developer.qcloudimg.com/http-save/yehe-11978211/0769fef1e59e2c258c2b0a2145a3ad89.png) 图2:嵌合质谱去卷积算法性能验证,包括母离子识别、碎片分配准确率及REM-BLINK与传统算法比较。 **全球DOM具有共同核心组成和环境特异性分子** 利用ENVnet,研究人员首次系统比较不同生态系统DOM组成。 结果显示,在22128个分子中,8874个同时存在于多个环境,2088个几乎出现在所有环境中,说明全球DOM存在明显的共同分子基础。 主成分分析进一步表明,不同环境仍具有明显分离趋势。例如海洋DOM、永久冻土DOM和农业土壤DOM分别形成独立聚类,说明虽然存在共同核心组成,但不同生态系统仍具有特征性化学组成。 进一步分析不同化学类别发现,简单酚酸、氨基酸、二羧酸等组成广泛存在于所有环境,而不同萜类化合物则表现出明显环境特异性。例如部分萜类主要富集于森林和土壤,而海洋环境则富集另一类氧化程度更高的小分子。这说明DOM既具有全球共同组成,又保留不同生态系统独特的生物地球化学特征。 ![](https://developer.qcloudimg.com/http-save/yehe-11978211/c135c13ee785427f335be7896070f2e1.png) 图3:ENVnet全球DOM组成分析,包括不同生态系统聚类、共同分子组成及环境特异性化学类别分布。 **ENVnet解析DOM稳定性及碳循环机制** 研究人员进一步利用ENVnet研究DOM在微生物作用下的稳定性。 首先,研究人员建立农业土壤培养体系,在是否添加易降解碳源条件下培养7天,并分析所有DOM分子丰度变化。结果发现,不同化学类别表现出完全不同命运。萜类化合物大多数保持稳定,而低分子量酚酸、木质素衍生物和香豆素等则更容易被降解或重新生成。 随后,研究人员利用ENVnet获得的分子特征训练梯度提升树模型预测DOM稳定性。模型在五折交叉验证中准确率达到约91%,说明DOM稳定性能够通过分子特征可靠预测。 SHAP分析进一步揭示影响稳定性的主要因素。其中,氧碳比(O/C)是最重要决定因素,氧化程度越高,DOM越容易被微生物降解;相反,高氢碳比对应更加还原、脂肪族结构,更容易长期保存。芳香性指数同样影响稳定性,但具体作用依赖于不同结构背景,说明DOM稳定性不仅由元素组成决定,还受到复杂分子结构共同影响。 研究人员进一步将该模型应用于不同环境,包括热带森林、冻土及湖泊等。结果发现,热带森林土壤具有更高比例稳定DOM,而水体环境虽然DOM含量较高,却具有更快微生物更新速度。 最后,研究人员分析不同年代永久冻土。相比约19000年前形成的冻土,约27000年前形成的冻土DOM更加氧化、分子量更高,并富含大量彼此相关的新分子,而不仅仅是已有化合物的保存。这支持长期碳循环过程中DOM不断发生持续转化,而非简单保留原始有机物。 ![](https://developer.qcloudimg.com/http-save/yehe-11978211/9c4ec090e748f1799a6982f98bfb6135.png) 图4:ENVnet预测DOM稳定性,包括土壤培养实验、机器学习预测、SHAP解释及不同环境DOM稳定性比较。 ![](https://developer.qcloudimg.com/http-save/yehe-11978211/25792fbf69ff0330d7fdf7daa8cd5b61.png) 图5:ENVnet分析永久冻土DOM演化,包括不同年代冻土分子组成变化及分子网络分析。 **讨论** 研究人员提出ENVnet,首次建立覆盖全球多种生态系统的DOM分子资源库,为长期缺乏统一分子参考的环境代谢组学提供了基础平台。 研究结果表明,通过去卷积算法和REM-BLINK分子网络,可以有效解决环境样品中长期存在的嵌合质谱问题,大幅提高分子解析能力,使过去难以利用的大规模环境代谢组数据能够用于全球比较分析。 ENVnet进一步揭示,全球DOM既具有高度保守的核心组成,也保留明显环境特异性分子模式,不同生态系统之间主要差异来源于特定生物来源及其持续氧化转化过程,而不是完全不同的化学体系。 研究人员还证明,利用ENVnet可以建立具有良好泛化能力的DOM稳定性预测模型,从分子层面预测微生物周转速度,并进一步解释全球碳储存机制。这为未来碳循环模拟、土壤管理以及生态恢复提供了新的分子工具。 当然,研究人员指出,目前ENVnet仍有大量未知分子仅具有计算预测结构,未来仍需更多标准品验证。同时,当前资源主要基于负离子模式质谱,进一步结合正离子模式、更高分辨率质谱及二维核磁共振等技术,有望持续完善DOM分子资源。 总体而言,ENVnet不仅建立了全球首个开放共享的DOM分子资源库,还实现了从环境代谢组学数据整合、分子结构解析到碳循环预测的完整分析体系,为理解全球碳循环、微生物生态以及环境有机质演化提供了重要的分子基础平台。 整理 | DrugOne团队 **内容为【DrugOne】公众号原创**|转载请注明来源

优秀的个人博客,低调大师

spark大批量读取Hbase时出现java.lang.OutOfMemoryError: unable to create new nat...

这个问题我去网上搜索了一下,发现了很多的解决方案都是增加的nproc数量,即用户最大线程数的数量,但我修改了并没有解决问题,最终是通过修改hadoop集群的最大线程数解决问题的。并且网络上的回答多数关于增加nproc的答案不完整,我这里顺便记录一下。 用户最大线程数可以通过linux下的命令 ulimit -a 查看,屏幕输出中的max user processes就是用户最大线程数,默认通常为1024. 修改这个参数的地方是在/etc/security/limits.conf以及/etc/security/limits.d/90-nproc.conf(可能这个文件的名字会不一样) /etc/security/limits.conf修改如下 * soft nofile 65536 * hard nofile 65536 xxx soft nproc 65535 xxx hard nproc 65535 其中 xxx表示启动hbase的用户,如使用hadoop启动hbase,则配置如下: hadoop hard nproc 65535 hadoop soft nproc 65535 这里说明一下,noproc 是代表最大进程数,nofile 是代表最大文件打开数 然后,一般来说,修改ulimit的数值,只需要修改/etc/security/limits.conf即可,但是这个参数需要修改/etc/security/limits.d/90-nproc.conf。至于为什么需要修改这里,可以看看这篇blog。 在里面添加 hadoop hard nproc 65535 hadoop soft nproc 65535 就修改成功啦。 但这个修改并没有让我的问题得到解决。我从java.lang.OutOfMemoryError入手,怀疑是否是Hbase或者是DataNode的Jvm进程内存不足导致内存溢出。于是使用jmap -heap命令分别查看了各个节点的DataNode,确实发现了有一些DataNode的老年代占有率过高,于是修改hadoop配置文件HADOOP_HOME/etc/hadoop/hadoop-env.sh。在最后添加 export HADOOP_DATANODE_OPTS="-Xmx8192m -Xms256m -Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS" 这个配置的作用是将DataNode的最大内存加到8G,在各个节点修改配置文件,重启DataNode。 再次启动spark读取hbase,确实有一点点改善,但最终还是会报错。 这次我再去查看了hadoop的日志,发现了不一样的错误,java.io.IOException: Premature EOF from inputStream。 再去网上查,发现其原因是文件操作超租期,实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限,总默认值是 4096,该参数取值范围[1 to 8192]。 这不正是和unable to create new native thread有关吗,继续修改整个集群,在HADOOP_HOME/etc/hadoop/hdfs-site.xml中增加以下配置 <property> <name>dfs.datanode.max.transfer.threads</name> <value>8192</value> </property> 再次启动spark任务,操作成功!!

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册