Linux 基金会托管 PaSh 项目,为工业用例使用自动并行化加速 Shell 脚本
Linux 基金会宣布它将托管 PaSh 项目。PaSh 是一个用于自动并行化 POSIX shell 脚本的系统,可以优化程序并加快执行时间,为数据科学家、工程师、生物学家、经济学家、管理员和程序员带来更快的结果。
该项目由麻省理工学院(MIT)、莱斯大学(Rice University)、史蒂文斯理工学院(Stevens Institute of Technology)和宾夕法尼亚大学(University of Pennsylvania)支持,并由一个技术指导委员会(Technical Steering Committee)管理,该委员会包括麻省理工学院(MIT)的研究科学家 Nikos Vasilakis;史蒂文斯理工学院助理教授 Michael Greenberg;以及宾夕法尼亚大学博士生 Konstantinos Kallas。
“Linux 基金会提供了技术治理基础设施和服务,这是随着 PaSh 变得更加成熟而需要的,”PaSh 项目技术指导委员会主席 Nikos Vasilakis 说。“我们创建这个项目是为了改进和加速 shell 脚本的执行,以应对新的 web 爬行、索引和自然语言处理的变化。”
PaSh 项目技术指导委员会成员 Konstantinos Kallas 补充说:“由于一些协同趋势,PaSh 受到了学术界的高度关注,并有可能在当今的工业中产生巨大的影响。这是正确时间的正确举措。”
支持该项目的技术已经获得了几个奖项,包括第 16 届 EuroSys 会议的最佳论文奖,以及计算机协会(Association of Computing Machinery)颁发给 Konstantinos 的研究生研究奖。
从简洁的数据处理和日常处理到系统编排和管理,shell 脚本——用不同语言开发的始终存在的粘合剂命令——构成了当今计算用户空间的支柱。PaSh 并行化 shell 脚本,实现了显著的性能改进。在现代多处理器计算机上,PaSh 可以执行诸如 web 爬行和索引、与 COVID19 相关的分析、自然语言处理等任务,以及其他工作负载,而开发人员的工作量几乎为零。
“Shell 脚本已经被广泛使用了半个世纪,最近的‘容器化’趋势只增加了它们的重要性。”PaSh 项目技术指导委员会成员 Michael Greenberg 说:“几十年来,正确和自动化的 shell 脚本并行化一直是个问题。PaSh 承诺为所有 shell 用户提供速度提升。”
为了加速 shell 脚本,PaSh 提供了一个源到源的并行编译器,该程序接受程序员的 shell 脚本作为输入,并返回一个比原程序快得多的新程序。由于 PaSh 是源对源的,因此它允许使用与原始脚本相同的工具、相同的环境和相同的数据来检查和执行优化的 shell 脚本。一个小型的运行时库以及在 shell 脚本中常用的程序上的相关注释,为 PaSh 编译器提供了高性能的原语并支持其关键功能。
“PaSh 项目代表了计算机科学和开源软件的创新,”Linux 基金会项目总经理和高级副总裁 Mike Dolan 说。“随着软件开发发展到解决机器学习、容器化、人工智能等问题,PaSh 为需要更多脚本工具的开发人员和数据科学家提供了支持。我们很高兴能够在 Linux 基金会托管这项重要的工作,这是一个像这样的项目的自然家园。”
要了解更多信息并参与 PaSh 项目,请访问http://binpa.sh/。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
实践 | 百信银行基础设施容器化改造之路
【百度云原生导读】作为国内首家国有控股的互联网银行,百信银行致力于用AI加速金融数字化、普惠化。在面临传统架构存在的弹性伸缩不够、资源浪费严重等问题时,百信银行借助百度天合Stack容器云平台,完成了技术架构云原生转型与容器化落地,大大提升了资源使用效率和研发效率。 本文整理自百信银行智能云部云基础设施团队负责人王超在百度技术沙龙上进行的名为《银行级客户基础设施容器化改造实践》的演讲,全文5300字,预计阅读时间14分钟。 1. 为什么要做容器化改造? 1.1百信银行基础设施现状 首先,百信银行(以下简称『百信』)的基础设施架构是基于百度智能云和 OpenStack 开源项目按照金融行业标准和需求进行的加固订制,可以部署和管理私有云基础架构,对数据中心基础设施的计算、网络等硬件资源进行虚拟化。 其次,百信当前的微服务治理架构中金融网关主要实现了 Mesh 的功能,包括服务的发现、治理、熔断等。在此基础上的服务治理平台,会从金融网关加载相关配置和数据,包括监控平台,交易监控、链路监控、APM、TPM等等,通过这些数据再做一些数字化运营、数字化分析、调用链分析等。 再者,百信...
- 下一篇
亿级流量系统架构演进之路
海量用户同时进行高频访问对任何平台都是难题,也是行业乐此不疲的研究方向。但值得庆幸的是,虽然业务场景不同,设计和优化的思想却是万变不离宗。本文将结合业务与高并发系统设计的核心技术点,对系统架构调优方案进行深度剖析。 文章根据 Authing 身份云高级工程师罗杰林,在又拍云 Open Talk 技术沙龙北京站所作主题演讲《亿级流量系统架构演进之路》整理而成,现场视频及 PPT 可点击阅读原文查看。 相信大家都同意,互联网发展势头的逐渐凶猛改变了我们很多的生活方式。比如网购、银行转账等业务,不再需要我们必须线下办理,这极大方便了我们的生活。这背后当然也对身为互联网从业人员的我们来说,面临的考验也越来越大,在系统架构升级上也会倾注更大的心血。 认识高并发系统 高并发系统拥有高并发、高性能、高可用,分布式、集群化,安全性等特性。 我们首先来看一下高并发、高性能、高可用,也就是我们经常提到的三高系统。当我们流量非常大的情况下,我们一定要保证这三高。这其中高并发是指要支持很多并发用户,高性能是在高并发的前提下保证优秀的性能,高可用则是保证系统在某一节点出现问题时不会整体宕机且继续持续提供服务。由...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- 2048小游戏-低调大师作品
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Red5直播服务器,属于Java语言的直播服务器
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7