首页 文章 精选 留言 我的

精选列表

搜索[工具模块],共10000篇文章
优秀的个人博客,低调大师

Kubeflow v1.7 发布,K8s 机器学习工具

Kubeflow v1.7 可以利用开发者的 Python 知识来构建无缝的工作流程,而不需要 Kubernetes CLI 命令,也不需要为每次迭代构建容器镜像。通过多个组件中的新 UI,开发人员可以将配置参数与日志联系起来,这使他们能够快速分析结果。当与 Kubeflow 的 pythonic 工作流程和 Kubernetes 的运行效率相结合时,这些改进可以为模型开发人员节省大量的时间和精力。 Katib Katib 包括对用户界面和 SDK 的新的改进。新的 Katib 用户界面提供了简化的细粒度配置和日志关联性。此外,还增加了排序和过滤功能,允许对你的许多实验进行更有组织的查看。此外,这些功能最大限度地减少了手动使用低级别的命令来定位和关联日志与 HyperParameter Experiment 配置的必要性。这简化了深入的性能分析和后续的模型参数迭代过程。 在 1.7 中,Katib SDK 提供了新的功能,包括 Tune API 和从 Katib 数据库中检索试验指标的能力。模型开发者或数据科学家可以执行 Tune API 来启动一个 HyperParameter Experiment,而不需要对底层系统(如 Kubernetes、Docker)有任何了解。它可以自动将用户训练脚本转换为 Katib Experiment。 Training operator Kubeflow 的统一分布式 Training operator 的增强功能包括用于微调资源扩展的配置选项(处理器、内存、存储)。它现在包括对 Pytorch Elastic 工作负载的 HPA 支持,用户可以在 Job Spec 中指定目标指标/利用率。这用于自动扩大/缩小 Pytorch 作业的规模,以满足需求,同时确保用户配置的弹性策略。这些改进大大简化了用户的工作流程,并减少了操作上的繁琐和成本。 Pipelines 在 Kubeflow 1.7 中,Pipelines Working Group 通过最新的 2.0.0-alpha.7 版本继续努力实现 KFP v2。该版本包括以下主要改进: 管线作为组件: 管线本身可以作为其他管线的组件使用,就像你在管线中使用任何其他单步组件一样 Sub-DAG 可视化,允许管道用户深入了解其管线的子图组件 错误和漏洞的修复 更多详情可查看:https://github.com/kubeflow/kubeflow/releases/tag/v1.7.0

优秀的个人博客,低调大师

深度学习工具 audioFlux —— 一个系统的音频特征提取库

目录 时频变换 频谱重排 倒谱系数 解卷积 谱特征 音乐信息检索 audioFlux是一个Python和C实现的库,提供音频领域系统、全面、多维度的特征提取与组合,结合各种深度学习网络模型,进行音频领域的业务研发,下面从时频变换、频谱重排、倒谱系数、解卷积、谱特征、音乐信息检索六个方面简单阐述其相关功能。 时频变换 audioFlux在时频分析领域中,包含以下通用变换(支持后续所有频率刻度类型)算法: BFT - 基于傅里叶变换。等效短时傅里叶变换(STFT),一般基于此实现大家熟知的mel频谱,时域上重叠平移加窗的傅里叶变换,一般重叠变换长度1/4,加高斯窗又称做Gabor变换,可以调整窗函数长度来方便的模拟时频分析特点,BFT算法除提供标准的mel/bark/erb等频谱外,还支持mel这些刻度类型的复数谱,同时支持mel等刻度频谱的重排。 NSGT - 非平稳 Gabor 变换。类似加高斯窗的STFT(短时傅里叶变换),不同之处在于窗函数长度和t建立非平稳关系,相对STFT可以实现稳态信号中非平稳状态较好的分析,较好的onset端点侦测效果常基于此类频谱计算,同时可以做为实现CQT的一种高效方式,本算法中NSGT变换的octave频率刻度类型即CQT的高效实现。 CWT - 连续小波变换。多分辨率时频分析,从数学上看,傅里叶变换的基底是无限的sin/cos函数,而小波变换基底是有限的很小的波函数,波函数的通用表示形式为 \(\psi_{a,b}(t)=\frac{1}{\sqrt{a}}\psi(\frac{t-b}{a})\) 其中a决定频域缩放尺度,b时间平移尺度,建立时频的自适应分析,相对STFT的固定时频分辨率,具有低频段频率分辨高、高频段时间分辨高特点,非常适合非稳态信号分析,支持常用的Morse、Morlet、Bump、Pual、Meyer等波函数类型。 PWT - 伪小波变换。基于傅里叶变换实现的类似小波变换效果,CWT的高效算法为频域小波函数计算filterBank和频域数据做dot运算,如果把小波函数当做一种特殊的窗函数,可以产生类CWT效果,即伪小波变换,如果窗函数建立可调频带的参数(库中尚未实现),可以等效小波变换。 以上变换功能支持下面所有频率刻度类型: linear - 标准线性频带频谱图,短时傅里叶变换结果取一半即linear刻度频谱图,刻度为采样率/采样样本,即最小频域分辨率。 linsapce - 自定义频带范围的频谱图,频带可以大于linear频带,相当于时域降采样。 mel - 梅尔标度频谱图,音频中最常用的频谱图类型之一,基于人耳听觉低频敏感、高频不敏感特性,类log压缩linear刻度。 bark - 巴克刻度频谱图,比梅尔刻度更符合人耳听觉。 erb - 等效矩形带宽频谱图,比巴克刻度更符合人耳听觉。 octave - 八度刻度频谱图,符合乐音对数刻度的频谱图。 log - 对数刻度频谱图。 下面是一个BFT变换下不同频率刻度的简单对比图。 下面是一个CWT不同波函数的简单对比图。 以下可用作独立变换的算法有(不支持多种频率刻度类型): CQT - 常量Q变换,频带比为常数的变换,音乐中常用的此变换,常基于此计算chroma特征用于分析和声。 VQT - 可变Q变换。 ST - S变换/Stockwell变换,类似小波变换,是小波变换思想的一种极端特例,可用于侦测分析一些极端的突变信号如地震、海啸等,相比NSGT同样也是加高斯窗,但建立起f和t的缩放关系。 FST - 快速S变换,S变换的离散基2实现。 DWT - 离散小波变换,相对CWT而言,频率基于2的变换。 WPT - 小波包变换,又称小波包分解,可以对信号做细节和近似分解,是信号分离和合成的一个方式,可用于降噪、模态结构分析等业务。 SWT - 稳态小波变换,类似小波包变换,分解出的信号和原信号长度一致。 下面是一个CQT和NSGT变换下不同刻度的简单对比图。 很明显,NSGT-Octave比CQT要清晰、聚焦一些。 chroma是基于频谱的更高级特征,属于乐音刻度体系范畴,针对非乐音的刻度要差于乐音刻度,目前支持chroma特征的频谱类型: CQT BFT-linear BFT-octave 下面是一个Chroma简单对比图。 很明显,CQT-Chroma优于其它频谱类型下的chroma。 注: 不同频率刻度的频谱都有各自的应用价值,针对某些业务情况,这些不同刻度频谱图可以图组合起一个大的特征集合参与网络的训练。 频谱图按值的类型abs、平方、log等非线性运算称为幅值谱、功率谱、对数谱/dB谱,深度学习中一般使用对数谱多一些。 频谱重排 同步压缩或重新分配方法是一种用于锐化、高清频谱图的技术,可以提升频谱的清晰度和精度,audioFlux包含以下算法: reassign - 针对STFT变换重排,基于BFT的mel/bark/erb等频谱数据同样实现重排。 synsq - CWT频谱数据重排。 wsst - CWT变换重排。 下面是一个频谱图和对应重排后的效果图。 很明显,重排后的效果要优于重排前的效果。 可能有人会问,既然重排效果如此好,可以基于上次结果循环多次重排吗?这样效果如何?audioFlux重排相关算法提供多次重排机制,具体效果可以参照文档做下尝试对比。 倒谱系数 类似针对mel频谱的mfcc(梅尔频率倒谱系数),这个特征业务上属于去音高,属于反映发音物理结构的一个特征,典型的用于语音识别相关业务,可用于不同乐器分类,结构细化等业务模型训练。 整个audioFlux项目频谱体系中,除mfcc以及相应delta/deltaDelta外,支持所有类型的频谱倒谱系数即xxcc: lfcc gtcc bfcc cqcc ...... 不同频谱的倒谱系数,都代表着不同频谱类型的去音高相关,都有各自的应用价值,比如gtcc有论文反映在语音识别业务中音素效果要比mfcc好一些,cqcc针对乐器的分类和一些结构细化业务要远优于mfcc等等。 下面是针对吉他乐音音频的不同频谱倒谱系数的对比图。 很明显,在吉他乐音起振阶段,cqcc表现最好,后续持续稳定阶段,gtcc相比较好。 解卷积 在数学中,解卷积是卷积的逆运算,可以做为信号分解的一种算法,针对频谱而言,分解后的两个数据可以表示为formant(共振峰)频谱图和pitch频谱图,相比mfcc而言,formant是一种更为通识的发音物理结构特征。 在audioFlux中,支持所有类型频谱的解卷积操作,所发挥的价值在于,针对音高相关的业务,可以去除共振峰干扰后模型推断更准确;针对结构相关特征的业务,可以去除音高避免模型的训练受其干扰。 下面是针对吉他880hz音频的mel频谱图的解卷积效果图。 可以看到吉他共振峰部分(音色)和音高部分明显的分离效果。 谱特征 在audioFlux中,包括数十种spectral相关的特征,包括基于音色相关特征,基于统计相关特征,基于光谱通量相关特征,基于奇异值相关特征,等等。 如: flatness skewness crest slop rolloff ...... centroid spread kurtosis ...... flux hfc mkl ...... ...... 等等一小部分,关于audioFlux所提供的所有谱特征,更具体的功能描述、例子、公式等请参照官方文档。 下面是一些谱特征对比图。 音乐信息检索 audioFlux提供mir相关领域pitch估算、onset侦测、hpss(谐波打击乐分离)等相关业务算法。 pitch估算包含基于YIN,STFT等相关算法,下面是针对一段人声练习音高的侦测效果图。 红色为实际参照音高,蓝色为估算音高。 onset侦测包含基于Spectrum flux, novelty等等相关算法,下面是一段吉他扫弦伴奏的端点侦测效果图。 中间时域图像红色虚线为端点侦测位置叠加而成。 hpss包含中值滤波,非负矩阵分解等(NMF)等算法,下面是一段包含吉他弹奏和节拍器音频的分离效果,上半部分时域效果,下半部分对应频域效果。

优秀的个人博客,低调大师

全平台数据 (数据库) 管理工具 DataCap 1.7.0 发布

当前版本涉及几个主要更新。 DataCap is released Release Version Release Time 1.7.0 2023-03-20 General 添加其他问题模板 添加路由管理 升级JDK8到11 支持 chatgpt 添加提交 pipeline api Experimental 添加 apache seatunnel 执行器 Client 支持执行SQL 修复代码bug Docs 添加连接器图标 SPI 添加执行器SPI Web 修复重复的树菜单数据 优化类型显示图标 优化数据源测试|保存交互 支持查询历史显示插件类型 添加系统公告显示 修正了关键字重复与标签页添加bug #208 替换markdown预览组件 Plugins 支持 kafka Dependencies 更新 redis 版本3.6.3到4.3.1 更新 maven-assembly-plugin3.1.1到3.5.0#272 更新 antlr44.9.3到4.12.0#262 更新 jedis3.6.3到4.3.1#254 更新 DmJdbcDriver188.1.2.141到8.1.2.192#234 Contributors 非常感谢以下贡献者为这个版本的源代码做出了贡献 排名不分先后 GitHub ID @why198852 @Stacey1018 @qianmoQ 下载地址 https://datacap.edurt.io/download.html

优秀的个人博客,低调大师

全平台数据 (数据库) 管理工具 DataCap 1.5.0 发布

The current release involves several major updates. DataCap is released Release Version Release Time 1.5.0 2023-02-16 General¶ Support dsl query Remove incubator Add sql parser Refactor the module directories Set port default value is 0 SPI¶ Fixed jdbc no password exception is configured Web¶ Support multi column sort Plugins¶ Support zookeeper for native Docs¶ Add powered by page Redis (Native)¶ Fixed mget,hget value is displayed as null#219 Dependencies¶ Bump maven-javadoc-plugin from 2.10.4 to 3.4.1 Bump ojdbc8 from 21.1.0.0 to 21.9.0.0 Bump mongodb-jdbc from 2.0.0 to 2.0.2 Download https://datacap.incubator.edurt.io/download.html

优秀的个人博客,低调大师

全平台数据 (数据库) 管理工具 DataCap 1.4.0 发布

The current release involves several major updates. DataCap is released Release Version Release Time 1.4.0 2023-01-31 General¶ Fixed restart script Supports monitor process Do not modify the default system SQL template Fixed plugin template by name Support user login log Refactoring plug-in configuration extraction mode Experimental¶ Support data source manager Add client cli Web¶ Plug-in ICONS are displayed based on the plug-in type Optimize editor auto prompt Support watermark Templates are not supported for adding data sources Fixed footer link Plugins¶ Support snowflake for jdbc Support ydb for jdbc Docs¶ Refactor some docs Redis (Native)¶ Fixed command multiple parameters Contributors¶ Many thanks to the following contributors for contributing to the source code of this release In no particular order GitHub ID @qianmoQ @hometownglory Download https://datacap.incubator.edurt.io/download.html

优秀的个人博客,低调大师

全平台数据 (数据库) 管理工具 DataCap 1.3.0 发布

当前版本涉及几个主要更新。 DataCap 发布 发布版本 推出日期 1.3.0 2022-12-16 General¶ 支持更改用户名 支持自定义sql模板 支持插件功能 添加重启脚本 Web¶ 优化数据源列表的呈现 添加数据源描述和提示 支持查询历史id顺序 支持报价查询历史 Plugin¶ 支持 oceanbase for jdbc 原生支持redis 支持 jdbc 的 neo4j 支持 jdbc 的 iotdb Redis¶ 支持原生授权 贡献者¶ 非常感谢以下贡献者为此版本的源代码做出的贡献 排名不分先后 GitHub 编号 @qianmoQ 下载地址 https://datacap.incubator.edurt.io/download.html

优秀的个人博客,低调大师

全平台数据(数据库)管理工具 DataCap 1.2.0 发布

当前版本涉及几个主要更新。以下链接是路线图 发布版本 推出日期 1.2.0 2022-11-30 General 支持http协议 Web 支持数据结果列标题隐藏(#139) 支持数据结果过滤(#132#140) 替换@antv/g2为echarts 替换ant-design-vue为iview 替换@antv/s2为ag-grid 优化关于页面 优化找不到页面 添加未授权页面 添加版本标志 添加非网页 支持结果可视化折线图 Plugin¶ 支持cratedb 支持 http 的 cratedb 支持达梦数据库 支持 http 的 clickhouse 支持 jdbc 的 tdengine 支持 jdbc 的 impala 贡献者¶ 非常感谢以下贡献者为此版本的源代码做出的贡献 排名不分先后 GitHub 编号 @qianmoQ 下载地址 https://datacap.incubator.edurt.io/download.html

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册