首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/3874284/blog/19105759

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

JuiceFS + MinIO:Ariste AI 量化投资高性能存储实践

Ariste AI 是一家专注于 AI 驱动交易的公司,业务涵盖自营交易、资产管理、高频做市等多个领域。在量化交易研究中,数据的读取速度和存储效率,往往直接决定了研究迭代的速度。 Ariste AI 团队在构建量化研究基础设施的过程中,面对总规模超过 500TB,行情与因子数据,经历了从本地盘到最终选择在 MinIO 对象存储之上叠加 JuiceFS 文件系统的四个阶段。通过缓存机制与分层架构,团队实现了高频数据的快速访问与集中管理。这一实践验证了"缓存加速、弹性对象存储与 POSIX 兼容"三位一体方案在量化场景下的可行性,希望这一经验能为同行提供一些参考。 01 量化投资存储挑战:规模、速度与协作的平衡 量化投资流程依次包括数据层、因子与信号层、策略与仓位层及执行与交易层,构成从数据获取到交易执行的完整闭环。 在整个过程中,存储系统面临多重挑战,主要体现在以下几个方面: 数据规模与增速:量化研究所需处理的数据总量较大,涵盖历史行情数据、新闻数据以及自行计算的因子数据等。目前,这些数据的总量已接近 500T。并且,企业每日新增的行情数据也达数百 GB。若采用传统磁盘进行存储,显然无法...

OrientDB 3.2.48 发布,多模 NoSQL 数据库

OrientDB 是兼具文档数据库的灵活性和图形数据库管理链接能力的可深层次扩展的文档 - 图形数据库管理系统。可选无模式、全模式或混合模式。支持许多高级特性,诸如 ACID 事务、快速索引、原生和 SQL 查询功能。可以导入 JSON 格式、导出文档。 OrientDB 3.2.48 现已发布,此补丁版本修复了一些相当重要但不常见的问题。其中一个问题是在分布式环境中,当RidBags树事务在特定节点上以倒序应用时,本应仅执行该事务操作,却意外触发了全量同步。 其中一个相当大的问题是 SQL 查询中深度嵌套文档的解析速度非常慢,解析器会经历指数级增长的解析过程并导致失败。 具体更新内容包括: Core 修复了嵌套 JSON 解析速度慢的问题,issue#10328 改进序列化错误日志记录问题#10614 Tools 修复了控制台日志属性的加载问题 Distributed 修复了 PR #10549中描述的涉及树状缓存区事务应用顺序颠倒问题 Artifacts orientdb-community-3.2.48.tar.gz orientdb-community-3.2.48.zip o...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。