非凸科技受邀出席源创会,探讨数据技术的未来发展

923由开源中国联合腾讯云TVP开展的“数据与前沿技术”源创会活动在成都顺利举行非凸科技受邀出席与业界专家们共同探讨了数据存储数据分析数据挖掘等前沿技术

会上非凸科技成都分公司研发总监赵海峰以“量化交易的数据驱动”为主题进行了分享在量化交易领域如何高效地获取行情数据如何将行情数据转发到需要的服务器如何处理大量历史行情数据的存放和读取又是如何通过行情数据进行模型的训练赵海峰老师一一做出了精彩的解答活动后引发线上热烈交流讨论

量化交易主要通过行情数据进行交易决策那么如何通过券商获取行情进行行情低延迟接收的软硬件方案呢交易所发布行情经过券商的处理再转发给交易机构其转发途径主要有TCP、UDP、FPGA加速的UDP和ASIC加速的UDP行情然而券商通过TCP连接将处理后的行情数据转发给交易机构会存在延迟大应用层丢包(非TCP协议丢包)、发送端负载大等问题为了解决这些问题券商又通过UDP组播或广播的方式将处理后的行情或交易所原始行情转发给交易机构为了达到极致的低延迟,券商端将会通过多种方式来解决其中一个特别有效的方式是使用L1交换机,在一层转发光或电信号给客户,其转发延迟可以低至4ns。需要注意的是虽然UDP不是一个可靠传输协议,但在同一个交换机连接的服务器之间使用UDP进行通信正常情况下在网络上几乎不丢包。然而,在客户端程序和服务器的网卡上可能丢包因此客户在接收行情时可以使用无锁的ring buffer转发数据到处理线程以并行处理不同股票的行情,然后将处理结果写入共享内存以供交易系统读取

收到行情后如何将行情数据转发给内部的其他消费者呢如果对延迟要求没有太高可以使用TCP转发行情能够自己控制丢包率,为了降低延迟和增加吞吐,也可以使用UDP转发行情。由于逐笔行情不允许丢包所以在使用UDP转发行情时可以搭配TCP行情重传服务通过多路行情汇聚、Rocksdb持久化等方式对UDP转发行情进行补充如果转发行情前进行数据压缩那么延迟和吞吐量可能会更优秀行情压缩主要有两种方式行情消息的压缩消息内部字段的压缩股票代码价格)。

行情转发之后如何使用行情数据分析交易执行情况又该如何训练模型呢收取到行情后其中一种应用场景是训练量化交易模型将收取到的行情数据进行特征处理提取因子,并利用AI进行模型训练然后将训练好的模型解析出来以备高效地计算实时信号在接收到实时信号值之后极速推送到交易系统就可以根据不同的策略配置触发交易另一种场景应用是把收取到的行情数据与ClickHouse集成不仅能提供高效的聚合和分析查询功能还能使用流式聚合表自动计算交易数据,如实时交易盈亏,风险指标等

非凸科技正在加大对金融科技研究的投入持续以行业技术交流与合作的方式整合行业生态优势资源加快创新技术在实际业务场景中的落地

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/261029

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。