非凸科技受邀出席源创会,探讨数据技术的未来发展
9月23日,由开源中国联合腾讯云TVP开展的“数据与前沿技术”源创会活动在成都顺利举行,非凸科技受邀出席,与业界专家们共同探讨了数据存储、数据分析、数据挖掘等前沿技术。
会上,非凸科技成都分公司研发总监赵海峰以“量化交易的数据驱动”为主题进行了分享。在量化交易领域如何高效地获取行情数据,如何将行情数据转发到需要的服务器,如何处理大量历史行情数据的存放和读取,又是如何通过行情数据进行模型的训练,赵海峰老师一一做出了精彩的解答。活动后,引发线上热烈交流讨论。
量化交易主要通过行情数据进行交易决策,那么如何通过券商获取行情,进行行情低延迟接收的软硬件方案呢?交易所发布的行情会经过券商的处理再转发给交易机构,其转发途径主要有TCP、UDP、FPGA加速的UDP和ASIC加速的UDP行情等。然而,券商通过TCP连接将处理后的行情数据转发给交易机构,会存在延迟大、应用层丢包(非TCP协议丢包)、发送端负载大等问题。为了解决这些问题,券商又通过UDP组播或广播的方式,将处理后的行情或交易所原始行情转发给交易机构。为了达到极致的低延迟,券商端将会通过多种方式来解决,其中一个特别有效的方式是使用L1交换机,在一层转发光或电信号给客户,其转发延迟可以低至4ns。需要注意的是,虽然UDP不是一个可靠传输协议,但在同一个交换机连接的服务器之间使用UDP进行通信,正常情况下在网络上几乎不会丢包。然而,在客户端程序和服务器的网卡上可能会丢包。因此,客户在接收行情时,可以使用无锁的ring buffer转发数据到处理线程,以并行处理不同股票的行情,然后将处理结果写入共享内存,以供交易系统读取。
收到行情后,如何将行情数据转发给内部的其他消费者呢?如果对延迟要求没有太高,可以使用TCP转发行情,能够自己控制丢包率,为了降低延迟和增加吞吐,也可以使用UDP转发行情。由于逐笔行情不允许丢包,所以在使用UDP转发行情时,可以搭配TCP行情重传服务,通过多路行情汇聚、Rocksdb持久化等方式对UDP转发行情进行补充。如果转发行情前进行数据压缩,那么延迟和吞吐量可能会更优秀。行情压缩主要有两种方式:行情消息的压缩、消息内部字段的压缩(股票代码、价格)。
行情转发之后,如何使用行情数据分析交易执行情况,又该如何训练模型呢?收取到行情后,其中一种应用场景是训练量化交易模型,将收取到的行情数据进行特征处理,提取因子,并利用AI进行模型训练,然后将训练好的模型解析出来以备高效地计算实时信号,在接收到实时信号值之后,再极速推送到交易系统,就可以根据不同的策略配置触发交易;另一种场景应用是把收取到的行情数据与ClickHouse集成,这不仅能提供高效的聚合和分析查询功能,还能使用流式聚合表自动计算交易数据,如实时交易盈亏,风险指标等。
非凸科技正在加大对金融科技研究的投入,持续以行业技术交流与合作的方式,整合行业生态优势资源,加快创新技术在实际业务场景中的落地。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
一文论重复性工作中如何培养匠心
这两个词放在一起,是不是乍一看有点别扭?别扭点大概在于:匠心是公认的褒义词,而重复性工作虽然原本是中性词,但在互联网技术语境里,通常都是以技术解决问题、消灭重复性工作为目标,久而久之,重复性工作更像是个贬义词了。但是反过来想,匠心来自哪里?寿司之神的匠心,来自于数十年如一日的制作寿司,庖丁解牛的匠心,也来自于无数次的重复解牛的工作。所以,匠心来自于重复性工作,但重复性工作未必一定培养出匠心。 为什么想要探讨这个话题呢?最近两年我参加的师兄坐镇一对一沟通中,很多师弟师妹会问到一大类问题:如何在已经比较熟悉的工作领域挖掘成长空间,持续发展不停滞,保持自己的竞争力。 通过这个问题的表述可以看出,我和师弟师妹其实达成了一个隐含的现状共识:随着互联网行业的逐步成熟,以及近几年平台经济的增长放缓,大部分技术同学的工作,都是对成熟技术的应用实践,而非技术突破。进而,作为每个工程师个体,在胜任日常工作,成为团队主力成员后,多数是在已熟悉的工作领域挖掘成长空间。 举个例子,比如双十一,作为一年一度的展示技术能力的大舞台,所用到的压测技术在几年前就已基本成熟,近两年更多提的已经是大促日常化,减少值班成本等...
- 下一篇
开源框架 NanUI 作者转行卖钢材,项目暂停开发
NanUI 作者在国庆节发布了停更公告,称该项目将暂停开发,原因是去年被裁员失业后,他已转行销售钢材,现在很难腾出时间来开发和维护 NanUI 项目。 他说道: 为了生存,本人只能花费更多的时间和精力去谈单,去销售,去收款,因此已经很难再腾出时间来开发和维护 NanUI 项目,对此我深感无奈,也希望后面生活和工作稳定后能腾出时间来继续维护 NanUI。 NanUI 作者表示,他所在公司因疫情于去年(2022 年)初彻底宣布裁减所有开发岗位,因此他也只能顺应大流在 36 岁这个尴尬的年纪失业。 viahttps://github.com/XuanchenLin/NanUI/discussions/367 NanUI 界面组件是一个开放源代码的 .NET / .NET Core 窗体应用程序(WinForms)界面框架。它适用于希望使用 HTML5/CSS3 等前端技术来构建 Windows 窗体应用程序用户界面的 .NET 开发人员。 NanUI 基于谷歌可嵌入的浏览器框架 Chromium Embedded Framework (CEF),因此用户可以使用各种前端技术 HTML5/CS...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2全家桶,快速入门学习开发网站教程
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装