首页 文章 精选 留言 我的

精选列表

搜索[云 API],共10000篇文章
优秀的个人博客,低调大师

多Agent协作的本地股票数据系统:从采集到应用的完整设计 IG50免费开源股票数据API接口

# 多Agent协作的本地股票数据系统:从采集到应用的完整设计 在构建本地化股票数据系统的过程中,我经历了从单脚本到模块化再到多Agent协作的演进。最初一个大脚本包打天下,后来拆成采集、存储、分析三个模块。但随着数据维度增多、数据量增大,模块化方案也遇到了瓶颈:模块间耦合度高、数据流转不透明、扩展新数据源改动面大。 最终我选择了多Agent协作架构。每个Agent管理数据管道中的一个环节,Agent之间通过标准化消息协议通信,协作完成从原始数据到可用数据的全流程。这篇文章详细介绍这套多Agent架构的设计理念、核心组件和协作机制。 ## 为什么选择多Agent架构? 股票数据管道有几个显著特点:一是数据异构性强,行情、财务、资金、L2指标的格式、更新频率、存储方式都不一样;二是环节依赖复杂,采集到清洗到存储到分析之间有大量状态传递和条件判断;三是需求变化快,经常需要接入新数据源、增加新分析维度。 微服务架构虽然能解耦,但引入了服务发现、分布式事务等复杂度,对个人或小团队过重。传统模块化灵活性不够,新增数据源往往需要修改多个模块的接口。 多Agent架构的优势在于:每个Agent是自主的智能体,具备感知、决策和行动能力,可以独立完成特定任务;Agent之间通过消息传递协作,松耦合且可扩展;每个Agent内部可以用最适合的技术栈实现。 ## 架构总览:四个核心Agent 整个系统由四个核心Agent组成:采集Agent、清洗Agent、存储Agent、分析Agent。每个Agent负责数据管道的一个核心环节,协作完成从原始数据到可用分析结果的完整流程。另有一个调度中心负责协调Agent之间的工作。 ``` ┌──────────────┐ │ 调度中心 │ │ Orchestrator │ └──────┬───────┘ │ 消息调度 ┌──────────────┼──────────────┐ ▼ ▼ ▼ ┌────────────┐ ┌────────────┐ ┌────────────┐ │ 采集Agent │ │ 清洗Agent │ │ 存储Agent │ │ Collector │──│ Cleaner │──│ Storage │ └────────────┘ └────────────┘ └──────┬─────┘ │ ┌──────▼─────┐ │ 分析Agent │ │ Analyzer │ └────────────┘ ``` ## Agent间的通信协议 Agent之间通过标准化消息协议通信。每条消息包含消息类型、发送方、接收方、关联ID、消息体、时间戳。 ```python from dataclasses import dataclass, field from typing import Any, Optional from enum import Enum import uuid from datetime import datetime class MsgType(Enum): DATA_READY = "data_ready" DATA_REQUEST = "data_request" TASK_COMPLETE = "task_complete" ERROR = "error" @dataclass class AgentMessage: msg_id: str = field(default_factory=lambda: str(uuid.uuid4())) msg_type: MsgType = MsgType.DATA_READY sender: str = "" receiver: str = "" correlation_id: Optional[str] = None payload: Any = None timestamp: str = field(default_factory=lambda: datetime.now().isoformat()) ``` 消息传递采用发布-订阅模式。每个Agent可以订阅特定类型的消息,收到匹配消息时触发处理逻辑。 ```python class MessageBus: def __init__(self): self.subscribers = {} self.agents = {} def subscribe(self, agent_id, msg_types): for msg_type in msg_types: self.subscribers.setdefault(msg_type, []).append(agent_id) def publish(self, message): receivers = self.subscribers.get(message.msg_type, []) for agent_id in receivers: if agent_id == message.receiver or message.receiver == "*": self.agents[agent_id].on_message(message) ``` ## 采集Agent:数据入口的守护者 采集Agent是整个数据管道的起点,负责从各个数据源获取原始数据。它管理多个数据接口、处理并发调用、控制请求频率、处理网络异常。 内部架构分为三个部分:接口管理器、任务调度器、异常处理器。 接口管理器维护所有可用的数据接口,包括接口地址、参数模板、调用频率限制等。每个接口注册成一个可调用的服务。 ```python class CollectorAgent: INTERFACES = { "stock_list": {"path": "/base/gplist", "rate": 1}, "realtime": {"path": "/time/real/{dm}", "rate": 5}, "kline": {"path": "/time/history/trade/{dm}/{level}", "rate": 3}, "finance": {"path": "/time/f10/fi/{dm}", "rate": 2}, "l2_sign": {"path": "/time/real/trace/l2sign/{dm}", "rate": 5}, "onebyone": {"path": "/time/real/trace/onebyone/{dm}", "rate": 5}, "zlzjzs": {"path": "/time/zijin/zlzjzs/{dm}", "rate": 3}, "zjlrqs": {"path": "/time/zijin/zjlrqs/{dm}", "rate": 3}, "longhubang": {"path": "/time/data/longhubang", "rate": 1}, "bshgt": {"path": "/time/data/bshgt", "rate": 1}, } def collect(self, task): interface = self.INTERFACES[task["interface"]] results = [] rate_limiter = RateLimiter(interface["rate"]) for dm in task["dm_list"]: rate_limiter.acquire() url = self._build_url(interface["path"], dm) result = self._call(url) if result.success: results.append(result) else: self._handle_error(dm, task["interface"], result) self._publish_results(task["interface"], results) ``` 任务调度器支持定时触发和事件触发。定时触发由调度中心发出,比如交易日15:30触发全市场K线更新;事件触发由其他Agent的数据请求消息触发。 异常处理器管理接口超时、返回格式错误、连续失败等异常,每种异常有对应处理策略,从简单重试到切换备用接口。 ## 清洗Agent:数据质量的第一道防线 清洗Agent接收采集Agent传来的原始数据,进行格式标准化、异常值过滤、字段映射、数据校验,确保合格数据才能进入存储环节。 核心是一套规则引擎。每条清洗规则定义了输入条件、处理动作和输出结果。规则可以灵活配置,支持条件组合和优先级排序。 ```python class CleanerAgent: FIELD_MAPPING = { "f43": "cjjg", "f47": "cjl", "f58": "cjsj", "f169": "jyzd", "f62": "zlJlr", "f184": "zlJlb", "f70": "shJlb", "f164": "ddx", "f165": "ddy", "f166": "ddz", "f167": "ddf", "f78": "f5MinZlJe", } VALIDATION_RULES = [ {"field": "dm", "check": lambda v: len(str(v)) == 6, "on_fail": "filter"}, {"field": "cjjg", "check": lambda v: v is None or v > 0, "on_fail": "filter"}, {"field": "cjl", "check": lambda v: v is None or v >= 0, "on_fail": "filter"}, {"field": "zdl", "check": lambda v: v is None or abs(v) <= 20, "on_fail": "warn"}, ] def on_message(self, message): if message.msg_type == MsgType.DATA_READY: self._process_batch(message.payload) def _process_batch(self, payload): records = payload["records"] cleaned, filtered, warnings = [], 0, 0 for record in records: mapped = self._apply_mapping(record.raw_data) result = self._validate(mapped) if result.cleaned: cleaned.append(result.cleaned) filtered += result.filtered warnings += result.warnings self._publish(cleaned, payload["batch_id"], filtered, warnings) ``` 清洗过程中被过滤的送到异常数据仓库,生成清洗报告记录每批数据的输入量、输出量、过滤原因。 ## 存储Agent:数据资产的管理者 存储Agent接收清洗后的数据,持久化到对应的存储引擎。它管理多种引擎,根据数据类型选择最合适的方案。 ```python class StorageAgent: ENGINE_ROUTING = { "stock_list": "sqlite", "realtime": "redis", "kline": "duckdb", "finance": "duckdb", "zlzjzs": "duckdb", "l2_sign": "duckdb", "onebyone": "duckdb", } ENGINES = { "sqlite": SQLiteEngine("stock.db"), "duckdb": DuckDBEngine("stock.duckdb"), "redis": RedisEngine(), "json": JSONEngine("config/"), } def on_message(self, message): if message.msg_type == MsgType.DATA_READY: engine_name = self.ENGINE_ROUTING.get(message.payload["source"], "sqlite") engine = self.ENGINES[engine_name] version = datetime.now().strftime("%Y%m%d_%H%M%S") count = engine.write(message.payload["records"], version) self._report_success(message.payload["batch_id"], count, version) elif message.msg_type == MsgType.DATA_REQUEST: data = engine.query(message.payload) self._deliver(message.msg_id, data) ``` 引擎路由根据数据类型选择存储:基础信息用SQLite,K线用DuckDB,实时行情用Redis,配置用JSON。版本控制确保每次写入都有版本号,支持数据回溯。 ## 分析Agent:数据价值的创造者 分析Agent从存储Agent获取数据,执行分析任务,生成结果。它的核心是任务队列和多个分析模块。 ```python class AnalyzerAgent: MODULES = { "basic_stats": BasicStatsModule(), "technical": TechnicalIndicatorsModule(), "factor": FactorModule(), "backtest": BacktestModule(), "correlation": CorrelationModule(), } def submit_task(self, task): self.task_queue.append(task) self.task_queue.sort(key=lambda t: t.priority) self._process_next() def _process_next(self): if not self.task_queue: return task = self.task_queue.pop(0) data = self._request_data(task.requirements) module = self.MODULES[task.module] result = module.execute(data, task.params) self._deliver_result(task, result) ``` 分析模块覆盖基础统计、技术指标、因子计算、策略回测、相关性分析等场景。 ## 协作流程:一次完整的数据旅程 以"全市场日K线更新"为例,展示多Agent的协作流程。 调度中心在交易日15:30触发定时任务,向采集Agent发送采集指令。采集Agent获取全市场股票列表,分批调用K线接口,每批数据发送给清洗Agent。清洗Agent执行字段映射和数据校验,合格数据发送给存储Agent。存储Agent选择DuckDB引擎写入,生成版本号,完成后报告调度中心。调度中心触发分析Agent计算日涨跌幅、成交量变化等指标,生成市场概览报告。 整个流程中每个Agent只关注自己的任务,通过消息传递协作。某个环节失败不会阻塞其他环节。 ```python DAILY_PIPELINE = [ {"trigger": "15:30", "steps": [ {"agent": "collector", "action": "collect_kline"}, {"agent": "collector", "action": "collect_realtime"}, {"agent": "collector", "action": "collect_finance"}, {"agent": "analyzer", "action": "generate_daily_summary"}, {"agent": "analyzer", "action": "update_factor_database"}, ]} ] ``` ## 容错与演进 多Agent架构的关键优势是容错能力。每个Agent有独立的健康监控,定期发送心跳。调度中心连续收不到心跳会触发恢复流程:重启Agent进程、恢复未完成任务、重新派发失败消息。 降级策略方面,主数据源不可用时采集Agent自动切换备用接口,主存储引擎不可用时存储Agent切换备用引擎。 这套架构运行8个月来,从最初3个Agent扩展到4个,经历了数次调整。体会最深的有三点:Agent的边界划分比技术实现更重要,采集关注外部接口稳定性,清洗关注内部数据质量,拆分后代码更简洁;消息协议设计要向前兼容,避免升级时的痛苦;不要过度设计,先实现核心Agent,在使用中迭代扩展。 未来计划引入Agent自主决策能力,让分析Agent根据市场状态自动选择分析模型;建立Agent间的学习机制,共享知识和经验;引入对话式交互,让用户用自然语言请求数据分析任务。 [gitee开源地址](https://gitee.com/igtrade/ighub) [github开源地址](https://github.com/ig50-service/ig50-official)

优秀的个人博客,低调大师

Agent驱动的北向资金追踪系统:用AI捕捉聪明钱的行业轮动信号 IG50免费开源股票数据API接口

Agent驱动的北向资金追踪系统:用AI捕捉聪明钱的行业轮动信号 北向资金被市场称为"聪明钱",但大部分人对北向资金的分析还停留在"今天流入多少亿"的层面。聪明钱到底聪明在哪里?它在买入哪些行业、卖出哪些行业?它的动向对个股有什么指引?最近我用AI Agent构建了一个北向资金追踪系统,让Agent自动从北向资金数据中挖掘行业轮动信号。 系统的核心思路是把北向资金分析拆解成几个子任务:总量趋势分析、个股动向追踪、行业偏好识别、市场状态判断。每个子任务交给专门的模块处理,Agent负责汇总各模块结果生成综合判断。 数据层使用本地数据引擎,主要用到五个接口。沪股通历史数据all/nxbx/hgtlssj,返回每天沪股通的净买额、买入额、卖出额。深股通历史数据all/nxbx/sgtlssj,结构相同。沪股通十大成交股all/nxbx/hgtsdcj/{交易日},返回北向资金当天买卖最多的十只沪市股票。深股通十大成交股all/nxbx/sgtsdcj/{交易日},深市版本。沪股通成分股行情all/nxbx/hgthq和深股通成分股行情all/nxbx/sgthq,提供所有北向资金标的的行情数据。 ```python class NorthboundAgent: def __init__(self, data_engine): self.data_engine = data_engine self.modules = { "trend": TrendAnalyzer(), "stock": StockFlowTracker(), "sector": SectorPreferenceDetector(), "regime": MarketRegimeJudge() } def run(self, date_str): hgt_hist = self.data_engine.read_hgt_history() sgt_hist = self.data_engine.read_sgt_history() hgt_top10 = self.data_engine.read_hgt_top10(date_str) sgt_top10 = self.data_engine.read_sgt_top10(date_str) context = { "date": date_str, "hgt_hist": hgt_hist, "sgt_hist": sgt_hist, "hgt_top10": hgt_top10, "sgt_top10": sgt_top10 } trend_result = self.modules["trend"].analyze(context) stock_result = self.modules["stock"].track(context) sector_result = self.modules["sector"].detect(context) regime_result = self.modules["regime"].judge(context) decision = self.synthesize(trend_result, stock_result, sector_result, regime_result) return decision ``` 第一个模块是趋势分析器。它不简单看单日净流入流出,而是分析北向资金的连续性。连续5天以上净流入才算趋势性流入,单日大幅流入可能是调仓行为。 ```python class TrendAnalyzer: def analyze(self, context): hgt = context["hgt_hist"] sgt = context["sgt_hist"] if hgt is None or sgt is None: return None recent_20 = hgt.tail(20)["净买额"].values + sgt.tail(20)["净买额"].values inflow_days = sum(1 for x in recent_20 if x > 0) outflow_days = sum(1 for x in recent_20 if x = 5: signal["signal"] = "北向资金连续流入,趋势性看好" signal["score"] = 72 elif consecutive_outflow >= 5: signal["signal"] = "北向资金连续流出,趋势性谨慎" signal["score"] = 35 elif abs(total_net) 0: count += 1 elif not positive and x 0: buy_count[dm] = buy_count.get(dm, 0) + 1 elif jme = 3} continuous_sell = {dm: c for dm, c in sell_count.items() if c >= 3} signal = { "module": "stock", "continuous_buy": continuous_buy, "continuous_sell": continuous_sell } if len(continuous_buy) >= 5: signal["signal"] = "北向资金集中买入多只股票" signal["score"] = 70 elif len(continuous_sell) >= 5: signal["signal"] = "北向资金集中卖出多只股票" signal["score"] = 35 else: signal["signal"] = "北向资金个股动向分散" signal["score"] = 50 return signal ``` 第三个模块是行业偏好识别器。它把北向资金买入的股票按行业分类,识别北向资金正在流入的行业。行业轮动信号比个股信号更有参考价值。 ```python class SectorPreferenceDetector: def detect(self, context): date_str = context["date"] date_list = self.get_recent_dates(date_str, 5) sector_inflow = {} for d in date_list: for channel in ["hgt", "sgt"]: top10 = self.data_engine.read_top10(channel, d) if top10 is None: continue for _, row in top10.iterrows(): dm = row["dm"] jme = row["jme"] sector = self.get_sector(dm) sector_inflow[sector] = sector_inflow.get(sector, 0) + jme sorted_sectors = sorted(sector_inflow.items(), key=lambda x: x[1], reverse=True) signal = { "module": "sector", "top_inflow": sorted_sectors[:3], "top_outflow": sorted_sectors[-3:] } top_sector = sorted_sectors[0] if sorted_sectors else None if top_sector and top_sector[1] > 0: signal["signal"] = "北向资金偏好{}行业".format(top_sector[0]) signal["score"] = 68 else: signal["signal"] = "北向资金行业偏好不明显" signal["score"] = 50 return signal ``` 第四个模块是市场状态判断器。它结合北向资金数据和大盘指数数据,判断当前市场环境。北向资金连续流入+大盘上升趋势是最佳组合。 ```python class MarketRegimeJudge: def judge(self, context): index_data = self.data_engine.read_index_kline("sh000001", "day") if index_data is None or len(index_data) ma20 > ma60 else "bear" if current = 3: signal["signal"] = "大盘上升+北向流入,最佳组合" signal["score"] = 78 elif trend == "bear" and nb_consecutive >= 3: signal["signal"] = "大盘下跌但北向流入,可能见底" signal["score"] = 62 elif trend == "bull" and trend_module.get("consecutive_outflow", 0) >= 3: signal["signal"] = "大盘上升但北向流出,警惕" signal["score"] = 45 else: signal["signal"] = "市场状态中性" signal["score"] = 50 return signal ``` Agent的决策模块把四个模块的结果汇总,生成综合判断。 ```python def synthesize(self, trend, stock, sector, regime): results = [r for r in [trend, stock, sector, regime] if r is not None] if not results: return {"score": 50, "signal": "数据不足"} weights = {"trend": 0.3, "stock": 0.25, "sector": 0.25, "regime": 0.2} total_score = 0 total_weight = 0 for r in results: w = weights.get(r.get("module", ""), 0.1) total_score += r.get("score", 50) * w total_weight += w final_score = total_score / total_weight if total_weight > 0 else 50 if final_score >= 65: action = "北向资金信号偏多,可关注" elif final_score <= 40: action = "北向资金信号偏空,谨慎" else: action = "北向资金信号中性" return { "score": round(final_score, 1), "action": action, "details": [r.get("signal", "") for r in results] } ``` 实际使用中,Agent每天盘后运行一次,生成北向资金的综合分析报告。如果综合得分超过65分,我会把北向资金连续买入的股票加入观察池,配合自己的选股策略做交叉验证。 几个使用经验。第一,北向资金的连续性比单日数据重要,连续5天流入比单日流入100亿信号更强。第二,北向资金大幅流出时不要恐慌,这往往是市场恐慌的标志,反而可能是反向指标。第三,北向资金的行业偏好变化比个股变化更有前瞻性,跟着行业走比跟着个股走胜率高。 系统使用的数据来自ig50本地数据接口,北向资金相关接口数据更新及时,字段完整,适合构建这种多维分析系统。 [gitee开源地址](https://gitee.com/igtrade/ighub) [github开源地址](https://github.com/ig50-service/ig50-official)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码