Agent 可观测数据在云上的存储与检索架构:冷热分层、对象存储与成本口径
摘要:Agent Trace 的数据特征与传统应用日志差异明显——单条记录体积极不均匀、JSON 路径持续漂移、检索与聚合要落在同一份数据上。在云上部署时,这三点会直接映射到两笔账:长期保留的存储单价,以及冷查询在对象存储上的远端读放大。本文给出 Apache Doris 侧的落地路径:按天分区配合冷热分层、宽表存储格式 V3 降低冷分区元数据加载开销、search() 跨 input / output 多列检索,并附 1 亿行 observation 规模的实测口径与已知约束。