动态输出(ToB海量日志转换业务) - 阿里云HybridDB for PostgreSQL最佳实践
标签 PostgreSQL , UDF , 动态格式 , format , JOIN , OSS外部表 背景 有一些业务需要将数据归类动态的输出,比如一些公共日志服务,所有用户的日志都被统一的按格式记录到一起,但是每个最终用户关心的字段都不一样,甚至每个用户对数据转换的需求都不一样。 比如这个业务: 《日增量万亿+级 实时分析、数据规整 - 阿里云HybridDB for PostgreSQL最佳实践》 一、需求 1、可以根据ToB的用户的定义,输出不同的格式。 2、每个ToB的用户,写入到一个文件或多个文件。 3、一个文件不能出现两个用户的内容。 其他需求见: 《日增量万亿+级 实时分析、数据规整 - 阿里云HybridDB for PostgreSQL最佳实践》 二、架构设计 1、采用OSS存储实时载入的海量公共日志。 2、采用HybridDB for
