理财农场大数据初探之路
概述
不以需求为目的的技术研究都是耍流氓
由于公司业务的快速发展,以及运营部门的需求,需要实现投资用户的月账单功能。
数据背景
目前平台投资用户57万多,投资流水数据已超过千万级,另外还需要统计用户的充值、提现、回款本金、利息、奖励、红包、区分各种产品的分类统计(定期、活期)、历史投资分布、收益趋势、打败多少用户、月度理财之星等等指标。
技术选型背景
在此之前就有类似需求,统计2016年投资用户的年度账单。当时部门几个核心的人员也针对年度账单做了分析及技术选型,有考虑定时任务多线程跑批、存储过程、读写库分离等,甚至为了不影响平台应用的资源,单独购买数据库跑批。最终的方案是多线程(10个线程)通过java调用、数据库读写分离、单独服务器、单独数据库,进行跑批实现;当然最终的结果也是顺利实现了,但过程不尽人意,记得