大数据解决方案
原文:
大数据解决方案
大数据处理
1、数据库
垂直拆分：根据业务把表放到不同的数据库，解决表之间的IO竞争
水平拆分：根据某种规则把单表数据分成多张表存储，解决单表数据量大的问题
索引：根据业务场景创建合理的索引，如果数据量很小建议使用索引（300条以内）
索引使用场景：
| 动作描述 |
聚集索引 |
非聚集索引 |
| 主键列 |
是 |
是 |
| 外键列 |
是 |
是 |
| 列经常被分组排序 |
是 |
是 |
| 返回某范围内的数据 |
是 |
否 |
| 一个或极少不同值 |
否 |
否 |
| 小数目的不同值 |
是 |
否 |
| 大数目的不同值 |
否 |
是 |
| 频繁更新的列 |
否 |
是 |
| 频繁修改索引列 |
否 |
是 |
分离活跃数据：把常用的数据和不常用的数据分离，例如活跃用户和不活跃用户
读写分离：写用主库，读用从库
其它：表结构优化、SQL语句优化
2、缓存
读数据时先从缓存中取，命中不到再读库
3、集群
使用hadoop做集群，可以同时处理相同的数据
