再谈大数据的特征:感受数据之大
2001年,高德纳分析员道格·莱尼在一份与其2001年的研究相关的演讲中指出,数据增长有三个方向的挑战和机遇:量(Volume),即数据多少;速(Velocity),即资料输入、输出的速度;类(Variety),即多样性。 在莱尼的理论基础上,IBM提出大数据的4V特征?得到了业界的广泛认可。第一,数量(Volume),即数据巨大,从TB级别跃升到PB级别;第二,多样性(Variety),即数据类型繁多,不仅包括传统的格式化数据,还包括来自互联网的网络日志、视频、图片、地理位置信息等;第三,速度(Velocity),即处理速度快;第四,真实性(Veracity),即追求高质量的数据。虽然不同学者、不同研究机构对大数据的定义不尽相同,但都广泛提及了这4个基本特征。 大容量 天文学和基因学是最早产生大数据变革的领域。2000年,斯隆数字巡天项目启动时,位于新墨西哥州的望远镜在短短几周内搜集到的数据已经比天文学历史上总共搜集的数据还要多;在智利的大型视场全景巡天望远镜一旦于2016年投入使用,其在5天之内搜集到的信息量将相当于前者10年的信息档案。2003年,人类第一次破译人体基因密码时,用...