将大数据变成可管理的数据
大数据是无所不在的,因为它可以提供有价值的洞察力,如果没有它是不可用的。然而,分析大数据集可能会产生问题。首先,大数据是大规模的,有时太大,不能通过常用的分析工具有效地处理。日前,美国麻省理工学院计算机科学与人工智能实验室和以色列海法大学的研究人员已经开发了一个解决方案,将大数据变成可管理的数据。 通常使用诸如低秩近似,奇异值分解,主成分分析和非负矩阵分解的数据分析工具来减少数据集中的变量的数量。不幸的是,在大量大数据集上使用这些工具通常太费时,不实用。 解决这个问题的典型解决方案包括为大数据集找到一个核心集。核心集是大数据的一个子集,用于保留大数据最重要的数学关系。数据分析工具可以更有效地与coreet工作,因为它更小。 如果要进行两个或多个数据分析,则进行查找可能是一个问题,因为从大数据中提取核心集,每个分析工具都有自己唯一的方法。在分析中比较结果,将涉及比较来自不理想的不同核心的结果。研究团队通过开发一种用于提取可由大量常用数据分析工具使用的核心集的通用方法来解决这个问题。 假设工作人员想要识别在一个巨大的文本数据库(如维基百科)中最常出现的主题。低秩近似是一种将完成这项工作的算...