首页 文章 精选 留言 我的

精选列表

搜索[2025生态大会观会有感],共10013篇文章
优秀的个人博客,低调大师

试读《大数据日知录:架构与算法》有感

活动地址:http://blog.csdn.net/blogdevteam/article/details/39894901。 其实“大数据”这个词在我的脑海中还没有一个比较确切的定义,几年前我接触了一个名词“海量数据”,它主要是指在数据库中如何处理优化查询海量数据的SQL,或者使用NoSQL(Not only SQL)进行处理,进而进行数据分析、数据挖掘等,从大量无规律的数据中提取出有价值的信息,总之海量数据是与数据库紧密关联的。而这两年兴起了“大数据”浪潮,我认为“海量数据”强调的是数据量的大小,而大数据则不仅仅是数据量的大小,还指数据本身的大小。用《大数据时代》中的4V特点来概括大数据就是:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。 大数据的应用场景 大数据时代已经来临,比如淘宝网的日交易记录、用户浏览商品的记录就是大数据的典型应用场景,根据这些“数据”能够推断出用户购买商品的习惯、用户喜欢什么样的商品,进而更加准确的推荐一些商品给用户,以此提高交易额和交易量。再比如微信的应用,6亿多用户本身就是“大数据”,再加上6亿多用户彼此之间的关系,更是形成了一张巨大的社交网络。如何为这6亿用户提供高质量的实时通信交流、如何提供精确的搜索,都是大数据应用领域需要研究的课题。 pagerank 排名算法 pagerank即搜索引擎是根据什么样的规则、应用什么样的算法来对网页进行关联度筛选的,正好试读部分提供了这部分的内容。以前曾经写过简单的网页爬虫程序,抓取指定网站的页面的新闻等。原理很简单,就是通过请求网站获取返回的html进行分析,用正则筛选出包含关键字的页面的href和标题,然后存入数据库中。而通过试读部分我了解到,pagerank即网页的页面等级基于两个假设:数量假设、质量假设。pagerank算法刚开始赋予每个网页相同的重要性得分,通过迭代递归计算来更新每个页面节点的pagerank得分,直到得分稳定为止。 TAO图数据库 我还关注到了试读当中介绍的Facebook的TAO这个跨数据中心分布式图数据库。它由分布在多个数据中心的数千台服务器构成,为了能够实时响应应用请求,系统架构更重视可用性和低延时,尤其是对读操作做了很多优化。 通过主cache和从cache的二级缓存机制,降低缓存之间的耦合,同时系统也易于扩展。 未来大数据将会在各个领域不断发展和演变,并深刻的影响人类的生活。它涉及到的新技术、新架构非常繁杂,包括分布式、机器学习、数据挖掘等各个技术方向,并作为移动互联网、云计算、物联网等应用领域的核心支撑。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册