首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/207422

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从Facebook看大数据存储怎么选

最近有位朋友向我咨询技术问题,他们的客户提出一个大数据系统的服务器硬件需求,其中元数据有xxTB左右。并给出了以下初步建议: 节点类型1(元数据节点) Xeon E5 14核CPU x2 256GB DDR4内存 600GB SAS 15K硬盘x5 RAID卡 节点类型2(数据节点) Xeon E5 14核CPU x2 128GB DDR4内存 4TB 7.2K近线硬盘x4 RAID卡 软件并非我擅长的方面,不过大数据概念炒了好几年,从各方面还是多少了解到一些Hadoop/HDFS硬件架构方面的东西。在与朋友讨论的过程中,我觉得相关技术还需要补补,以跟上“应用定义硬件”的形势,于是就把之前收集到的一些资料翻看了下。 在分享我的学习心得之前,先列出以上案例中的几个疑问,同时附上专家意见。 1. Hadoop是否需要RAID? 根据我的了解,HDFS(Hadoop分布式文件系统)的数据盘应该是不做RAID,靠跨节点的3副本来实现冗余高可用。那么是否还需要配SAS RAID卡?如果是RAID卡需要改成直通(HBA)模式吗? 专家观点 据了解开源版本的HDFS multiple master应...

天睿公司发布Teradata Loom 释放Hadoop数据价值

ZDNET至顶网CIO与应用频道 10月31日 北京消息:Teradata天睿公司宣布推出Teradata Loom 2.3。Teradata Loom 2.3 是首款在Hadoop框架内实现数据沿袭、集成元数据和数据整理功能的综合软件解决方案。依托这些突破性功能,Teradata Loom帮助数据分析师和数据科学家在Apache Hadoop框架内快速、轻松地发现、了解并跟踪数据,提升工作效率,加速实现大数据计划。 Teradata Loom是一款数据管理解决方案,通过基于浏览器的界面处理Hadoop框架内的数据和元数据。它还提供所需数据结构、数据治理等大数据应用中的基本功能。 目前,企业争相部署Hadoop技术,打造数据湖存储库,但他们从多个数据源获取海量数据时,面临着数据质量、安全性和治理方面的严峻挑战。从多个数据源获得的原始数据在Hadoop文件系统中缓存时,通常没有数据架构(Schema)。因此,业务团队难以弄清数据的位置、存储数据的类型、格式、内容及运用数据的最佳途径。在部署Hadoop技术时,这些挑战是企业取得成功的绊脚石。 Teradata天睿公司实验室总裁Scott ...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册