首页 文章 精选 留言 我的

精选列表

搜索[日活数]，共10000篇文章
优秀的个人博客,低调大师

IDC：预计到2024年蜂窝物联网连接数将增长到137亿

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ IDC预测，到 2024 年，51%的全球IT预算将来源于数字化创新/数字化转型，中国这一占比将超过70%。 IDC预计，2020年与疫情相关的10个领域的ICT市场商机总计将超过1.5万亿人民币。 中国智能家居方面，IDC预测，2020年中国智能家居市场同比增长3%，较预期有所下降。市场规模的增长、渠道的扩展、连接生态的扩大以及传感和交互技术的提升等方面，均面临着一定的挑战。 人工智能驱动企业方面，IDC预计，到2025年，AI技术驱动的企业将100%提高生产率，并带来更短的反应时间、更大的产品创新成功机率，以及提高客户满意度。 IDC预测，至2023年，WiFi6在中国无线AP市场出货量占比中将超过90%。到2024年，蜂窝物联网连接数量将增长到137.6亿，是增速最快的物联网连接技术。 以下是IDC具体数据内容： IDC中国区总裁霍锦洁女士表示，“在这个倍增创新的时代，技术正日益与我们生活的方方面面交织在一起。新的创新对既有的规范形成挑战，并对过往经验进行了重新塑造。IDC预测，到2024年，51%的全球IT预算将来源于数字化创新/数字化转型，中国这一占比将超过70%。这将对每个企业产生巨大的影响。而“数字化优先”将成为数字经济进程中，企业转型变革的核心。并且在“新冠“疫情的影响下，全球宏观环境将发生巨大改变。这将对企业组织提出越来越严苛的要求。企业期待创造更多价值，就需要采用“数字化优先”的运营模式，即超高速度、超大规模、超广连接来帮助实现。” 未来数字经济专场 通过数字化优先打造“未来企业”，发掘更多“新商机” IDC于2019年提出“未来企业”的概念，共包括9大方面——未来客户与消费者、未来运营、未来信任、未来智能、未来数字创新、未来工作、未来基础架构、未来连接和未来行业。在现今整体ICT市场的大环境下，技术与业务再也密不可分。IDC“未来企业”概念九大方面的核心都是以技术支持业务的创新与发展，同时通过“数字化优先”的运营模式来打造未来企业。在这个背景下，催发了未来企业的新需求——客户能力、组织能力、技术能力和生态能力，企业组织需要结合自身现状并根据“未来企业“的九大方面来进行完善。在疫后抓住机遇，从而推动业务的发展。 IDC提出，如何在疫后加速获取未来企业在数字化转型过程中的新商机，就要求技术厂商将自身企业打造成企业服务新物种，从而在数字经济时代帮助客户创造商业价值。首先，技术厂商要成为行业用户的创新支持者，为客户提供知识和经验;其次，要成为企业可信赖的顾问，符合客户愿意和价值观;第三，很重要的一点是要有批判性思维，帮助客户理解现实的复杂性，在创新过程中共同进步;最后，需要有新技术网关来整合客户所需要的技术，从而提供一套完整的解决方案。 IDC中国副总裁兼首席分析师武连峰先生在本次线上分享论坛中表示，“在全球‘新冠’疫情的影响下，全球经济以及ICT市场都将受到影响。但与此同时，逆境下依然蕴藏着许多新的商机。IDC预计，2020年与疫情相关的10个领域的ICT市场商机总计将超过1.5万亿人民币。企业组织应保持乐观的心态;积极打造远程协同办公的能力和习惯;做好线上营销与客户服务;同时做好企业组织的数字化转型的评估。最后，塑造自身数字化转型的品牌定位，寻找适合自己的合作伙伴。努力将自身变成企业服务新物种，挖掘疫情后企业加速数字化转型新商机。” 消费终端研究专场 后疫情时代，终端市场如何突破逆境，寻找新商机 尽管终端商用市场下降严重，但从IDC2月份终端零售调查来看，PC、平板、打印机等产品零售市场下降并不明显，尤其是电商市场反而呈现高速增长。学生用户、在家办公用户、游戏用户成为了采购的主力军。 从消费者行为、最新终端产品、交互方式、未来工作等方面来看，新的商机在未来值得期待。 中国智能家居市场的弯道超车 IDC预测，2020年中国智能家居市场同比增长3%，较预期有所下降。市场规模的增长、渠道的扩展、连接生态的扩大以及传感和交互技术的提升等方面，均面临着一定的挑战。尽管智能家居市场当前处在整体降速转弯时期，但产品能够根据自身资源和优势，在应用场景、营销渠道、交互能力等方面找到突破口，把握机遇，将对后续增长期的竞争发展起到重要作用。 未来客户——智能消费终端洞察 数字化的生活方式正在塑造一个新的消费时代，消费者的消费行为更加复杂，对智能科技产品有更高的期待和选择权。同时，场景和生活形态演变导致消费者对产品和服务需求多元化。工作生活一体化，需要厂商围绕关键场景开展数字化转型，提升消费者智能体验。并且，品牌也需要基于消费者洞察和自身文化的差异，找到消费者体验提升、关系创建的有效之路，从而实现品牌和价值的双向成功。 数字化时代，智能终端显示屏有多重要 随着数字化转型的进一步深入，越来越多的用户已经认识到数据的重要性，并且意识到了使用数据进行展示的重要性。IDC在三年前提出“未来工作”这一概念，从空间、文化和员工(劳动力)三个方面解读了未来工作的发展方向，在这一大背景下，屏幕的重要性也更为突显。随时随地都在从传统的物理界面沟通方式转向数字界面沟通方式演变。IDC认为，Paneltoeverything已经到来。 新兴技术研究专场 新技术的突破创新与行业应用融合将成为攫取商机的关键 未来智能——规模深入普惠 一方面新基建支持人工智能项目建设，另一方面疫情将刺激数据智能市场跨越式前进，而行业企业也在践行“将AI全面渗透”。在这三大新的市场发展驱动力下，重估人工智能市场机会：无论是计算机视觉，还是自然语言处理、语音技术、机器学习，都仍有很大的市场空白。IDC预计，到2025年，AI技术驱动的企业将100%提高生产率，并带来更短的反应时间、更大的产品创新成功机率，以及提高客户满意度。在数字经济时代的今天，优越的价值将归属于那些能够创造智能经济的企业。实现未来智能，企业需要做到DataOps-提高数据利用指数，ModelOps-协作以管理算法模型全生命周期，DevOps-加速实现规模化智能。 未来连接——5G开创行业新机遇 IDC预测，到2024年，蜂窝物联网连接数量将增长到137.6亿，是增速最快的物联网连接技术。5G作为未来连接的重要组成，将构筑起万物互联的基础设施，推动各行业深度变革。中国正处于数字化爆发期。同时，在新基建的过程中5G也将处于非常重要的位置。2020年，5G将率先在政府、医疗、制造、传媒、交通等行业实现商业落地，为行业提供数字化转型升级新驱动力，为用户带来前所未有的体验。 未来信任——赢在数字信任 IDC预测，到2025年，全球捕获的数据量达到175ZB。新基建的提出是保证我国经济健康向前发展的重要支撑，也推动了中国数字化转型的进程。未来在全球将会有700万个以上的边缘计算节点，IT系统复杂性会呈现指数级升高，因此，依据过往经验，在新基建的推动下，未来IT环境将面临于以往数倍的安全挑战。在未来数字世界中，构建设数字信任体系将成为企业发展战略的重要组成部分，信任关乎未来企业发展的成败。无安全不信任，作为基础，网络安全技术也将随新的IT架构的变化而发生颠覆式的变革。 未来信任——跨越区块链“101” 未来信任是由风险、安全、合规、伦理、社会责任、隐私构成的综合体系。数字经济背景下，区块链是“新基建”新技术基础设施的代表性技术，也是实现未来信任的关键。目前，技术限制、认知模糊、场景局限等三类问题是区块链实现从概念验证到规模化发展面临的主要挑战，区块链服务商也需要从技术、认知、场景三方面实现跨越。首先是跨越技术，即对区块链自身技术的突破以及寻找与其他IT技术的融合;其次是跨越主体，需要站在用户的视角去看待技术，帮助用户解决其核心问题——为什么要使用区块链;最后是跨越应用，需要从行业和应用场景的角度切入市场，在政策驱动下，金融、政务、民生三个领域是较为明确的行业拓展方向，贸易金融、自动化交易、跨境支付与清算等用户投入较多的应用场景。IDC预计，到2023年，中国区块链市场支出规模将达到17.2亿美元。 企业级研究专场 数字化2.0时代，企业级开发者需利用新的技术手段创造更多价值 通过此次“新冠”疫情，企业组织更加意识到数字化对于企业业务的发展起着越来越至关重要的作用，从而保证业务的连续性。数字化2.0时代，其基础还是数据中心的基础架构，未来基础架构又会在数字化转型过程中发生相应的变化，导致数据中心的运营、云模式等也随之产生变化，这就涉及到未来运营的概念。边缘IT和OT相结合，如何更好的进行协作，就需要有连接进行支持。未来连接将不仅仅是5G技术，在企业网络的发展中，会有许多新的技术和应用应运而生。在企业搭建好数字化2.0的环境后，最重要的目的是能够有更多的创新，以帮助企业在未来的竞争中保持优势。 未来基础架构——重新定义基础架构使用模式 IDC预测，到2025年，全球捕获的数据量达到175ZB。在数字经济时代，数据已成为最新的生产资料。同时，数据的流动也正在重塑IT基础架构。边缘设备开始大量处理数据，大规模计算能力已成为最新生产力。云-边-端的解决方案将驱动基础架构的创新。边缘计算、异构计算、服务定义的数据基础设施将成为未来基础架构的发展方向。 未来运营——无处不在的云交付 60%的企业在选择云服务商时，最主要考虑的是总体成本之外的因素，需要服务商具备更广泛的云服务能力。未来两年，公有云上应用部署比例将提升7.1%;混合云模式渐成数据基础设施建设的主流，并朝着基于公有云、私有云、边缘云的灵活组合生态发展演进。无处不在的云正成为支撑未来运营的关键数据基础设施，而未来运营的核心在于“弹性”，企业必须解决数据断层问题，应对不断变化的市场需求。 未来连接——从云到边缘，无处不在的网络 随着数字化的深入，数字化企业从联接数量、联接时间、联接方式以及联接要求几个方面对未来连接提出了更高的要求。SD-WAN，WiFi6和云管理将构建未来联接。SD-WAN解决云和边缘联接的问题;WiFi6解决边缘组网和无线化的问题。IDC预测，至2023年，WiFi6在中国无线AP市场出货量占比中将超过90%。同时，借助云管理将设备、网络、业务以及应用管理起来，从而达到提效、降本、增值的目标。未来联接将更加广泛、更高智能、更强体验，为未来企业打造智能数字化平台。 未来数字化创新——企业级开发者的转型之路 IDC预测，到2024年，数字经济的发展将孕育出超过5亿个新应用/服务。数字经济将驱动企业拓展数字化创新能力。为了帮助企业在数字经济的洪流中顺势而行，IDC所提出的数字化创新框架助力企业打造成“数字化创新工厂”。从软件规划、资源获取、开发方式和分销获利四个方面互相关联，循环往复。目标是打造出为企业和客户创造新价值的创新应用。因此对于所有企业来说，为了在未来竞争中利于不败之地，应该在软件开发上投入更多，包括技术，工具和人，并且充分利用企业外部创新资源，采用现代化工具，方法和架构提升软件和创新业务的开发速度和规模，最终通过直接和间接的方式从开发成果中获益。 【云栖号在线课堂】每天都有产品技术专家分享！课程地址：https://yqh.aliyun.com/live 立即加入社群，与专家面对面，及时了解课程最新动态！【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK 原文发布时间：2020-04-23本文作者：佚名本文来自：“ 51CTO”，了解相关信息可以关注“51CTO”
2020-04-22
优秀的个人博客,低调大师

在星盛数越网络下如何选择合适的高防服务器租用？

首先我们先了解防御类型和防御大小，我们常见的防火墙防御，是介于内部网和外部网、专用网和公共网之间的一种保护屏障，防火墙分为两种：一种是软件防火墙、另一种是硬件防火墙。1、软件防火墙：软件防火墙是寄生于操作平台上的，通过软件去实现隔离内部网与外部网之间的一种保护屏障。 2、硬件防火墙：硬件防火墙是镶嵌系统内的，硬件防火墙是有软件和硬件结合而生成的，硬件防火墙从性能方面和防御方面都要比软件防火墙要好。 其次是流量牵引技术，这是一种新型的防御，它能把正常流量和攻击流量区分开，把带有攻击的流量牵引到有防御DDOS、CC等攻击的设备上去，把流量攻击的方向牵引到其他设备上去而不是选择自身去硬抗。这样的方式对机房的带宽要求低，香港的高防服务器用的都是流量清洗技术，主要是因为香港本身带宽就不多，如果采用硬件防火墙的机房就需要有相应的闲置带宽供应防火墙，会造成更多的带宽浪费。 其次我们选择高防服务器租用时，需要注意一下几点： 1、选择合适的线路 高防服务器租用线路的选择一般分为单线、双线、多线BGP。单线线路常用的是联通线路或者电信线路，双线则是电信/网通两条线路同时接入，而多线BGP是用BGP协议实现的单IP双线路。 线路的选择主要考虑，站点访问人群是哪些区域，南方访客占据大多数而北方访客比较少的话建议用电信单线就行，要是南北方访客都差不多，而且处于业务需要想做全国的业务，那双线就是最合适的选择。 2、选择足够的带宽 带宽越大同时访问网站的人数就越多，下载的速度就越快。100M独享带宽指的是一台服务器独自享用这100M的带宽，而100M共享带宽指的是一个机柜的用户一共享用这100M的带宽。 如果不知道该选多大的带宽资源的话，可以咨询IDC服务商，让业务员根据业务情况推荐，可以多作几家对比。 3、选定合适的防御 防御是棋牌游戏服务器最看重的点之一。一般来说高防服务器指的是独立单个防御50G以上的服务器类型，防御的大小选择要密切衡量自己的成本和日常被攻击的情况，防御高低不同的价格从几百到几千不等。总之就是要综合考虑，选择比受到的攻击大一点的防御。 4、租用的机房 选定租用的机房，选择防御比较高的机房比较好。西安机房是国内防御比较好的机房，当然还有其他机房。选择机房，我们要看除了看机房承诺的防御外要看机房的资质，机房的配置，包括发电机、线路，机房等级等等。 5、服务器配置的选择 一开始租用高防机器建议先使用默认配置，一般选择8核CPU和8G内存就可以满足了，当然具体情况还需看自己的业务需求，根据自己业务需求作调整。
2018-09-29
优秀的个人博客,低调大师

《大数据分析：点“数”成金》----第一章：什么是大数据

第1章 什么是大数据 “ 大数据”到底是什么？这个概念乍看上去相当模糊，它似乎指的是数量庞大信息量巨大的数据。尽管这样的描述确实符合“大数据”的字面含义，但它并没有解释清楚大数据到底是什么。 大数据常常被描述成已经大到无法用传统的数据处理工具进行管理和分析的极大的数据集。从网上我们可以得到一个被大多数人所认同的观点：当数据集已经发展到相当大的规模，常规的信息技术已无法有效地处理、适应数据集合的增长和演化时，大数据就应运而生了。换言之，数据集规模已大到难以用传统信息技术进行有效的管理，更不用说从中挖掘价值了。具体来说，难题主要在于数据的采集、存储、检索、共享、分析和数据可视化。 关于大数据到底是什么，绝非三言两语就能解释清楚。这个概念经过演变不仅包含了对数据集规模的描述，还包括数据利用的过程。大数据甚至变成了其他商务概念的代名词，如商业智能（Business Intelligence, BI）、数据分析（Analytics）和数据挖掘（Data Mining）。 大数据虽新，可“大数据”却早已存在。虽然海量的数据规模在最近两年内才形成，但大数据的概念却早已在科学界、医学界等组织中萌芽。这些组织对海量数据集进行复杂的分析，并将其运用于药物研制、物理建模及其他研究领域。然而，正是这些渊源为大数据今日的发展奠定了基础。 1.1 数据分析的春天 科学家们对大数据集进行研究和分析后得出一个结论——数据多多益善。也就是说，数据越多，分析越深入，所得的结论就越全面。于是，研究者们开始在分析过程中引入相关数据集、非结构化数据、归档数据和实时数据，而这反过来又催生出我们今日所谓的“大数据”。 在商业领域中，大数据暗藏商机。据IBM公司称，全球每天产生2.5亿亿（2.5×1018）字节的数据，当今世界90%的数据都是近两年产生的。这些数据来源广泛，有的来自收集气候信息的传感器，有的来自社交媒体网站，还有的是网络上传的数字照片和视频、电子商务交易记录，甚至是手机GPS信号等。这些都是大数据的“催化剂”。更重要的是，所有的数据都蕴含内在价值，利用数据分析、算法和其他技术是可以将这些内在价值提炼出来的。 大数据的价值及其重要性已经在一些领域得到了证明。美国国家海洋和大气管理局（NOAA）、美国国家航空航天局（NASA）、部分制药公司和许多能源公司正在把大数据技术运用于日常工作并从海量的数据中提取价值。 美国国家海洋和大气管理局运用大数据的方法助力气候、生态系统、天气和商业研究，美国国家航空航天局则使用大数据从事航空航天等研究。在大数据的帮助下，制药公司和能源公司已经在药物测试和地理分析方面得到了实际的效益。《纽约时报》利用大数据工具进行文本分析和Web挖掘；迪士尼公司则分析了旗下所有店铺、主题公园和网站的数据，试图发现数据间的关联性，进而理解用户行为。 在如今的商业活动中，大数据还扮演着其他的角色，大型企业越来越迫切地需要维护海量的结构化和非结构化数据——从数据仓库中的交易信息到员工的微博数据，从供应商的供货记录到政府的监管信息（为了符合政府法规的规定）。在近期诉讼案件的审理过程中，法庭鼓励公司保存大量文档、电子邮件以及其他电子通信消息（例如即时消息、网络通话等）。一旦公司面临诉讼，便可以从这些信息中进行电子取证，这也进一步推动了数据维护的需求。 1.2 价值何在 发掘价值从来都是说起来容易做起来难。面对技术、理论、实践中的种种挑战，大数据的发展可谓一路荆棘。任何一种挑战都可能消弭发掘大数据商业价值的能力，进而影响大数据的发展。 对大数据的概念的探究虽然涉及多个维度，不过人们认为以下4个维度最为重要，并将其统称为4V。 1．海量性（Volume）。大数据都是数量巨大的数据。很多企业都拥有海量数据，数据量很容易就积累到TB（1012字节）级，甚至跃升至PB（1015字节）级。 2．多样性（Variety）。大数据冲破结构化数据的局限，不仅包括结构化数据，还覆盖了如文本、音频、视频、点击流[①]、日志文件等各种类型的非结构化数据。 3．精确性（Veracity）。数据量多不见得都是好事，庞杂的数据可能会导致对收集到的信息的误读或统计误差，因此信息的纯度对价值发掘至关重要。 4．时效性（Velocity）。大数据对时效性要求很高，企业必须能够在短时间内高速、流畅地处理源源不断产生或流入企业的海量数据，方能最大化地显现出大数据的商业价值。与此同时，大数据还应被归档存储，以备不时之需。 大数据的4V特征为我们进行数据分析指明了方向，其中每个V在发掘大数据价值的过程中都有着内在价值。然而，大数据的复杂性并非只体现在这4个维度上，还有其他因素在起作用，这些因素存在于大数据所推动的一系列过程中。在这一系列过程中，需要结合不同的技术和分析方法才能充分揭示数据源的价值，进而用数据指导行为，促进业务的发展。 以下诸多支撑大数据的技术或概念早已有之，但现在已归至大数据范畴之下，包含如下方面。 传统商业智能（Traditional Business Intelligence, BI）。商业智能涵盖了多种数据采集、存储、分析、访问的技术及应用。传统的商业智能对来自数据库、应用程序和其他可访问数据源提供的详细商业数据进行深度分析，通过运用基于事实的决策支持系统，给用户提供可操作性的建议，辅助企业用户做出更好的商业决策。在某些领域中，商业智能不仅能够提供历史和实时视图，还可以支持企业预测未来的蓝图。 Data Mining, DM）。数据挖掘是人们对数据进行多角度的分析并从中提炼有价值的信息的过程。数据挖掘的对象通常是静态数据和归档数据，数据挖掘技术侧重于数据建模以及知识发现，其目的通常是预测趋势而绝非纯粹为了描述现状——这是从大数据集中发现新模式的理想过程。 统计应用 （Statistical Application）。统计应用通常是基于统计学原理利用算法来处理数据，一般用于民意调查、人口普查以及其他统计数据集。为了更好地估计、测试或预测分析，可以使用统计软件分析收集到的样本观测值来推断总体特征。调查问卷和实验报告这类经验数据都是用于数据分析的主要数据来源。 预测分析 （Predictive Analysis）。预测分析是统计应用的一个分支，人们基于从各个数据库得到的发展趋势及其他相关信息，分析数据集进行预测。预测分析在金融和科学领域显得尤为重要，因为加入对外部影响因素的分析，更容易形成高质量的预测结论。预测分析的一个主要目标是为业务流程、市场销售和生产制造等规避风险并寻求机遇。 数据建模 （Data Modeling）。数据建模是分析方法论概念的应用之一，运用算法可在不同的数据集中分析不同的假设情境。理想的情况下，对不同信息集的建模运算算法将产生不同的模型结果，进而揭示出数据集的变化以及这些变化会产生怎样的影响。数据建模与数据可视化密不可分，二者结合所揭示的信息能够为企业的某些特定商业活动提供帮助。 上述分析种类仅是大数据的一隅而已，未能展现大数据对商业的全部价值。对利益无尽的追求及不懈的竞争刺激着人们对大数据商业价值的渴求，促使组织机构利用企业内部和外部数据“仓库”中的数据来揭示发展规律、进行数据统计、获取竞争情报，协助他们部署下一步战略。大数据正是企业所需的大“仓库”。这使得大数据及其相关处理工具、平台、分析技术等在企业技术层和管理层中备受青睐。 1.3 琳琅满目的大数据 超大的数据量只是大数据概念的一个部分。人们渐渐形成共识，结构化和非结构化的数据均蕴藏着关键的商业信息，因此必须将这些数据融入商业智能和实际运营之中。另一方面，非结构化的业务数据量不仅现在在增长，在可预见的未来仍将持续增长，而且这一增长趋势非常明显。 大数据涉及结构化数据、半结构化数据和非结构化数据这三类数据。 结构化数据通常指的是传统数据库（SQL或其他数据库）中的数据，这些数据根据预先定义好的业务规则（Business Rule）存储于不同的表中。在数据库中存储数据前需要事先定义数据并创建索引，这使得访问和过滤数据变得非常简单，因此结构化数据最容易处理。 相比之下，非结构化数据一般无法直接进行商业智能分析，这是由于非结构化数据无法直接存储到数据库表中，也无法被程序直接使用或使用数据库进行分析。二进制图片文件就是非结构化数据的一个典型例子。 半结构化数据介于结构化数据和非结构化数据之间。半结构化数据因不具有严格的结构而不同于基于数据库表和关系的结构化数据。半结构化数据也不同于非结构化数据，它使用标签和各种标识区分不同的元素，并提供了记录和字段的层级结构来定义数据。 1.4 不同的数据，统一的处理 得益于标准XML语言格式和行业XML数据标准的应用（如保险行业的ACORD标准[②]，医疗行业的HL 7[③]标准），不同类型的数据处理方法日渐趋同。虽然XML技术拓展了大数据分析和集成工具所能处理的数据类型，但是受限于数据的复杂结构及巨量规模，现有工具的转化能力无法满足不断增多的数据处理需求，从而加剧了有限处理能力与新兴需求之间的矛盾。人们急需一种新的通用数据转换工具以应对所有类型的数据（结构化、半结构化、非结构化），不用编写代码就能部署在任何应用软件或平台架构上。 对大数据的认识和分析依旧存在争论，与之相关的工具、技术和过程仍在不断发展。但是，这并不意味着想从大数据中探究价值的人们除了等待别无他法。大数据对商业活动的意义非常大，我们绝不能无所作为。 想要更好地实现数据分析的目标绝非易事，大数据发展的瓶颈在于满足分析需求的同时找到不同数据源的最优处理方法。如此看来，将硬件、软件及处理流程整合成一套可用、易用的管理程序来及时生成分析结论，似乎是明智之举。追根溯源，这一切正是得益于数据。 存储问题对大数据而言至关重要，因为数据必须存储在便于访问和维护之处。由于购买和管理SAN或NAS这样基于网络的存储系统相当昂贵，这一挑战对于很多公司来说代价不菲。 毕竟存储技术早已成熟并且成功商用，存储设备已经成为标准数据中心的常规配备。尽管如此，这仍然无法满足企业对多种存储技术新生的需求。重要的是，随着大数据分析的推进，企业方能利用BI对大数据集进行处理。 对于大数据分析过程所需的处理能力而言，常规的存储模式常常无能为力。诸如SANS、NAS和其他传统的存储技术，无法应对大数据与生俱来的那些动辄TB甚至PB级的非结构化信息。大数据分析若想成功，就需要更多突破：一种全新的海量数据处理方法，以及一个全新的存储平台理念。 1.5 一款开源利器 Hadoop是一个开源项目，它提供了处理大数据的平台。尽管Hadoop已经存在多年，但是越来越多的企业现在才刚刚开始领略到它的威力。Hadoop平台旨在解决海量数据所产生的问题，尤其是混杂有结构化或非结构化的复杂数据问题，因为这些数据无法有效地存储在表中。在类似聚类分析和定位分析这样的场景中，需要深度分析和大量计算进行支撑方能得以处理，而这恰是Hadoop的长处所在。 Hadoop可对海量数据进行有效的序化和访问，从而解决了绝大多数与大数据相关的常见问题，为想要利用大数据的决策者清除了障碍。 Hadoop设计的初衷就是允许数量众多的机器组成一个平台而共同协作，却不必共享任何内存或磁盘。考虑到这一特点，Hadoop怎样带来附加价值便一目了然：网络管理员只需要购置大批商用服务器并安置到机架上，分别运行Hadoop软件即可。 更何况，Hadoop有助于简化大型数据集的繁杂管理。实际操作中，一旦某一组织的数据被载入Hadoop平台，软件就会把数据切分成容易操作的小数据集，然后将其自动分发给不同服务器。由于分布式技术的一个本质特征就是弃用了对数据进行访问的统一入口，那么对于Hadoop中的分布式数据而言，这也就意味着人们可以使用Hadoop从多个地方访问同一数据。而且，Hadoop还跟踪记录数据驻留的位置，并且通过创建多个存储副本来保护数据。该设计增强了系统整体的健壮性，因为即使某个服务器脱机或者宕掉，数据仍可以从一个已知保存完好的副本中自行恢复。 不同于传统数据库系统，Hadoop对数据的深入处理并非一蹴而就。传统集中式的数据库系统固有的局限性，如挂入服务器级系统上的大量硬盘及多个处理器，使得数据分析不但受限于磁盘性能，更取决于其所拥有处理器的数量。 而在Hadoop集群中，Hadoop把任务和数据分发至各个服务器，然后利用这些服务器来进行计算。具体而言，一项任务被分解为一系列作业后，Hadoop将这些作业分发给集群中的每台服务器，服务器分别处理各自的数据分片后，再将所有结果作为统一的整体返回。Hadoop的这个过程被称为“映射-化简”（MapReduce），即指令或作业被映射至所有服务器，而运算结果被化简为单个数据集的过程。 正因为Hadoop能够分发数据并利用所有可用的集群处理器并行工作来解决复杂计算的问题，因此对海量数据的处理成了Hadoop的拿手好戏。 1.6 入门容易修行难 然而，一旦在尝试着步入Hadoop的世界后，你就会发现Hadoop的使用并不是即插即用那么简单的事情，因为除了要满足一定的前提条件以外，硬件配置和系统设置是成功的必备条件。 首当其冲的是理解和定义分析的过程。由于数据的抽取（extract）、转换（transform）和加载（load）在构建BA（业务分析）或BI（商业智能）解决方案中起到关键作用，所以人们将其合称为ETL。所幸，大多数CIO（首席信息官）不仅对BA和BI的过程较为熟悉，还能够把最常用的ETL层和这个过程结合起来。因此，要进行大数据分析之前，企业首先需要挑选并确定哪些数据用来分析，然后对数据进行检验、对比和汇总，最后进行数据整合（ETL）。整个过程同时伴有数量庞大的数据，这些数据来源广泛（社交网络、数据日志、网站、移动设备、传感器和其他领域）并且类型复杂（结构化、非结构化）。 Hadoop基于容错性集群架构，拥有更强的数据计算能力，能够对大数据进行并行或批量处理，还具有一套从数据存储到分析的开放生态圈。不仅该生态圈能够对企业构架进行全方位的支持，Hadoop上述这些特点更有助于支持企业进行大数据分析。 当然，并非所有的企业都需要大数据分析的支持。对于那些确实需要的企业来说，应该考虑利用Hadoop的能力来满足企业需求。不过Hadoop本身并非万能药。在构建Hadoop项目时，企业还必须根据实际需求确定需要用到哪些额外的Hadoop组件。 例如，从软件上看，Hadoop组件虽多，但让其运行起来却只需少数组件构成的组件集合即可。这些组件有：用于数据管理的HDFS和HBase[④]，作为任务处理框架的MapReduce或OOZIE，用以提高开发人员开发效率的开发框架Pig和Hive，以及用于BI的开源项目Pentaho。从硬件的角度看，一个测试项目并不需要大量设备。硬件需求可以简单到仅仅两台拥有多核CPU、至少24 GB内存、十几个TB硬盘的服务器即可。事实证明，这样的硬件配置对于一个测试项目的运行而言，已然足够。 需要对数据管理者在观念上打个“预防针”：有效管理和使用Hadoop不能离开专业知识和经验。若真缺乏，信息技术管理部门则应该考虑与服务提供商进行合作，他们可对Hadoop项目提供鼎力支持。此外，这些专业知识对于安全而言，尤为重要。由于Hadoop、HDFS和HBase中默认集成的安全性组件数量极少，所以为了防止数据遭到破坏或窃取，企业仍然需要对数据进行安全保护。 在全面评估之后，企业应该组建一个内部Hadoop项目来对大数据分析的能力进行初步测试。如果初测结果理想，企业还希望更加深入地了解大数据分析，那么已有大量现成的商业和（或）托管解决方案可供选择。 ① 点击流（Click Stream），即指记录用户在Web服务器上的浏览历史。通过分析用户造访页面的历史数据，可以发现用户访问网站的路径、瓶颈、热点连接等，并根据这些数据对系统功能进行相应调整。因此，点击流有时也被称为用户访问路径分析。——译者注 [②] ACORD Transactional/Business Wrapper (TXLife) XML 规范日渐成为寿险、养老金和健康保险行业内用于内部和外部数据集成的首选数据格式。——译者注 [③] HL 7（Health Level Severn），健康信息交换第七层协议。HL 7标准是医疗领域不同应用系统之间电子数据传输的协议，主要目的是要发展各型医疗信息系统间，如临床、检验、保险、管理及行政等各项电子资料交换的标准；主要应用在医疗保健领域，特别是在住院患者急需的医护设施领域内进行及时的电子数据交换。——译者注 [④] HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HDFS作为其文件存储系统。——译者注
2013-09-21

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2026-10-18 大小: 211.28KB 下载: 56次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-09-24 大小: 189MB 下载: 9次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册