低调大师

显示筛选

文章筛选

  • 全部文章
  • 龙果学院
  • CentosChina
  • 51CTO
  • 推荐
  • 云计算
  • 大数据
  • 移动
  • 网络
  • 安全
  • 系统
  • 开发
  • 服务器
  • 存储
  • 数据库
  • 虚拟化
  • 云栖社区
  • 云计算
  • 大数据
  • 人工智能
  • 架构
  • 移动开发
  • 物联网
  • 编程语言
  • 阿里云
  • OsChina
  • 博客
  • 软件更新资讯
  • 行业资讯
  • 编程语言资讯
  • 综合资讯
您现在的位置是:首页>文章列表

文章列表

  • Serverless Spark的弹性利器 - EMR Shuffle Service

    Serverless Spark的弹性利器 - EMR Shuffle Service

    背景与动机 计算存储分离下的刚需 计算存储分离是云原生的重要特征。通常来讲,计算是CPU密集型,存储是IO密集型,他们对于硬件配置的需求是不同的。在传统计算存储混合的架构中,为了兼顾计算和存储,CPU和存储设备都不能太差,因此牺牲了灵活性,提高了成本。在计算存储分离架构中,可以独立配置计算机型和存储机型,具有极大的灵活性,从而降低成本。 存储计算分离是新型的...

    2020-09-27 14热度
  • 【数据湖开发治理篇】——数据湖开发治理平台DataWorks

    【数据湖开发治理篇】——数据湖开发治理平台DataWorks

    数据湖的定义: wikipedia中对于数据湖的定义是:“A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files. A data lake is usually a single store of...

    2020-09-27 14热度
  • 多数据源一站式入湖

    多数据源一站式入湖

    背景 数据湖作为一个集中化的数据存储仓库,支持的数据类型具有多样性,包括结构化、半结构化以及非结构化的数据,数据来源上包含数据库数据、binglog增量数据、日志数据以及已有数仓上的存量数据等.数据湖能够将这些不同来源、不同格式的数据集中存储管理在高性价比的存储如OSS等对象存储中,并对外提供统一的数据分析方式,有效解决了企业中面临的数据孤岛问题,同时大大降...

    2020-09-26 14热度
  • 阿里巴巴电商搜索推荐实时数仓演进之路

    阿里巴巴电商搜索推荐实时数仓演进之路

    1. 业务背景 阿里巴巴电商搜索推荐实时数据仓库承载了阿里巴巴集团淘宝、淘宝特价版、饿了么等多个电商业务的实时数仓场景,提供了包括实时大屏、实时报表、实时算法训练、实时A/B实验看板等多种数据应用支持。 数据的价值 我们认为数据处于阿里巴巴搜索推荐的大脑位置,这体现在算法迭代、产品运营和老板决策等多个方面。那么数据是怎样在搜索推荐业务场景中流转的呢?首先是信...

    2020-09-26 15热度
  • 数据湖构建服务搭配Delta Lake玩转CDC实时入湖

    数据湖构建服务搭配Delta Lake玩转CDC实时入湖

    什么是CDC Change Data Capture(CDC)用来跟踪捕获数据源的数据变化,并将这些变化同步到目标存储(如数据湖或数据仓库),用于数据备份或后续分析,同步过程可以是分钟/小时/天等粒度,也可以是实时同步。CDC方案分为侵入式(intrusive manner)和非倾入性(non-intrusive manner)两种。 侵入式 侵入式方案直接...

    2020-09-26 13热度
  • 云原生计算引擎挑战与解决方案

    云原生计算引擎挑战与解决方案

    云原生背景介绍与思考 图一是基于ECS底座的EMR架构,这是一套非常完整的开源大数据生态,也是近10年来每个数字化企业必不可少的开源大数据解决方案。主要分为以下几层: ECS物理资源层,也就是Iaas层 数据接入层,例如实时的Kafka,离线的Sqoop 存储层,包括HDFS和OSS,以及EMR自研的缓存加速JindoFS 计算引擎层,包括熟知的Spark,...

    2020-09-26 15热度
  • 多引擎集成挖掘湖上数据价值

    多引擎集成挖掘湖上数据价值

    数据湖已经逐步走到了精细化的管理,这意味着原始的计算引擎直接读写存储的方式应当逐步演变为使用标准方式读写数据湖存储。然而“标准方式”实际上并无业界标准,与具体的计算引擎深度绑定,因此,支持计算引擎的丰富程度也就成了衡量数据湖的一个准则。 阿里云数据湖构建服务支持丰富的计算引擎对接,包括但不限于阿里云产品 E-MapReduce(EMR)、MaxCompute...

    2020-09-23 16热度
  • 数据湖架构,为什么需要“湖加速”?

    数据湖架构,为什么需要“湖加速”?

    在开源大数据领域,存储/计算分离已经成为共识和标准做法,数据湖架构成为大数据平台的首要选择。基于这一范式,大数据架构师需要考虑三件事情: 第一,选择什么样的存储系统做数据湖(湖存储)? 第二,计算和存储分离后,出现了性能瓶颈,计算如何加速和优化(湖加速)? 第三,针对需要的计算场景,选择什么样的计算引擎(湖计算)? 湖存储可以基于我们熟悉的HDFS,在公共云...

    2020-09-22 17热度
  • JindoTable数据湖优化与查询加速

    JindoTable数据湖优化与查询加速

    概述 近几年,数据湖架构的概念逐渐兴起,很多企业都在尝试构建数据湖。相比较大数据平台,数据湖在数据治理方面提出了更高的要求。对于数据湖场景所提出的新需求,“传统”的大数据工具在很多方面都面临着新的挑战。JindoTable 正是专为解决数据湖管理结构化数据甚至是半结构化数据的痛点而设计的,包括数据治理功能和查询加速功能。 数据优化 数据湖需要存储来自各种数据...

    2020-09-21 26热度
  • 用尽每一寸GPU,阿里云cGPU容器技术白皮书重磅发布!

    用尽每一寸GPU,阿里云cGPU容器技术白皮书重磅发布!

    背景 云原生已经成为业内云服务的一个趋势。在云原生上支持异构计算,这个功能在标准的Docker上已经可以很好的支持了。为了进一步提高GPU的利用率、避免算力浪费,需要在单个GPU上可以运行多个容器,并且在多个容器间隔离GPU应用,这在标准的Docker上是无法做到的。为了满足这一需求,业界也做了很多探索。NVIDIA vGPU, NVIDIA MPS, 基于...

    2020-09-20 24热度
  • 重磅报告 | 《中国企业2020:人工智能应用实践与趋势》

    重磅报告 | 《中国企业2020:人工智能应用实践与趋势》

    摘要: 如今,人工智能已经在零售、制造、传媒、金融等领域发挥着日益重要的作用。在即将到来的2020年,企业将如何更好地拥抱人工智能? 作为《中国企业2020》系列报告的第一季,这份白皮书重点阐述了人工智能作为数字经济时代的新生产力的发展现状、趋势洞察,以及如何通过人工智能赋能企业数字化创新。特别指出人工智能为企业创造价值的七大模式,并就人工智能在零售、教育、...

    2020-09-20 26热度
  • 弹性计算OOS审批流程自动化运维

    弹性计算OOS审批流程自动化运维

    阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系统为例,介绍如何利用OOS在运维常见的部署系统、扩容系统、回收系统三个场景中添加审批流程,并以钉钉通知到对应的审批人员。 解决问题 对接阿里云A...

    2020-09-20 21热度
  • 低成本跨境文件传输

    低成本跨境文件传输

    阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 通过OSS加速域名,配合函数计算和函数工作流,打造低成本、高效的跨境对象存储数据同步传输系统:1、跨境对象存储数据传输需求2、对跨境传输成本控制严苛3、能接受一定程度网络抖动带来的文件同步延迟4...

    2020-09-20 19热度
  • Spring Cloud Netflix应用迁移EDAS

    Spring Cloud Netflix应用迁移EDAS

    阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 Spring Cloud Netflix微服务应用迁移到EDAS服务(SpringCloud Alibaba云版本)的方法,迁移后充分利用阿里云监控、调用链、限流降级等能力,优化应用生命周期管理...

    2020-09-20 20热度
  • Dubbo应用上云

    Dubbo应用上云

    阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 本最佳实践适用于企业自建Dubbo应用上云,应用采用docker方式部署,降低部署成本。同时利用MSE提供Zookeeper服务注册管理。通过阿里云的ARMS和AHAS服务提供应用监控和服务限流...

    2020-09-20 20热度
  • 微服务分布式事务

    微服务分布式事务

    阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 本文档适用于在分布式应用中,多个服务间存在分布式事务的场景。通过阿里云全局事务服务(GTS)保障数据的最终一致性,提供简单、易用、高效的分布式事务解决方案。 解决问题 微服务应用的分布式事务解决...

    2020-09-20 19热度
  • 基于JindoFS+OSS构建高效数据湖

    基于JindoFS+OSS构建高效数据湖

    为什么要构建数据湖 大数据时代早期,Apache HDFS 是构建具有海量存储能力数据仓库的首选方案。随着云计算、大数据、AI 等技术的发展,所有云厂商都在不断完善自家的对象存储,来更好地适配 Apache Hadoop/Spark 大数据以及各种 AI 生态。由于对象存储有海量、安全、低成本、高可靠、易集成等优势,各种 IoT 设备、网站数据都把各种形式的...

    2020-09-17 33热度
  • 弹性计算OOS批量运维自动化运维

    弹性计算OOS批量运维自动化运维

    阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 阿里云推出了运维编排OOS,支持所有的云上资源操作和ECS实例内部操作。弹性计算OOS是全面、免费的云上自动化运维平台,提供运维任务的管理和执行。 解决问题 人工运维效率低下,易出错 运维动作权...

    2020-09-17 16热度
  • EMR本地盘实例大规模数据集测试

    EMR本地盘实例大规模数据集测试

    阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 阿里云为了满足大数据场景下的存储需求,在云上推出了本地盘D1机型,这个系列提供了本地盘而非云盘作为存储,提高了磁盘的吞吐能力,发挥Hadoop的就近计算优势。阿里云EMR产品针对本地盘机型,推出...

    2020-09-17 15热度
  • 超级计算集群结合ACK实现NLP训练

    超级计算集群结合ACK实现NLP训练

    阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 本方案适用于自然语言处理的训练场景,使用神龙GPU云服务器(SCCGN6)+CPFS+容器服务Kubernetes版(ACK)进行NLP的训练,采用Bert模型,使用飞天AI加速训练工具可以有效...

    2020-09-17 13热度
« 上页 1/4887 下页 »