MaxCompute-使用分享-低调大师

MaxCompute-使用分享

2019-10-21 755

MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。欢迎加入钉钉交流群11782920。

产品优势
1、大规模计算存储

MaxCompute适用于100GB以上规模的存储及计算需求，最大可达EB级别。

2、多种计算模型

MaxCompute支持SQL、MapReduce、UDF（Java/Python）、Graph、基于DAG的处理、交互式、内存计算、机器学习等计算类型及MPI迭代类算法。简化了企业大数据平台的应用架构。

3、强数据安全
MaxCompute已稳定支撑阿里全部数据仓库业务9年以上，提供多层沙箱防护、细粒度权限管理及监控。

4、低成本
与企业自建专有云相比，MaxCompute的计算存储更高效，可以降低30%~50%的采购成本。

5、免运维
基于MaxCompute的Serverless无服务器的设计思路，用户只需关心作业和数据，而无需关心底层分布式架构及运维。

6、极致弹性扩展
MaxCompute提供按量付费模式下的作业级别的资源管理。用户无需受困于资源扩展难题，系统会自动扩展计算、存储、网络等资源，最大程度地节省成本。

作为一名初次使用MaxCompute的用户，我体会颇深。MaxCompute 开箱即用，拥有集成化的操作界面，你不必关心集群搭建、配置和运维工作。仅需简单的点击鼠标，几步操作，就可以在MaxCompute中上传数据，分析数据并得到分析结果。

作为一种快速、完全托管的 TB/PB 级数据仓库解决方案，MaxCompute不仅为我们提供了传统的命令行操作，而且提供了丰富的web端操作界面。对于数据开发，测试，发布，数据流，数据权限管理都非常好用，支持python，java的udf，对于复杂的逻辑查询也支持传统的MapReduce，同时也支持多种机器学习算法，非常好用。

MaxCompute为我们提供了统一的项目管理。实际开发中各个团队都有自己的项目,自己管理自己的项目, 通过项目隔离,有效的防止数据和任务被其他团队修改和删除等问题。除非是pro项目任务出错,否则不会影响到其他业务线的任务,最大程度降低各业务间的影响。

同时，大数据开发套件和 MaxCompute关系紧密，大数据开发套件为 MaxCompute 提供了一站式的数据同步，任务开发，数据工作流开发，数据管理和数据运维等功能。

当需要处理的数据变得非常多，并且数据发展到足够复杂的时候，这些数据往往需要用不同的模式进行处理，除此之外，当作业出现问题的时候也需要有足够好的工具进行分析和管理。这些其实都是对于开发者而言需要面对的问题，与此同时阿里云为我们提供了DATA IDE环境来解决上述的问题。

在进行数据分析的过程中DATA IDE可以支持SQL的语法以及语法的高亮，同时实现代码补全等功能。开发者即使对于SQL的语法并不熟悉，但是根据DATA IDE给出的关键词提示也可以轻松的进行操作。另外在DATA IDE中可以集成元数据，从而在开发人员进行SQL语句编写时，给予表格、字段以及函数的提示。

在任务执行过程中，我们通过IDE可以看到作业的执行状态以及详细信息，即便是作业出现问题IDE也可以很方便地对于问题进行定位，帮助开发者发现作业中哪一个是瓶颈。

Max Compute还为我们提供了一个基于云计算的灵活的轻量级的自助 BI 工具服务平台-----Quick BI。

Quick BI可以支持多种数据源的添加，以便于我们对不同的数据源进行实时在线分析。

Quick BI为我们提供了丰富的可视化图表，根据行业的不同需求我们可以随意选取，以便于给决策曾提供更清晰准确的报表。而其基于 WEB 页面的工作环境，拖拽式、类似于 EXCEL 的操作方式，一键导入、实时分析，可以灵活切换数据分析的视角，更是锦上添花。

对于完成后的报表图表，可以以接口方式将制作的报表嵌入到第三方软件，从而方便自己的分析查询。

总之，无论是用来学习，还是用来工作MaxCompute都是一个不错的选择。时代在进步，科技在发展，大数据的脚步已经离我们越来越近，更多是知识需要我们去学习，去实践，赶快行动起来加入其中吧。

微信关注我们

原文链接：https://yq.aliyun.com/articles/721674

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

如何通过控制台来访问HBase开源组件？

今天这里主要介绍如何通过控制台来访问HBase产品的一些开源软件界面，比如说原生HBase的一些界面。首先我们来到HBase产品控制台。这里看到我们已经有一个运行中的HBase了，然后点击管理。先将来修改一下这个产品的网络白名单。将当前的公网访问IP复制到网络访问白名单中来，点击确认。由于之前没有设置过访问密码，这里需要重置软件访问密码。设置完之后，我们就可以点击HBase的开源链接进行访问了。输入刚才设置的密码，登录以后就可以看见HBase的界面了，这里就可以非常方便的查看HBase的一些信息了。这是HBase的界面，接下来点击HDFS，也会发现非常方便就可以看到HDFS的信息了。同样点击Ganglia，可以看到这个集群的一些监控信息。这样可以非常方便地访问一些开源软件。如果有什么不明白的，可以点击这个访问设置说明来了解一些具体的信息。更多信息：云数据库 HBase 版原文地址：https://aliyunnew.com/a/How-to-access-HBase-open-source-components-through-the-console.html

2019-10-22

623

本文源码：GitHub·点这里 || GitEE·点这里一、基础组件总结 1、文章阅读目录 1)、基础组件 Eureka组件，服务注册与发现 Ribbon和Feign组件，实现负载均衡 Hystrix组件，实现服务熔断 Turbine组件，实现微服务集群监控 Zuul组件，实现路由网关控制 Config组件，实现配置统一管理 Zipkin组件，实现请求链路追踪 2)、应用案例基于Shard-Jdbc分库分表，数据库扩容方案基于SpringCloud实现Shard-Jdbc的分库分表扩容 3)、后续更新该案例主要基于SpringCloud2版本，演示微服务在实际开发中的应用。 <modules>  <module>storey-client-web</module>  <module>storey-block-code</module>  <module>storey-middle-s...

2019-10-21

643

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。