X-Pack Spark 访问OSS-低调大师

X-Pack Spark 访问OSS

2019-10-27 744

简介

对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。
本文主要介绍通过Spark操作OSS数据的常见方式,代码以Scala为例。本文的代码可以通过“数据工作台”提交。

前置条件

OSS已经创建bucket，假设名称为：test_spark
已创建具备读写OSS bucket:test_spark权限的用户。假设用户名为test_oss，访问OSS的AccessKeyID和AccessKeySecret分别为：accessId，accessKey。
OSS的路径格式为：oss://${AccessKeyID}:${AccessKeySecret}@${bucketName}.${endPoin

国内首个，阿里云通过分布式块存储国家标准认证

10月28日，记者了解到，存储国家标准——GB/T 37737-2019《信息技术云计算分布式块存储系统总体技术要求》测试认证已经取得阶段性成果，阿里云成为首个通过该标准测试的云厂商。在不久前结束的杭州云栖大会现场，中国电子技术标准化研究院云计算研究室主任杨丽蕴透露，阿里云率先通过该认证测试，并发布了测试流程及要求。过去一年，云计算领域多项标准正在逐步完善，存储作为云计算的基础设施之一，也迈出了坚实一步。2019年8月30日，经国家市场监督管理总局批准，GB/T37737-2019《信息技术云计算分布式块存储系统总体技术要求》正式发布，首次对块存储技术和产品进行了规范，评估范围涵盖可靠性、可用性、易用性、扩展性、兼容性和安全性等方面。通过认证测试，意味着阿里云块存储产品在性能、安全以及可信上均达到了国家要求，可满足不同场景的云存储

2019-10-27

745

本篇已加入《.NET Core on K8S学习实践系列文章索引》，可以点击查看更多容器化技术相关系列文章。上一篇我们了解了docker自带的监控子命令以及开源监控工具Weave Scope，这一篇我们来了解一下Google开发的容器监控工具cAdvisor。cAdvisor能够较好地展示Host和容器两个层次的监控数据，并且能够展示历史变化数据。实验环境：阿里云ECS主机两台，CentOS 7.4 一、cAdvisor简介为了解决容器的监控问题，Google开发了一款容器监控工具cAdvisor（_Container Advisor_），它为容器用户提供了对其运行容器的资源使用和性能特征的直观展示。它是一个运行守护程序，用于收集，聚合，处理和导出有关正在运行的容器的信息。 cAdvisor可以对节点机器上的资源及容器进行实时监控和性能数据采集，包括CPU使用情况、内存使用情况、网络吞吐量及文件系统使用情况。 cAdvisor使用go语言开发，如果想了解更多请访问其官方github：https://github.com/google/cadvisor 二、安装cAdvisor cA...

2019-10-28

719

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。