X-Pack Spark 访问OSS-低调大师

X-Pack Spark 访问OSS

2019-10-27 676

简介

对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。
本文主要介绍通过Spark操作OSS数据的常见方式,代码以Scala为例。本文的代码可以通过“数据工作台”提交。

前置条件

OSS已经创建bucket，假设名称为：test_spark
已创建具备读写OSS bucket:test_spark权限的用户。假设用户名为test_oss，访问OSS的AccessKeyID和AccessKeySecret分别为：accessId，accessKey。
OSS的路径格式为：oss://${AccessKeyID}:${AccessKeySecret}@${bucketName}.${endPoin

微信关注我们

原文链接：https://yq.aliyun.com/articles/723327

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

国内首个，阿里云通过分布式块存储国家标准认证

10月28日，记者了解到，存储国家标准——GB/T 37737-2019《信息技术云计算分布式块存储系统总体技术要求》测试认证已经取得阶段性成果，阿里云成为首个通过该标准测试的云厂商。在不久前结束的杭州云栖大会现场，中国电子技术标准化研究院云计算研究室主任杨丽蕴透露，阿里云率先通过该认证测试，并发布了测试流程及要求。过去一年，云计算领域多项标准正在逐步完善，存储作为云计算的基础设施之一，也迈出了坚实一步。2019年8月30日，经国家市场监督管理总局批准，GB/T37737-2019《信息技术云计算分布式块存储系统总体技术要求》正式发布，首次对块存储技术和产品进行了规范，评估范围涵盖可靠性、可用性、易用性、扩展性、兼容性和安全性等方面。通过认证测试，意味着阿里云块存储产品在性能、安全以及可信上均达到了国家要求，可满足不同场景的云存储

2019-10-27

660

本篇已加入《.NET Core on K8S学习实践系列文章索引》，可以点击查看更多容器化技术相关系列文章。上一篇我们了解了docker自带的监控子命令以及开源监控工具Weave Scope，这一篇我们来了解一下Google开发的容器监控工具cAdvisor。cAdvisor能够较好地展示Host和容器两个层次的监控数据，并且能够展示历史变化数据。实验环境：阿里云ECS主机两台，CentOS 7.4 一、cAdvisor简介为了解决容器的监控问题，Google开发了一款容器监控工具cAdvisor（_Container Advisor_），它为容器用户提供了对其运行容器的资源使用和性能特征的直观展示。它是一个运行守护程序，用于收集，聚合，处理和导出有关正在运行的容器的信息。 cAdvisor可以对节点机器上的资源及容器进行实时监控和性能数据采集，包括CPU使用情况、内存使用情况、网络吞吐量及文件系统使用情况。 cAdvisor使用go语言开发，如果想了解更多请访问其官方github：https://github.com/google/cadvisor 二、安装cAdvisor cA...

2019-10-28

652

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。