X-Pack Spark 访问OSS-低调大师

X-Pack Spark 访问OSS

2019-10-27 632

简介

对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。
本文主要介绍通过Spark操作OSS数据的常见方式,代码以Scala为例。本文的代码可以通过“数据工作台”提交。

前置条件

OSS已经创建bucket，假设名称为：test_spark
已创建具备读写OSS bucket:test_spark权限的用户。假设用户名为test_oss，访问OSS的AccessKeyID和AccessKeySecret分别为：accessId，accessKey。
OSS的路径格式为：oss://${AccessKeyID}:${AccessKeySecret}@${bucketName}.${endPoin

微信关注我们

原文链接：https://yq.aliyun.com/articles/723327

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

国内首个，阿里云通过分布式块存储国家标准认证

10月28日，记者了解到，存储国家标准——GB/T 37737-2019《信息技术云计算分布式块存储系统总体技术要求》测试认证已经取得阶段性成果，阿里云成为首个通过该标准测试的云厂商。在不久前结束的杭州云栖大会现场，中国电子技术标准化研究院云计算研究室主任杨丽蕴透露，阿里云率先通过该认证测试，并发布了测试流程及要求。过去一年，云计算领域多项标准正在逐步完善，存储作为云计算的基础设施之一，也迈出了坚实一步。2019年8月30日，经国家市场监督管理总局批准，GB/T37737-2019《信息技术云计算分布式块存储系统总体技术要求》正式发布，首次对块存储技术和产品进行了规范，评估范围涵盖可靠性、可用性、易用性、扩展性、兼容性和安全性等方面。通过认证测试，意味着阿里云块存储产品在性能、安全以及可信上均达到了国家要求，可满足不同场景的云存储

2019-10-28

594

本篇已加入《.NET Core on K8S学习实践系列文章索引》，可以点击查看更多容器化技术相关系列文章。上一篇我们了解了docker自带的监控子命令以及开源监控工具Weave Scope，这一篇我们来了解一下Google开发的容器监控工具cAdvisor。cAdvisor能够较好地展示Host和容器两个层次的监控数据，并且能够展示历史变化数据。实验环境：阿里云ECS主机两台，CentOS 7.4 一、cAdvisor简介为了解决容器的监控问题，Google开发了一款容器监控工具cAdvisor（_Container Advisor_），它为容器用户提供了对其运行容器的资源使用和性能特征的直观展示。它是一个运行守护程序，用于收集，聚合，处理和导出有关正在运行的容器的信息。 cAdvisor可以对节点机器上的资源及容器进行实时监控和性能数据采集，包括CPU使用情况、内存使用情况、网络吞吐量及文件系统使用情况。 cAdvisor使用go语言开发，如果想了解更多请访问其官方github：https://github.com/google/cadvisor 二、安装cAdvisor cA...

2019-10-29

587

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。