Spark on k8s

2019-07-23 605

前言

Spark 自从2.3版本以来就支持运行在k8s上，本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。

前提条件

1、已经购买阿里云容器服务-Kubernetes。购买链接：Kubernetes控制台。本例k8s集群类型为：Kubernetes 托管版。
2、 Spark镜像已构建。本例构建Spark的镜像的Dokerfile内容为：

# 基础镜像
FROM registry.cn-beijing.aliyuncs.com/acs/spark:v2.4.0

# 作者
LABEL maintainer "guangcheng.zgc@alibaba-inc.com"

#拷贝jar包到制定目录
COPY ./spark-examples-0.0.1-SNAPSHOT.jar /opt/spark/exampl

微信关注我们

原文链接：https://yq.aliyun.com/articles/710634

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用kong作为docker swarm的集群网关

简介当我们创建完成swarm集群之后，如何访问swarm集群中的服务就成为了一个问题，我们可以访问集群中任何一个节点都可以访问到我们再节点中创建的服务，但是这就造成了一个问题，当这个节点挂了，我们就访问不了了，所以我们需要一个统一的访问入口，来实现服务的高可用，目前我使用的是api网关的kong 搭建api网关kong clone我下面这个项目 git clone https://github.com/bboysoulcn/awesome-dockercompose.git 之后使用我里面的kong的docker-compose创建kong的容器 cd awesome-dockercompose/kong 修改compose文件里面的相关参数，之后使用 docker-compose up -d 启动配置打开kong的dashboard，之后创建一个upstream 添加服务器之后创建api 最后添加dns解析，完成之后就可以使用faas.bboysoul.com这个域名去访问faas的面板了其他服务如果你在swarm集群中添加了其他的服务，比如grafana什么的操作和上面...

2019-07-24

722

相比于个人项目所用的云服务器，企业级服务器需要更快的访问速度和更高的性能。研究表明，用户最满意的打开网页时间，是在 2 秒以下。用户能够忍受的最长等待时间在 6～8 秒之间。就是说，8 秒是一个临界值，如果你的网站打开速度在 8 秒以上，那么你将失去大部分用户。研究显示，如果等待 12 秒以后，网页还是没有载入，那么 99% 以上的用户会选择关闭网页。 Google 做过一个试验，10 条搜索结果的页面载入时间需要 0.4 秒，显示 30 条搜索结果的页面载入时间需要 0.9 秒，结果后者使得 Google 总的流量和收入减少了 20%。Google 地图上线的时候，首页大小有 100KB，后来下降到 70~80KB。结果，流量在第一个星期上升了 10%，接下来的 3 个星期又再上升了 25%。Amazon 的统计也显示了相近的结果，首页打开时间每增加 100 毫秒，网站销售量会减少 1%。以上数据可以说明网站的速度非常关键，如果你的网站访问速度超过了 2 秒，你的用户就会马上离开，跑到你的竞争对手那边去。网站访问速度受到很多因素影响，CPU、带宽、内存等硬件配置、代码质量、数据库语...

2019-07-24

593

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

Spark on k8s

前言

前提条件

使用kong作为docker swarm的集群网关

企业如何选择阿里云服务器

相关文章

发表评论

资源下载

Mario

Nacos

Rocky Linux

Sublime Text

欢迎您来访！