Spark on k8s

2019-07-23 591

前言

Spark 自从2.3版本以来就支持运行在k8s上，本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。

前提条件

1、已经购买阿里云容器服务-Kubernetes。购买链接：Kubernetes控制台。本例k8s集群类型为：Kubernetes 托管版。
2、 Spark镜像已构建。本例构建Spark的镜像的Dokerfile内容为：

# 基础镜像
FROM registry.cn-beijing.aliyuncs.com/acs/spark:v2.4.0

# 作者
LABEL maintainer "guangcheng.zgc@alibaba-inc.com"

#拷贝jar包到制定目录
COPY ./spark-examples-0.0.1-SNAPSHOT.jar /opt/spark/exampl

微信关注我们

原文链接：https://yq.aliyun.com/articles/710634

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用kong作为docker swarm的集群网关

简介当我们创建完成swarm集群之后，如何访问swarm集群中的服务就成为了一个问题，我们可以访问集群中任何一个节点都可以访问到我们再节点中创建的服务，但是这就造成了一个问题，当这个节点挂了，我们就访问不了了，所以我们需要一个统一的访问入口，来实现服务的高可用，目前我使用的是api网关的kong 搭建api网关kong clone我下面这个项目 git clone https://github.com/bboysoulcn/awesome-dockercompose.git 之后使用我里面的kong的docker-compose创建kong的容器 cd awesome-dockercompose/kong 修改compose文件里面的相关参数，之后使用 docker-compose up -d 启动配置打开kong的dashboard，之后创建一个upstream 添加服务器之后创建api 最后添加dns解析，完成之后就可以使用faas.bboysoul.com这个域名去访问faas的面板了其他服务如果你在swarm集群中添加了其他的服务，比如grafana什么的操作和上面...

2019-07-24

695

相比于个人项目所用的云服务器，企业级服务器需要更快的访问速度和更高的性能。研究表明，用户最满意的打开网页时间，是在 2 秒以下。用户能够忍受的最长等待时间在 6～8 秒之间。就是说，8 秒是一个临界值，如果你的网站打开速度在 8 秒以上，那么你将失去大部分用户。研究显示，如果等待 12 秒以后，网页还是没有载入，那么 99% 以上的用户会选择关闭网页。 Google 做过一个试验，10 条搜索结果的页面载入时间需要 0.4 秒，显示 30 条搜索结果的页面载入时间需要 0.9 秒，结果后者使得 Google 总的流量和收入减少了 20%。Google 地图上线的时候，首页大小有 100KB，后来下降到 70~80KB。结果，流量在第一个星期上升了 10%，接下来的 3 个星期又再上升了 25%。Amazon 的统计也显示了相近的结果，首页打开时间每增加 100 毫秒，网站销售量会减少 1%。以上数据可以说明网站的速度非常关键，如果你的网站访问速度超过了 2 秒，你的用户就会马上离开，跑到你的竞争对手那边去。网站访问速度受到很多因素影响，CPU、带宽、内存等硬件配置、代码质量、数据库语...

2019-07-24

575

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Spark on k8s

前言

前提条件

使用kong作为docker swarm的集群网关

企业如何选择阿里云服务器

相关文章

发表评论

资源下载

优质分享App

Mario

腾讯云软件源

Spring

欢迎您！