搜索[deploy]结果-低调大师优秀个人博客

精选列表

搜索[deploy]，共1719篇文章

Spark源码分析 – Deploy

参考,Spark源码分析之-deploy模块 Client Client在SparkDeploySchedulerBackend被start的时候, 被创建, 代表一个application和spark

2017-05-01

Kubernetes In cloud (一、deploy cluster)

kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config You should now deploy

2019-03-15

How to Deploy a Django Application with Docker

Docker is a technology that makes it easier to create, deploy, and run applications by using containers

2018-04-11

Deploy Apache Flink Natively on YARN/Kubernetes

作者：任春德 Apache Flink作为下一代大数据计算引擎，在迅速发展强大中，其内部架构也在不断优化重构，以适应更多运行时环境和更大计算规模，Flink Improvement Proposals-6重新设计了在各集群管理系统(Standalone/YARN/Kubernetes等)上资源调度的统一架构，本文将介绍资源调度的架构发展及其清晰分层等设计特点，YARN上per-Job和session两种模式的实现，以及正在讨论开发的与K8S云原生融合的详细设计。本文内容如下： Apache Flink Standalone Cluster Apache Flink 与 YARN 的原生融合 Apache Flink 与 K8S 的原生融合小结 Apache Flink Standalone Cluster 如图1，Flink的Standalo

2019-05-05

How to Install and Deploy Kubernetes on Ubuntu 16.04

By Hitesh Jethva, Alibaba Cloud Tech Share Author. Tech Share is Alibaba Cloud’s incentive program to encourage the sharing of technical knowledge and best practices within the cloud community. Kubernetes is an open-source container management system that is available for free. It provides a platform for automating deployment, scaling, and operations of application con

2018-05-13

maven deploy 集成 gitlab ci 自动发版

也可以提供依赖给其他项目用，那么这个时候需要将这个模块上传到 maven 私服，发布 maven 私服时，release 版本不支持覆盖，所以需要集成 ci 工具，给 maven 模块自动加上版本号，并自动完成 deploy

2021-05-25

Deploy a flexible and highly available image processing service within...

In this tutorial，we will deploy a flexible and highly av

2018-12-12

Spark的三种集群deploy模式对比

Spark有三种集群部署模式，或者叫做集群管理模式。分别是standalone，YARN和Mesos。这三种模式其实都是master/slave模式。那么在实际的项目中，我们该如何对比选择呢?下面是我的一些总结，主要参考了： Which Apache Spark Cluster Managers Are The Right Fit? YARN, Mesos, or Standalone? 三种集群资源管理概述 Spark Standalone 作为Spark的一部分,Standalone是一个简单的集群管理器。它具有master的HA，弹性应对WorkerFailures，对每个应用程序的管理资源的能力，并且可以在现有的Hadoop一起运行和访问HDFS的数据。该发行版包括一些脚本，可以很容易地部署在本地或在AmazonEC2云计算。它可以在Linux，Windows或Mac OSX上运行。 Apache Mesos Apache Mesos ,分布式系统内核，具有HA的masters和slaves，可以管理每个应用程序的资源，并对Docker容器有很好的支持。它可以运行Spark工作， Hadoop的MapReduce的，或任何其他服务的应用程序。它有Java， Python和C ++ 的API。它可以在Linux或Mac OSX上运行。 Hadoop YARN Hadoop YARN，作业调度和集群资源管理的分布式计算框架，具有HA为masters和slaves，在非安全模式下支持Docker容器，在安全模式下支持 Linux和Windows container executors，和可插拔的调度器。它可以运行在Linux和Windows上运行。集群资源调度能力的对比模式资源调度能力比对SecurityHA standalone 只支持FIFO调度器，单用户串行，默认所有节点的所有资源对应用都可用,node节点的限制，cpu内存等限制可以通过SparkConf来控制 shared secret ，SSL for data encryptionStandby Masters with ZooKeeper和本地文件系统的单点恢复 YARN 支持资源调度器Scheduler，应用管理器ApplicationsManager。CapacityScheduler和 FairScheduler在队列的范围内，资源共享。Kerberos。SSL for data encryption主备切换的HA方式，依赖于zookeeper，但不需要单独的zkfc进程 Mesos看下方：插件式安全模块,默认Cyrus SASL，SSL for data encryption一主多备，基于zookeeper的leader选举 Mesos的资源调度能力描述粗粒度模式(Coarse-grained Mode)：每个应用程序的运行环境由一个Dirver和若干个Executor组成，其中，每个Executor占用若干资源，内部可运行多个 Task(对应多少个“slot”)。应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过程中要一直占用这些资源，即使不用，最后程序运行结束后，回收这些资源。举个例子，比如你提交应用程序时，指定使用5个executor运行你的应用程序，每个executor占用5GB内存和5个CPU，每个executor内部设置了5个slot，则Mesos需要先为executor分配资源并启动它们，之后开始调度任务。另外，在程序运行过程中，mesos的master和slave并不知道executor内部各个task的运行情况，executor直接将任务状态通过内部的通信机制汇报给Driver，从一定程度上可以认为，每个应用程序利用mesos搭建了一个虚拟集群自己使用。细粒度模式(Fine-grained Mode)：鉴于粗粒度模式会造成大量资源浪费，Spark On Mesos还提供了另外一种调度模式：细粒度模式，这种模式类似于现在的云计算，思想是按需分配。与粗粒度模式一样，应用程序启动时，先会启动 executor，但每个executor占用资源仅仅是自己运行所需的资源，不需要考虑将来要运行的任务，之后，mesos会为每个executor动态分配资源，每分配一些，便可以运行一个新任务，单个Task运行完之后可以马上释放对应的资源。每个Task会汇报状态给Mesos slave和Mesos Master，便于更加细粒度管理和容错，这种调度模式类似于MapReduce调度模式，每个Task完全独立，优点是便于资源控制和隔离，但缺点也很明显，短作业运行延迟大。笔者总结从对比上看，mesos似乎是Spark更好的选择，也是被官方推荐的但如果你同时运行hadoop和Spark,从兼容性上考虑，Yarn似乎是更好的选择，毕竟是亲生的。Spark on Yarn运行的也不错。如果你不仅运行了hadoop，spark。还在资源管理上运行了docker，Mesos似乎更加通用。 standalone小规模计算集群，似乎更适合! 本文作者：佚名来源：51CTO

2017-07-31

探索 OpenStack 之（11）：cinder-api Service 启动过程分析以及 WSGI / Paste deploy / ...

代码实现上，主要使用了几种技术：WSGI Server、WSGI Application、Paste deploy 和 Router。

2017-11-16

TiDB集群运维之扩缩容

: /u01/tidb/tidb-deploy/pd-2379 data_dir: /u01/tidb/tidb-data/pd-2379 log_dir: /u01/tidb/tidb-deploy/

2021-07-08

跟我学k8s：Deployment 控制器

deployment.apps/nginx-deploy created $ kubectl get deployment NAME READY UP-TO-DATE AVAILABLE AGE nginx-deploy

2021-06-10

Ceph实验室：第一课：快速部署ceph集群

环境硬件环境主机名 IP 功能备注 ceph-node1 192.168.1.120 deploy，mon＊1，osd*3 ceph-node2 192.168.1.121 deploy，mon＊

2017-03-14

最小化DevOps自动化流程(Golang)

创建自动化部署脚本创建deploy目录，并创建两个文件，main.go和deploy.sh: 目录结构 deploy.go package main import ( "io" "log" "net/

2018-11-16

StackRox —— Kubernetes 安全平台

/deploy/k8s/deploy.sh 如果你在使用 docker for desktop 或 minikube，就使用 .

2022-10-19

定制你私有的前端部署到ECS服务器（Github CI/CD）

从workflow看流程 Github Action workflow大概长这样： name: Deploy static source to my server on: push: branches:

2019-11-03

十分钟用 GiteeGo + OSS 部署 Hexo 博客

配置环境变量访问并 Fork Hexo OSS Deploy 示例仓库，通过仓库「管理」—>「环境变量设置」，配置对应的环境变量，参考下表（此处变量信息为下文流水线配置使用，可以参考下文调整变量命名

2020-12-28

Scrapyd使用教程

[deploy:demo] url = http://localhost:6800/ project = china 把原先注释掉的url那一行取消注释，这个就是我们要部署到目标服务器的地址，然后，

2018-09-19

一站式运维管家 ChengYing 主机接入原理解析

添加用户的免密操作 Q3：主机预览报错问题现象：问题原因：之前主机已经在初始化，但是还未成功，agent 进行了重新接入，导致出现脏数据解决方法：查询脏数据，进行删除，代码如下： SELECT deploy_cluster_host_rel.id

2023-07-10

dubbo

/app_name//root/work/app_dir/deploy_tomcat/dubbo-admin root@kickseed:~ /work/app_dir/learn_app/dubbo/

2017-12-31

Aliyun Funcraft v3.6.11 发布

v3.6.11版本北京时间 2020 年 04月 26日 Aliyun Funcraft 发布了 v3.6.11版本，该版本功能增强: fun deploy 上传代码时增加进度条显示（#868） fun

2020-04-29

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。