Kubernetes 的稳健性、可靠性使它成为现阶段最流行的云 原生技术之一，但也有不少用户反映， Kubernetes 技术学习起来十分复杂，只适用于大集群且成本较高。这篇文章将打破你的观念，教你在小型项目中部署 Kubernetes 集群。
选择 K8S 部署小型集群的三大理由
理由一：花费时间少
在部署小型集群之前，你需要思考以下这些问题：
-
应该如何部署应用程序？（仅仅 rsync 到服务器？）
-
依赖关系是怎么样的？（如果利用 python 或 ruby，你必须在服务器上安装它们！）
-
手动运行命令？（如果以 nohup 的方式在后台运行二进制文件这可能不是最好的选择，但去配置路由服务，是否还需要学习 systemd？）
-
如何通过不同域名或 HTTP 路径运行多个应用程序？（你可能需要设置 haproxy 或 Nginx！）
-
当更新应用程序后应该如何推出新变化？（停止服务、部署代码、重启服务？如何避免停机？）
-
如果搞砸了部署怎么办？有什么方法可以回滚？
-
应用程序是否需要使用其他服务？又该如何配置这些服务？（如：redis）
以上这些问题很有可能在你部署小型集群时出现，但 Kubernetes 为上述所有问题都提供了解决方案。或许还有其他方法可以解决上述问题，但是利用 Kubernetes 往往事半功倍，因为我们需要更多的时间专注于应用程序。
理由二：Kubernetes 记录整个部署过程
让我们看看利用 Kubernetes 部署集群的第二个理由。
你在工作时是否也是这样的状态：我上次运行了什么命令？当时服务器在运行什么服务？这让我想到了著名的 bash.org：
<erno> hm. I've lost a machine.. literally _lost_. it responds to ping, it works completely, I just can't figure out where in my apartment it is.
http://bash.org/?5273
这种情况曾经出现在我的工作中，让原本 10 分钟的工作量变成了一个周末。
但是如果你选择 Kubernetes 部署集群，就不会有这种困扰。因为 Kubernetes 使用描述性格式，如此用户就可以很轻松地知道接下来应该运行哪些内容，如何部署构建块。此外，控制层也会正常处理节点故障并自动重新调度 Pod。（对于像 Web 应用程序这样的无状态服务，就不再需要担心失败。）
理由三：Kubernetes 简单易学
Kubernetes 拥有自己的词汇表、工具，以及与传统 Unix 完全不同的配置服务器。Kubernetes 的知识足以建立和维护基础设施。使用 Kubernetes，你可以完全可以在 Kubernetes 中配置服务，无需 SSH 到服务器。你不必学习 systemd 也不必知道什么是运行级别; 你不必格式化磁盘，或学习如何使用 ps，vim。
我通过一个例子，来证明我的观点！
这是利用 Unix :
[Unit]
Description=The NGINX HTTP and reverse proxy server
After=syslog.target network.target remote-fs.target nss-lookup.target[Service]
Type=forking
PIDFile=/run/nginx.pid
ExecStartPre=/usr/sbin/nginx -t
ExecStart=/usr/sbin/nginx
ExecReload=/usr/sbin/nginx -s reload
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
真的比利用 Kubernetes 难：
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-nginx
spec:
selector:
matchLabels:
run: my-nginx
replicas: 1
template:
metadata:
labels:
run: my-nginx
spec:
containers:
- name: my-nginx
image: nginx
ports:
- containerPort: 80
当你远程执行基础架构管理时，是不需要手动维护服务器的。你可以使用：ansible、salt、chef、puppet 等来完成这件事。当然，你需要学习使用很多 Kubernetes 相关工具，这要比学习替代品轻松的多。
小 结
Kubernetes 并不是将一件事做到极致的工具而是一个全方位的解决方案，它取代了开发人员习惯使用的许多技术和工具。
接下来我们用实际操作，为大家部署一个小型 Kubernetes 集群。
建立小型 Kubernetes 集群
下面就开始我们的教程。对于这个例子，我们将使用谷歌的 Kubernetes引擎（GKE），但如果谷歌不是你的菜，你也可以选择亚马逊（EKS）或微软（AKS）。
要构建我们的 Kubernetes 集群，我们将需要：
-
域名（10 美元 /年，具体取决于域名）；
-
DNS 主机由 cloudflare 提供（免费）；
-
GKE 中的 3 个 node kubernetes 集群（5 美元 / 月）；
-
将 Webapp 作为 Docker 容器发送到 Google Container Registry（GCR）（免费）；
-
一些 yaml 文件配置 Kubernetes。
此外，为了节省成本，我们不会使用谷歌的 ingress controller 。相反，我们将在每个节点上运行 Nginx 作为 Daemon，并构建一个自定义运算符，将工作节点外部 IP 地址与 Cloudflare 同步。
谷歌设置
首先访问 console.cloud.google.com 并创建一个项目（如果你还没有项目）。你还需要设置结算帐户。然后前往 hamburger 菜单中的 Kubernetes 页面并创建一个新的集群。
你需要执行以下操作：
-
选择 Zonal 区域类型（我使用了 us-central1-a 作为我的区域）；
-
选择你的 Kubernetes 版本；
-
使用最便宜的实例类型（f1-micro）创建 3 个 node 池；
-
对于该节点池，在高级屏幕中，将引导磁盘大小设置为 10GB，启用可抢占的 node（它们更便宜），启用自动升级和自动修复；
-
在节点池下面还有一些其他选项。我们想要禁用 HTTP 负载均衡（GCP 中的负载均衡很昂贵且不稳定）并且还禁用所有 StackDriver 的服务以及禁用 Kubernetes dashboard 。
通过设置所有这些选项，你可以继续创建集群。
以下是减少的成本：
-
Kubernetes 控制层：免费，因为谷歌不收取专家的费用；
-
Kubernetes 工作节点：5.04 美元/月，3 个微节点通常为 11.65 美元/月，通过使用它们的可抢占性，我们将其降至 7.67 美元/月（“永久免费”等级则达到 5.04 美元）；
-
存储成本：免费，存储成本可以在 GCP 中累计。我们将免费获得 30GB 的永久磁盘，这就是我们选择 10GB 大小的原因；
-
负载均衡器成本：免费，我们禁用 HTTP 负载均衡，因为仅此一项费用将达到 18 美元/月。相反，我们将在每个节点上运行我们自己的 HTTP 代理，并将 DNS 指向公共 IP；
-
网络费用：免费，只要你每月低于 1GB，出口就是免费的（之后每GB 8 美分）。
因此，我们可以拥有一个 3 个节点的 Kubernetes 集群，价格与单个数字机器相同。
除了设置 GKE 之外，我们还需要添加一些防火墙规则，以允许外网点击我们节点上的 HTTP 端口。操作是：从 hamburger 菜单转到 VPC 网络，防火墙规则添加为 TCP 端口 80 和 443 的规则，IP 范围为 0.0.0.0/0。
![1]()
本地设置
随着集群的启动和运行，我们就可以对其进行配置。通过 cloud.google.com/sdk/docs 的说明安装 gcloud 工具。
安装完成后，你可以通过运行以下命令进行设置：
gcloud auth login
你还需安装 Docker，将其连接到 GCR 上，方便你进行容器推送：
gcloud auth configure-docker
你也可以按照此处的说明安装和设置 kubectl （此工具适用于 Windows，OSX 或 Linux）。
gcloud components install kubectl gcloud config set project PROJECT_ID gcloud config set compute/zone COMPUTE_ZONE gcloud container clusters get-credentials CLUSTER_NAME
构建 Web 应用程序
你可以使用任何编程语言构建 Web 应用。我们只需构建一个 port 端口的 HTTP 应用程序。就个人而言，我更喜欢在 Go 中构建这些应用程序，但对于某些类型，让我们尝试使用 Crystal。
创建一个 main.cr 文件：
# crystal-www-example/main.crrequire "http/server"Signal::INT.trap do
exit
end
server = HTTP::Server.new do |context|
context.response.content_type = "text/plain"
context.response.print "Hello world from crystal-www-example! The time is #{Time.now}"end
server.bind_tcp("0.0.0.0", 8080)
puts "Listening on http://0.0.0.0:8080"server.listen
我们还需要一个 Dockerfile：
# crystal-www-example/Dockerfile
FROM crystallang/crystal:0.26.1 as builder
COPY main.cr main.cr
RUN crystal build -o /bin/crystal-www-example main.cr --release
ENTRYPOINT [ "/bin/crystal-www-example" ]
我们可以通过以下命令来构建和测试我们的 Web 应用程序：
docker build -t gcr.io/PROJECT_ID/crystal-www-example:latest . docker run -p 8080:8080 gcr.io/PROJECT_ID/crystal-www-example:latest
然后输入 localhost:8080 在浏览器中访问。接着我们可以通过以下方式将我们的应用程序推到 GCR 中运行：
docker push gcr.io/PROJECT_ID/crystal-www-example:latest
配置 Kubernetes
对于此示例，我们将创建几个 yaml 文件来表示各种服务，然后通过运行 kubectl apply 在集群中配置它们。Kubernetes 的配置具有描述性，这些 yaml 文件将会告诉 Kubernetes 我们希望看到的状态。
我们需要做的事情：
-
为我们的 crystal-www-example Web 应用程序创建部署和服务；
-
为 Nginx 创建一个 Daemon Set 和 Config Map；
-
运行自定义应用程序使用 Cloudflare 到 DNS 同步 node IP。
Web App 配置
首先让我们配置 webapp：(先将 PROJECT_ID 替换为你的项目 ID）
# kubernetes-config/crystal-www-example.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: crystal-www-example
labels:
app: crystal-www-example
spec:
replicas: 1
selector:
matchLabels:
app: crystal-www-example
template:
metadata:
labels:
app: crystal-www-example
spec:
containers:
- name: crystal-www-example
image: gcr.io/PROJECT_ID/crystal-www-example:latest
ports:
- containerPort: 8080---
kind: Service
apiVersion: v1
metadata:
name: crystal-www-example
spec:
selector:
app: crystal-www-example
ports:
- protocol: TCP
port: 8080
targetPort: 8080
现在创建一个 Deployment，它会通知 Kubernetes 创建一个 Pod，其中包含一个运行 Docker 容器的容器，以及一个用于集群内的 service discovery 。要应用此配置运行（在 kubernetes-config 文件夹中）：
kubectl apply -f .
我们可以使用以下方法测试它是否在运行：
kubectl get pod
# you should see something like:
# crystal-www-example-698bbb44c5-l9hj9 1/1 Running 0 5m
我们还可以创建代理 API，以便我们访问它：
kubectl proxy
然后访问：
http://localhost:8001/api/v1/namespaces/default/services/crystal-www-example/proxy/
Nginx 配置
通常，在 Kubernetes 中处理 HTTP 服务时，你会使用 ingress controller。不幸的是，Google 的 HTTP 负载均衡器非常昂贵，因此我们将运行自己的 HTTP 代理并手动配置它。
我们将使用 Daemon Set 和 Config Map。Daemon Set 是在每个节点上运行的应用程序。Config Map 基本上是一个小文件，我们可以在容器中安装它，我们将存储 Nginx 配置。
yaml 看起来像这样：
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: nginx
labels:
app: nginx
spec:
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
hostNetwork: true
dnsPolicy: ClusterFirstWithHostNet
containers:
- image: nginx:1.15.3-alpine
name: nginx
ports:
- name: http
containerPort: 80
hostPort: 80
volumeMounts:
- name: "config"
mountPath: "/etc/nginx"
volumes:
- name: config
configMap:
name: nginx-conf
---
apiVersion: v1
kind: ConfigMap
metadata:
name: nginx-conf
data:
nginx.conf: |
worker_processes 1;
error_log /dev/stdout info;
events {
worker_connections 10;
}
http {
access_log /dev/stdout;
server {
listen 80;
location / {
proxy_pass http://crystal-www-example.default.svc.cluster.local:8080;
}
}
}
你可以看到我们如何在 Nginx 容器内挂载 config map 的 nginx.conf。我们还在规范上设置了两个附加字段：hostNetwork: true、dnsPolicy: ClusterFirstWithHostNet 。
应用更改：通过点击节点的公共 IP 来到达 Nginx。
你可以通过运行找到：
kubectl get node -o yaml
# look for:
# - address: ...
# type: ExternalIP
我们的网络应用程序现在可通过互联网访问了。现在想想给它起一个好听的名字！
连接 DNS
我们需要 A 为集群的节点设置 3 条 DNS 记录：
![1]()
然后添加一个 CNAME 条目以指向那些 A 记录。（即 www.example.com CNAME kubernetes.example.com）我们可以手动执行此操作，但最好自动执行此操作，以便在扩展或替换节点时 DNS 记录自动更新。
我认为这也是一个很好的说明示例，说明如何让 Kubernetes 为你工作而不是反对它。Kubernetes 完全可编写脚本，并且具有强大的 API。因此你可以使用不太难编写的自定义组件填补空白。我为此构建了一个小型 Go 应用程序，可在此处找到：kubernetes-cloudflare-sync。
建立一个 informer：
factory := informers.NewSharedInformerFactory(client, time.Minute)
lister := factory.Core().V1().Nodes().Lister()
informer := factory.Core().V1().Nodes().Informer()
informer.AddEventHandler(cache.ResourceEventHandlerFuncs{
AddFunc: func(obj interface{}) {
resync()
},
UpdateFunc: func(oldObj, newObj interface{}) {
resync()
},
DeleteFunc: func(obj interface{}) {
resync()
},
})
informer.Run(stop)
informer 将在节点更改时随时调用我的 resync 函数。然后使用 Cloudflare API 库（github.com/cloudflare/cloudflare-go）同步 IP ，类似于：
var ips []stringfor _, node := range nodes { for _, addr := range node.Status.Addresses { if addr.Type == core_v1.NodeExternalIP {
ips = append(ips, addr.Address)
}
}
}
sort.Strings(ips)for _, ip := range ips {
api.CreateDNSRecord(zoneID, cloudflare.DNSRecord{
Type: "A",
Name: options.DNSName,
Content: ip,
TTL: 120,
Proxied: false,
})
}
就像我们的网络应用程序一样，我们将此应用程序作为 Kubernetes 中的部署：
apiVersion: apps/v1
kind: Deployment
metadata:
name: kubernetes-cloudflare-sync
labels:
app: kubernetes-cloudflare-sync
spec:
replicas: 1
selector:
matchLabels:
app: kubernetes-cloudflare-sync
template:
metadata:
labels:
app: kubernetes-cloudflare-sync
spec:
serviceAccountName: kubernetes-cloudflare-sync
containers:
- name: kubernetes-cloudflare-sync
image: gcr.io/PROJECT_ID/kubernetes-cloudflare-sync
args:
- --dns-name=kubernetes.example.com
env:
- name: CF_API_KEY
valueFrom:
secretKeyRef:
name: cloudflare
key: api-key
- name: CF_API_EMAIL
valueFrom:
secretKeyRef:
name: cloudflare
key: email
你需要使用 cloudflare api 密钥和电子邮件地址创建 Kubernetes 密码：
kubectl create secret generic cloudflare --from-literal=email='EMAIL' --from-literal=api-key='API_KEY'
你还需要创建服务帐户（它允许我们的部署访问 Kubernetes API 来检索节点）。首次运行（特别是对于 GKE）：
kubectl create clusterrolebinding cluster-admin-binding --clusterrole cluster-admin --user YOUR_EMAIL_ADDRESS_HERE
然后申请：
apiVersion: v1
kind: ServiceAccount
metadata:
name: kubernetes-cloudflare-sync
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: kubernetes-cloudflare-sync
rules:
- apiGroups: [""]
resources: ["nodes"]
verbs: ["list", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: kubernetes-cloudflare-sync-viewer
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: kubernetes-cloudflare-sync
subjects:
- kind: ServiceAccount
name: kubernetes-cloudflare-sync
namespace: default
配置就绪后，运行 Cloudflare 的应用程序将在任何节点更改时被更新。以上就是基于 Kubernetes 部署小型集群的详细教程。
总 结
Kubernetes 就是这样一个收放自如的技术。就像你可能永远用不到 SQL 数据库中的所有功能，但你不得不承认 SQL 数据库极大地提高了你快速交付解决方案的能力。
Kubernetes 与 SQL 十分相似。在 Kubernetes 庞大的技术体系下，我们也并不能用到所有功能，却能在每个项目中恰到好处的使用部分功能实现完美部署。在每次利用 Kubernetes 部署小型集群时，我都会从中获得新的认知。
所以我的观点是，Kubernetes 对于小型部署也很有意义，而且既易于使用又便宜。如果你从来没有尝试过，现在就开动起来吧！
本文转自掘金-超适合小项目的 K8S 部署策略
