kubernetes下heapster的部署案例-低调大师

kubernetes下heapster的部署案例

2018-12-16 482

本案例在我的部署环境下是可行的，但不保证在所有环境下都可行。我尽可能讲得直白而详细，因为我自己也才刚开始接触，已经做过深入研究的可以浏览，若有什么错误，烦请指正，感激不尽！

我的环境： K8S1.0.0+flannel+docker1.6的分布式集群。

这里先不赘述flannel的部署了，以后有时间再写相关的文档。

1. ServiceAccount与Secret

先讲讲kubernetes的serviceaccount，我们的服务有时候需要一些带有隐私信息的东西，token，certification file等等，这些东西我们可以在master上创建，然后在创建pod的时候导入进去。具体可以去看github上的secret.md，那里有具体的例子。

我们执行：

kubectl get serviceaccount

如果如下：

NAME SECRETS
default 1

那么是正常的（用脚本启动的kubernetes一般会是这样的情况）而如果是：

NAME SECRETS
default 0

这就麻烦了，用脚本启动k8s，启动的时候是会自动创建一个serviceaccount的，而serviceaccount创建出来的时候又会自动创建一个secret作为这个serviceaccount的token。

我们在apiserver的启动参数中添加：

--admission_control=ServiceAccount

apiserver在启动的时候会自己创建一个key和crt（见/var/run/kubernetes/apiserver.crt和apiserver.key）

然后在启动./kube-controller-manager 时添加flag：

--service_account_private_key_file=/var/run/kubernetes/apiserver.key

这样启动k8smaster后，我们就会发现

kubectl get serviceaccount

结果如下：

NAME SECRETS
default 1

注意，这里可能会启动apiserver失败，或者启动后没有效果，因为没有secrets的serviceaccount会保存在etcd中，所以我们在正常启动前最好删掉etcd中的旧数据（$etcdctl rm --recursive registry）。

正常启动后我们在这种状态下创建pod，pod中会加入serviceaccount这个字段，即便我们在创建的json或yaml中不指定，那么它的默认值也会是默认的serviceaccount：default。而这个serviceaccount的secret就会被导入到pod启动的containers中。举个例子，我们在这种状态下创建一个pod，然后执行：

[root@vm-56-65 bin]# kubectl get pods/imgpod -o yaml

在yaml中会发现：

spec: containers: - image: registry.hub.gome.com.cn/img_server:1.1 imagePullPolicy: IfNotPresent name: imgpod resources: limits: cpu: 600m memory: 1181116006400m terminationMessagePath: /dev/termination-log volumeMounts: - mountPath: /var/run/secrets/kubernetes.io/serviceaccount name: default-token-n0i1i readOnly: true dnsPolicy: ClusterFirst nodeName: 10.58.56.62 restartPolicy: Always serviceAccountName: default volumes: - name: default-token-n0i1i secret: secretName: default-token-n0i1i

有了serviceaccountName字段，并且volumn装载了一个secret.是的，这个secret：default-token-n0i1i就是我们default这个serviceaccount下的secret。它被装载到mountPath: /var/run/secrets/kubernetes.io/serviceaccount目录中，我们如果在slaver上进入相关容器，便可以找到这个目录和相应的token（注：创建这个pod的json中不用指定serviceaccount，也不用写volumn字段去挂载secret，这些都会自动完成的，是否可以手动指定呢？期待大神们的指点）。

为什么要先说这些呢？因为我们的heapster启动的时候会有这种情况： pod状态为running，但是反复地restart；我们用webapi查看该pod的日志，发现：

/var/run/secret/kubernetes.io/serviceaccount/token no such file or directory

我认为这是因为heapster在运行时需要向k8smaster做https的连接，但是没有token和证书是不能连接的，heapster的程序找不到token就error并exit了，k8s会再启动之，于是就反复restart。

2.解决Heapster的Https访问问题

如下是我heapster启动的json（一个replicationcontroller）

heaprep.json:
{
 "apiVersion": "v1",
 "kind": "ReplicationController",
 "metadata": {
 "labels": {
 "name": "heapster"
 },
 "name": "monitoring-heapster-controller"
 },
 "spec": {
 "replicas": 1,
 "selector": {
 "name": "heapster"
 },
 "template": {
 "metadata": {
 "labels": {
 "name": "heapster"
 }
 },
 "spec": {
 "containers": [
 {
 "image": "registry.hub.gome.com.cn/kubernetes/heapster:v0.16.0",
 "name": "heapster",
 "command":[
 "/heapster",
 "--source=kubernetes:'https://kubernetes:443?auth='",
 "--sink=influxdb:http://10.126.53.10:8086"
 ],
 "resources": {
 "limits":{
 "cpu":"0.5",
 "memory":"1.1Gi"
 }
 },
 "env": [
 {
 "name": "KUBERNETES_SERVICE_HOST",
 "value": "vm-56-65"
 }
 ]
 }
 ]
 }
 }
 }
}

这里"env"中的环境变量是必须要加的，否则heapster会报错，具体什么错不大记得了，应该是有关10.0.0.1 这个域名的（heapster中的KUBERNETES_SERVICE_HOST变量默认是10.0.0.1）。 *10.0.0.1是k8s集群中master服务的ClusterIP（kubectl get svc 就可以看到）,其他slaver是可以通过这个ip：port访问到master服务的。但是因为heapster做的是https的请求，需要crt证书和token。而10.0.0.1不是一个hostname并且没有相关的证书（感觉这是heapster最大的一个坑），所以我干脆自己做证书，自己做hosts引导，自己做环境变量。

现在我们需要一个hostname为vm-56-65的证书，执行这些命令：

openssl genrsa -out ca.key 2048

openssl req -x509 -new -nodes -key ca.key -subj "/CN=abc.com" -days 5000 -out ca.crt

openssl genrsa -out server.key 2048

openssl req -new -key server.key -subj "/CN=vm-56-65" -out server.csr

openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out server.crt -days 5000

注意，这里两个 -subj "***"中第二个要写hostname，且强烈建议第一个subj和第二个不要相同(设为相同可能会导致普通的curl https命令认证失败)。具体关于证书的生成，可以参考： http://wangzhezhe.github.io/blog/2015/08/05/httpsandgolang/ 执行这些命令后，会生成一系列文件，将它们一并copy到master的/var/run/kubernetes/中，我们的master启动要用这些证书文件：

./kube-apiserver --logtostderr=true --log-dir=/var/log/ --v=0 --admission_control=ServiceAccount --etcd_servers=http://127.0.0.1:4001 --insecure_bind_address=0.0.0.0 --insecure_port=8080 --kubelet_port=10250 --service-cluster-ip-range=10.0.0.1/24 --allow_privileged=false --service-node-port-range='30000-35535' --secure-port=443 --client_ca_file=/var/run/kubernetes/ca.crt --tls-private-key-file=/var/run/kubernetes/server.key --tls-cert-file=/var/run/kubernetes/server.crt

这里--secure-port=443 是因为我在heapster访问master时，没有采用内部ClusterIP，而是直接访问物理IP，而端口没有变，所以将master上apiserver的https监听端口修改了以便访问。

这样启动了apiserver后，我们再重新create pod。容器启动，我们进入pod的日志，看到非常多的：

dial tcp: lookup vm-56-65: no such host

进入容器中修改容器里的/etc/hosts，添加一个：

10.58.56.65 vm-56-65

如前文所说，我这里用了物理ip，当然，如果我们这里配10.0.0.1 也是可以的（如果使用10.0.0.1，api-server启动的时候就不用再添加--secure-port=443了）。具体怎么进容器、改hosts这里我就不细讲了，大家都懂的~

修改完毕后，再刷新几次pod的日志，会发现，日志慢慢就不更新了（或者该说，不报错了），恭喜你，heapster已经在正常跑了。

不止如此，只要再添加一个token的配置，就可以在任何一台能与10.58.56.65直连的机器上，向apiserver做带认证的https请求。

heapster最大的好处是其抓取的监控数据可以按pod，container，namespace等方式group，这样就能进行监控信息的隐私化，即每个k8s的用户只能看到自己的应用的资源使用情况，而后台管理者又能看到每台机器的资源使用情况，类似自动扩容之类的功能就有了一个可靠的信息来源。

本文转自SegmentFault-kubernetes下heapster的部署案例

微信关注我们

原文链接：https://yq.aliyun.com/articles/680001

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

手摸手教你写 Kubernetes 的 golang 服务

我们前面介绍了很多关于kubernetes 本身的操作，但是对于如何写一个完整的kubernetes 应用还没有介绍过。在这篇文章中我们将介绍如何一步一步的写一个kubernetes 的golang 服务。 golang 对于 golang 的安装和配置，我们这里就不详细说明了，因为这也不是我们的重点，我相信这一步你是能够自己独立完成的。一个令人比较兴奋的事情是现在国内用户访问golang网站可以不用梯子了，我们可以自由的访问https://golang.google.cn/网站了。新建项目文件夹goappk8s，然后在该目录下面新建一个src目录 $ mkdir goappk8s && cd goappk8s$ mkdir src 在goappk8s目录下新建一个设置GOPATH的脚本：( setup-gopath.sh) #!/bin/bashDIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"export GOPATH="$DIR" 然后我们执行上面的脚本，设置GOPATH为当前工程目录： $...

2018-12-17

622

1、统一日志管理的整体方案通过应用和系统日志可以了解Kubernetes集群内所发生的事情，对于调试问题和监视集群活动来说日志非常有用。对于大部分的应用来说，都会具有某种日志机制。因此，大多数容器引擎同样被设计成支持某种日志机制。对于容器化应用程序来说，最简单和最易接受的日志记录方法是将日志内容写入到标准输出和标准错误流。但是，容器引擎或运行时提供的本地功能通常不足以支撑完整的日志记录解决方案。例如，如果一个容器崩溃、一个Pod被驱逐、或者一个Node死亡，应用相关者可能仍然需要访问应用程序的日志。因此，日志应该具有独立于Node、Pod或者容器的单独存储和生命周期，这个概念被称为群集级日志记录。群集级日志记录需要一个独立的后端来存储、分析和查询日志。Kubernetes本身并没有为日志数据提供原生的存储解决方案，但可以将许多现有的日志记录解决方案集成到Kubernetes集群中。在Kubernetes中，有三个层次的日志：基础日志 Node级别的日志群集级别的日志架构 1.1 基础日志 kubernetes基础日志即将日志数据输出到标准输出流，可以使用kubectl log...

2018-12-17

509

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。