k8s-client-go源码剖析(一)
简介：云原生社区活动---Kubernetes源码剖析第一期
有幸参与云原生社区举办的Kubernetes源码剖析活动，活动主要以书籍《Kubernetes源码剖析》为主要思路进行展开，提出在看书过程中遇到的问题，和社区成员一起讨论，最后会将结果总结到云原生社区的知识星球或Github。
第一期活动主要以书本第五章<Client-go编程式交互>为主题进行学习，计划共三周半。
计划如下：
-
client-go客户端学习
-
Infoermer机制学习
-
WorkQueue学习
-
整体结构回顾、逻辑回顾、优秀代码回顾
学习总得有个重要的优先级，我个人的优先级是这样的，仅供参考：
-
Informer机制原理
-
WorkerQueue原理
-
几种Client-go客户端的使用、优劣
学习环境相关：
-
Kubernetes 1.14版本
-
对应版本的client-go
本文主题
本文是第一周，课题有两个：
-
Client-go源码结构
-
几种Client客户端对象学习
Client-go源码目录结构
Plain Text
1
[root@normal11 k8s-client-go]# tree . -L 12
.3
├── CHANGELOG.md4
├── code-of-conduct.md5
├── CONTRIBUTING.md6
├── discovery7
├── dynamic8
├── examples9
├── Godeps10
├── go.mod11
├── go.sum12
├── informers13
├── INSTALL.md14
├── kubernetes15
├── kubernetes_test16
├── LICENSE17
├── listers18
├── metadata19
├── OWNERS20
├── pkg21
├── plugin22
├── README.md23
├── rest24
├── restmapper25
├── scale26
├── SECURITY_CONTACTS27
├── testing28
├── third_party29
├── tools30
├── transport31
└── util32
33
client-go代码库已经集成到了Kubernetes源码中，所以书本中展示的内容是在Kubernetes源码中源码结构，而这里展示的是Client-go代码库中原始的内容，所以多了一些源码之外的内容，例如README、example、go.mod等。下面讲一下各个目录的作用，内容引自书本：
编辑
删除
几种Client-go客户端
下图是一个简单的总结,其中ClientSet、DynamicClient、DiscoveryClient都是基于RESTClient封装的。
RESTClient
最基础的客户端，对HTTP Request进行了封装，实现了RESTFul风格的API。
案例代码：
Plain Text
1
package main2
3
import (4
"fmt"5
6
corev1 "k8s.io/api/core/v1"7
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"8
"k8s.io/client-go/kubernetes/scheme"9
"k8s.io/client-go/rest"10
"k8s.io/client-go/tools/clientcmd"11
)12
13
func main() {14
config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")15
if err != nil {16
panic(err.Error())17
}18
19
config.APIPath = "api"20
config.GroupVersion = &corev1.SchemeGroupVersion21
config.NegotiatedSerializer = scheme.Codecs22
23
restClient, err := rest.RESTClientFor(config)24
if err != nil {25
panic(err.Error())26
}27
28
result := &corev1.NodeList{}29
err = restClient.Get().Namespace("").Resource("nodes").VersionedParams(&metav1.ListOptions{Limit: 100}, scheme.ParameterCodec).Do().Into(result)30
if err != nil {31
panic(err)32
}33
34
for _, d := range result.Items {35
fmt.Printf("Node Name %v \n", d.Name)36
}37
}38
39
预期运行结果将会打印K8S集群中的node
ClientSet
对RESTClient进行了对象分类方式的封装，可以实例化特定资源的客户端，
以Resource和Version的方式暴露。例如实例化一个只操作appsv1版本的Deploy客户端,
ClientSet可以认为是一系列资源的集合客户端。缺点是不能直接访问CRD。
通过client-gen代码生成器生成带有CRD资源的ClientSet后可以访问CRD资源。(未测试)
案例代码：
Plain Text
1
package main2
3
import (4
apiv1 "k8s.io/api/core/v1"5
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"6
"k8s.io/client-go/kubernetes"7
"k8s.io/client-go/tools/clientcmd"8
)9
10
func main() {11
config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")12
if err != nil {13
panic(err)14
}15
clientset, err := kubernetes.NewForConfig(config)16
if err != nil {17
panic(err)18
}19
20
podClient := clientset.CoreV1().Pods(apiv1.NamespaceDefault)21
22
list, err := podClient.List(metav1.ListOptions{Limit: 500})23
if err != nil {24
panic(err)25
}26
for _, d := range list.Items {27
if d.Name == "" {28
}29
// fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)30
}31
32
//请求namespace为default下的deploy33
deploymentClient := clientset.AppsV1().Deployments(apiv1.NamespaceDefault)34
deployList, err2 := deploymentClient.List(metav1.ListOptions{Limit: 500})35
if err2 != nil {36
panic(err2)37
}38
for _, d := range deployList.Items {39
if d.Name == "" {40
41
}42
// fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)43
}44
45
// 请求ds资源 todo 有兴趣可以尝试下46
// clientset.AppsV1().DaemonSets()47
48
}49
50
代码中分别打印了获取到K8S集群中的500个Pod和500个deploy，目前打印语句是注释了，如果要看效果需要先删掉注释。
案例代码中还留了一个小内容，请求获取daemonset资源，感兴趣的可以试一试。
DynamicClient
这是一种动态客户端，对K8S任意资源进行操作，包括CRD。
请求返回的结果是map[string]interface{}
代码案例：
Plain Text
1
package main2
3
import (4
"fmt"5
6
apiv1 "k8s.io/api/core/v1"7
corev1 "k8s.io/api/core/v1"8
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"9
"k8s.io/apimachinery/pkg/runtime"10
"k8s.io/apimachinery/pkg/runtime/schema"11
"k8s.io/client-go/dynamic"12
"k8s.io/client-go/tools/clientcmd"13
)14
15
func main() {16
config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")17
if err != nil {18
panic(err)19
}20
21
dymaicClient, err := dynamic.NewForConfig(config)22
checkErr(err)23
//map[string]interface{}24
25
//TODO 获取CRD资源 这里是获取了TIDB的CRD资源26
// gvr := schema.GroupVersionResource{Version: "v1alpha1", Resource: "tidbclusters", Group: "pingcap.com"}27
// unstructObj, err := dymaicClient.Resource(gvr).Namespace("tidb-cluster").List(metav1.ListOptions{Limit: 500})28
// checkErr(err)29
// fmt.Println(unstructObj)30
31
gvr := schema.GroupVersionResource{Version: "v1", Resource: "pods"}32
unstructObj, err := dymaicClient.Resource(gvr).Namespace(apiv1.NamespaceDefault).List(metav1.ListOptions{Limit: 500})33
checkErr(err)34
// fmt.Println(unstructObj)35
podList := &corev1.PodList{}36
err = runtime.DefaultUnstructuredConverter.FromUnstructured(unstructObj.UnstructuredContent(), podList)37
checkErr(err)38
for _, d := range podList.Items {39
fmt.Printf("NAME:%v \t NAME:%v \t STATUS: %+v\n ", d.Namespace, d.Name, d.Status)40
}41
42
}43
44
func checkErr(err error) {45
if err != nil {46
panic(err)47
}48
}49
50
这个案例是打印了namespace为default下的500个pod，同样的，在案例中也有一个todo，获取CRD资源，感兴趣的可以尝试一下。如果K8S集群中没有TIDB的资源可以自行换成自己想要的CRD资源。
代码中已经有获取v1alpha1版本的tidbclusters资源。如果你不知道CRD相关的信息，可以按照下面的步骤来找出对应的信息：
-
通过kubectl api-resources 获取到资源的Group和Resource
-
通过kubectl api-versions 找到对应Group的版本
这样 资源的GVR(Group、Version、Resource)都有了
DiscoveryClient
这是一种发现客户端，在前面的客户端中需要知道资源的Resource和Version才能找到你想要的，
这些信息太多很难全部记住，这个客户端用于获取资源组、版本等信息。
前面用到的api-resources和api-versions都是通过discoveryClient客户端实现的,源码在Kubernetes源码库中 pkg/kubectl/cmd/apiresources/apiresources.gopkg/kubectl/cmd/apiresources/apiversions.go
Plain Text
1
// RunAPIResources does the work2
func (o *APIResourceOptions) RunAPIResources(cmd *cobra.Command, f cmdutil.Factory) error {3
w := printers.GetNewTabWriter(o.Out)4
defer w.Flush()5
6
//拿到一个DiscoveryClient客户端7
discoveryclient, err := f.ToDiscoveryClient()8
if err != nil {9
return err10
}11
12
13
Plain Text
1
// RunAPIVersions does the work2
func (o *APIVersionsOptions) RunAPIVersions() error {3
// Always request fresh data from the server4
o.discoveryClient.Invalidate()5
6
//通过discoveryClient获取group相关信息7
groupList, err := o.discoveryClient.ServerGroups()8
if err != nil {9
return fmt.Errorf("couldn't get available api versions from server: %v", err)10
}
案例代码：
获取集群中的GVR
Plain Text
1
package main2
3
import (4
"fmt"5
"k8s.io/apimachinery/pkg/runtime/schema"6
"k8s.io/client-go/discovery"7
"k8s.io/client-go/tools/clientcmd"8
)9
10
func main() {11
config, err := clientcmd.BuildConfigFromFlags("","/root/.kube/config")12
if err != nil {13
panic(err.Error())14
}15
16
discoveryClient, err := discovery.NewDiscoveryClientForConfig(config)17
if err != nil {18
panic(err.Error())19
}20
21
_, APIResourceList, err := discoveryClient.ServerGroupsAndResources()22
if err != nil {23
panic(err.Error())24
}25
for _, list := range APIResourceList {26
gv, err := schema.ParseGroupVersion(list.GroupVersion)27
if err != nil {28
panic(err.Error())29
}30
for _, resource := range list.APIResources {31
fmt.Printf("name: %v, group: %v, version %v\n", resource.Name, gv.Group, gv.Version)32
}33
}34
}
预期效果：打印集群中的GVR
Plain Text
1
[root@normal11 discoveryclient]# go run main.go2
name: bindings, group: , version v13
name: componentstatuses, group: , version v14
name: configmaps, group: , version v15
name: endpoints, group: , version v16
...
DiscoveryClient在请求到数据之后会缓存到本地，默认存储位置是~/.kube/cache和~/.kube/http-cache,默认是每10分钟会和API Server同步一次。
总结
第一周主要是了解下各种客户端的使用以及不同，有时间的可以再进行一些拓展试验，研究对象可以选择一些主流的框架或官方示例，例如：
-
Sample-Controller 中如何使用client-go的
-
Kubebuilder中如何使用client-go的
-
Operator-sdk中如何使用client-go的
延伸阅读：
始发于 四颗咖啡豆,转载请声明出处.
关注公粽号->[四颗咖啡豆] 获取最新内容![四颗咖啡豆]()
四颗咖啡豆
