![在这里插入图片描述](https://img-blog.csdnimg.cn/999d0e086f1d44b6a90f4d00e59b93b4.png#pic_center)
一个正常运行的 Kubernetes 集群包含以下的各种组件。
![image-20221004225416504](https://img-blog.csdnimg.cn/img_convert/2253b6c9f9dcb0796e7a8c2c9a232d78.png)
通常开发者日常编码都基于Windows/Mac上的IDE(VsCode/Goland),编码完成后再部署到远端Linux机器运行。因此,我们就需要一种基于IDE和dlv远程调试Kubernetes组件的方式,而go-delve正是一个不错的选择。
delve调试包括附加到进程调试和远程调试。其实附加到本地进程和远程调试原理是一样的,待调试的进程是通过delve启动的,delve会启动进程,并立即附加到进程,开启一个debug session。并且启动一个debug server,暴露某个端口,客户端IDE可以通过该端口连接到debug server进行调试。
![设计思路](https://img-blog.csdnimg.cn/img_convert/2ddd90cd44ae31b0fc0030f3574d4e1f.png)
远程Linux服务器准备工作
Go安装
wget安装包
$ wget https://dl.google.com/go/go1.17.8.linux-amd64.tar.gz
解压并配置GOROOT、GOPATH和PATH
$ tar -zxvf go1.17.8.linux-amd64.tar.gz -C /usr/local/
$ export GOROOT=/usr/local/go
$ export GOPATH=/go
$ export PATH=$GOPATH/bin:$GOROOT/bin:$PATH
$ export GOPROXY="https://goproxy.cn,https://mirrors.aliyun.com/goproxy,direct"
$ source ~/.bashrc
验证
go env
go-delve安装
目前 Go 语言支持 GDB、LLDB 和 Delve 几种调试器。其中 GDB 是最早支持的调试工具,LLDB 是 macOS 系统推荐的标准调试工具。但是 GDB 和 LLDB 对 Go 语言的专有特性都缺乏很大支持,而只有 Delve 是专门为 Go 语言设计开发的调试工具。而且 Delve 本身也是采用 Go 语言开发,对 Windows 平台也提供了一样的支持。
以下指令适用于 Linux、macOS、Windows 和 FreeBSD。
方式一: 克隆 git 仓库并构建:
$ git clone https://github.com/go-delve/delve
$ cd delve
$ go install github.com/go-delve/delve/cmd/dlv
方式二: 在 Go 版本 1.16 或更高版本上:
$ go install github.com/go-delve/delve/cmd/dlv@latest
$ go install github.com/go-delve/delve/cmd/dlv@master
$ go install github.com/go-delve/delve/cmd/dlv@v1.7.3
$ go install github.com/go-delve/delve/cmd/dlv@v1.7.4-0.20211208103735-2f13672765fe
有关go-delve版本信息,请参阅https://go.dev/ref/mod#versions。
验证
dlv
Kubernetes编译打包
下载
$ mkdir -p $GOPATH/src/github.com/kubernetes
$ cd $GOPATH/src/github.com/kubernetes
$ git clone https://github.com/kubernetes/kubernetes.git
$ git check v1.18
编译
-s disable symbol table 禁用符号表
-w disable DWARF generation 禁用调试信息;
更多编译参数帮助信息查看:go tool link
- goldflags="${GOLDFLAGS=-s -w} $(kube::version::ldflags)"
+
+ goldflags="${GOLDFLAGS:-} $(kube::version::ldflags)"
sudo make WHAT="cmd/kube-apiserver" GOGCFLAGS="-N -l" GOLDFLAGS=""
sudo make all GOGCFLAGS="-N -l" GOLDFLAGS=""
Kubernetes static pod组件 调试
本文以kube-apiserver
为例,其他kube-controller-manager
和kube-scheduler
等以static pod
部署的组件,调试方法类似。
除了“Goland配置”,以下操作都是在远程Linux服务器中进行。
编译kube-apiserver组件
重编译的输出,在当前位置的_output/bin/
目录下;
sudo make WHAT="cmd/kube-apiserver" GOGCFLAGS="-N -l" GOLDFLAGS=""
[root@gv187 kubernetes]
+++ [1004 20:26:13] Building go targets for linux/amd64:
./vendor/k8s.io/code-generator/cmd/deepcopy-gen
warning: ignoring symlink /go/src/github.com/kubernetes/kubernetes/_output/local/go/src/k8s.io/kubernetes
go: warning: "k8s.io/kubernetes/vendor/github.com/go-bindata/go-bindata/..." matched no packages
+++ [1004 20:26:25] Building go targets for linux/amd64:
cmd/kube-apiserver
查找kube-apiserver配置信息
[root@gv187 kubernetes]
root 421 29137 0 20:27 pts/1 00:00:00 grep --color=auto kube-apiserver
root 34900 34776 6 9月27 ? 11:00:53 kube-apiserver --advertise-address=10.0.35.187 --allow-privileged=true --authorization-mode=Node,RBAC --client-ca-file=/etc/kubernetes/pki/ca.crt --enable-admission-plugins=NodeRestriction --enable-bootstrap-token-auth=true --etcd-cafile=/etc/etcd/pki/ca.pem --etcd-certfile=/etc/etcd/pki/client.pem --etcd-keyfile=/etc/etcd/pki/client-key.pem --etcd-servers=https://10.0.35.187:2379 --insecure-port=0 --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key --requestheader-allowed-names=front-proxy-client --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --requestheader-extra-headers-prefix=X-Remote-Extra- --requestheader-group-headers=X-Remote-Group --requestheader-username-headers=X-Remote-User --secure-port=6443 --service-account-key-file=/etc/kubernetes/pki/sa.pub --service-cluster-ip-range=10.96.0.0/12 --tls-cert-file=/etc/kubernetes/pki/apiserver.crt --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
组装dlv debug命令
dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec 编译生成的组件 -- 组件配置参数
dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec /go/src/github.com/kubernetes/kubernetes/_output/local/bin/linux/amd64/kube-apiserver -- --advertise-address=10.0.35.187 --allow-privileged=true --authorization-mode=Node,RBAC --client-ca-file=/etc/kubernetes/pki/ca.crt --enable-admission-plugins=NodeRestriction --enable-bootstrap-token-auth=true --etcd-cafile=/etc/etcd/pki/ca.pem --etcd-certfile=/etc/etcd/pki/client.pem --etcd-keyfile=/etc/etcd/pki/client-key.pem --etcd-servers=https://10.0.35.187:2379 --insecure-port=0 --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key --requestheader-allowed-names=front-proxy-client --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --requestheader-extra-headers-prefix=X-Remote-Extra- --requestheader-group-headers=X-Remote-Group --requestheader-username-headers=X-Remote-User --secure-port=6443 --service-account-key-file=/etc/kubernetes/pki/sa.pub --service-cluster-ip-range=10.96.0.0/12 --tls-cert-file=/etc/kubernetes/pki/apiserver.crt --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
停止kube-apiserver的static pod
$ mv /etc/kubernetes/manifests/kube-apiserver.yaml /etc/kubernetes/
只需要把manifest目录下的配置文件移动到别的地方即可,kubelet会直接停止不在manifest目录下的static pod。
通过ps -ef | grep kube-apiserver
验证进程是否存在,如果依然存在,可以通过终止进程方式。
dlv 启动kube-apiserver
dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec /go/src/github.com/kubernetes/kubernetes/_output/local/bin/linux/amd64/kube-apiserver -- --advertise-address=10.0.35.187 --allow-privileged=true --authorization-mode=Node,RBAC --client-ca-file=/etc/kubernetes/pki/ca.crt --enable-admission-plugins=NodeRestriction --enable-bootstrap-token-auth=true --etcd-cafile=/etc/etcd/pki/ca.pem --etcd-certfile=/etc/etcd/pki/client.pem --etcd-keyfile=/etc/etcd/pki/client-key.pem --etcd-servers=https://10.0.35.187:2379 --insecure-port=0 --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key --requestheader-allowed-names=front-proxy-client --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --requestheader-extra-headers-prefix=X-Remote-Extra- --requestheader-group-headers=X-Remote-Group --requestheader-username-headers=X-Remote-User --secure-port=6443 --service-account-key-file=/etc/kubernetes/pki/sa.pub --service-cluster-ip-range=10.96.0.0/12 --tls-cert-file=/etc/kubernetes/pki/apiserver.crt --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
# 提示监听在2345端口
API server listening at: [::]:2345
2022-10-04T20:34:58+08:00 warning layer=rpc Listening for remote connections (connections are not authenticated nor encrypted)
本地Goland配置
首先安装Go,下载对应版本的Kubernetes代码
GoLand IDE界面Run=>Debug=>Edit Configurations
新增Go Remote debug
条目,同时配置相关Host
以及Port
![image-20221004190021764](https://img-blog.csdnimg.cn/img_convert/c1ae1581cd1a94edf4c90093119523f2.png)
调试效果
![image-20221004204546743](https://img-blog.csdnimg.cn/img_convert/08d7524a0467ff63df593da5b721df09.png)
还原kube-apiserver
的manifest文件
mv /etc/kubernetes/kube-apiserver.yaml /etc/kubernetes/manifests/
Kubernetes daemonset组件调试
本文以kube-proxy
为例,其他daemonset组件调试类似。
除了“Goland配置”,以下操作都是在远程Linux服务器中进行。
kube-proxy的启动方式不是static pod方式;是以daemonset+configmap配置文件方式启动服务的;
编译kube-proxy组件
重编译的输出,在当前位置的_output/bin/
目录下;
sudo make WHAT="cmd/kube-proxy" GOGCFLAGS="-N -l" GOLDFLAGS=""
查找kube-proxy配置
先看看kube-proxy相关启动参数:
启动命令参数看daemonset中的command部分,配置文件看configmap中的config.conf和kubeconfig.conf
...
spec:
containers:
- command:
- /usr/local/bin/kube-proxy
- --config=/var/lib/kube-proxy/config.conf
- --hostname-override=$(NODE_NAME)
volumeMounts:
- mountPath: /var/lib/kube-proxy
name: kube-proxy
- mountPath: /run/xtables.lock
name: xtables-lock
- mountPath: /lib/modules
name: lib-modules
readOnly: true
...
volumes:
- configMap:
defaultMode: 420
name: kube-proxy
name: kube-proxy
- hostPath:
path: /run/xtables.lock
type: FileOrCreate
name: xtables-lock
- hostPath:
path: /lib/modules
type: ""
name: lib-modules
...
apiVersion: v1
data:
config.conf: |-
...
kubeconfig.conf: |-
...
kind: ConfigMap
...
kube-proxy configmap中主要包含两部分:config.conf
以及kubeconfig.conf
,这里可以将config.conf
的内容存放到单独的一个文件config.conf
中,而kubeconfig.conf的内容则可以直接用$HOME/.kube/config
进行替代
停止kube-proxy
这里为了不影响其它母机上的kube-proxy,可以通过设置node标签以及nodeSelector的方式将某一个节点的kube-proxy停止:
kubectl label nodes <node-name> <label-key>=<label-value>
kubectl -n kube-system edit daemonsets.kube-proxy nodeSelector:beta.kubernetes.io/os:linux2
dlv启动kube-proxy
$dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec /go/src/github.com/kubernetes/kubernetes/_output/local/bin/linux/amd64/kube-proxy -- \
--config=./config.conf \
--hostname-override=nodeName
然后,Goland设置kubelet代码断点并调试
Kubernetes 二进制组件调试
kubelet是以二进制方式运行在宿主机上,是通过systemd管理的。
本文以kubelet
为例,其他二进制组件调试类似。
除了“Goland配置”,以下操作都是在远程Linux服务器中进行。
编译kubelet组件
重编译的输出,在当前位置的_output/bin/
目录下;
sudo make WHAT="cmd/kubelet" GOGCFLAGS="-N -l" GOLDFLAGS=""
查找kubelet组件配置
[root@gv187 ~]
● kubelet.service - kubelet: The Kubernetes Node Agent
Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
Drop-In: /usr/lib/systemd/system/kubelet.service.d
└─10-kubeadm.conf
Active: active (running) since 一 2022-09-26 21:12:13 CST; 1 weeks 1 days ago
Docs: https://kubernetes.io/docs/
Main PID: 20478 (kubelet)
Tasks: 74
Memory: 86.0M
CGroup: /system.slice/kubelet.service
└─20478 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=k8s.gcr.io/pause:3.2
--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=k8s.gcr.io/pause:3.2
停止kubelet组件
$ systemctl stop kubelet.service
dlv启动kubelet
$ dlv --listen=:2345 --headless=true --api-version=2 --accept-multiclient exec /go/src/github.com/kubernetes/kubernetes/_output/local/bin/linux/amd64/kubelet -- --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --cgroup-driver=systemd --network-plugin=cni --pod-infra-container-image=k8s.gcr.io/pause:3.2
然后,Goland设置kubelet代码断点并调试
参考
https://github.com/go-delve/delve/tree/master/Documentation/installation
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)