程序员经验分享-hwhale

k8s+kubeedge+sedna安装全套流程+避坑指南+解决办法

2023-05-16

最近在学习边缘计算要用到kubeedge，安装了好多次总会遇到各种各样的问题，因此在这里一一列出，以方便下次安装。则里面可能出错的地方太多，如果有问题，请私信联系。

一、环境准备

节点IP环境软件
云端节点172.23.70.235Centos7(>2核4g)kubernetes+cloudcore
边端节点172.23.70.34Centos7(>2核4g)kubeedge(edgecore)

二、安装须知

  1. 为简单方便，本次安装仅需要一个k8s云节点，一个kubeedge边节点，两台服务器即可
  2. k8s只需要安装在master节点上，边缘节点不需要
  3. 云边两台服务器都需要安装docker
  4. calico只需要安装在master上，它是节点通信的插件，如果没有这个，master上安装kubeedge的coredns会报错。但是，节点上又不需要安装这个，因为kubeedge针对这个做了自己的通信机制。
  5. 一些插件比如calico、edgemesh、sedna、metric-service还有kuborad等，都是通过yaml文件启动的，所以实际要下载的是k8s的控制工具kubeadm和kubeedge的控制工具keadm。然后提前准备好刚才的yaml文件，启动k8s和kubeedge后，直接根据yaml文件容器创建
  6. 了解image、container、pod等概念，k8s的快速入门了解可以参考该地址，并配有视频：（K8S）快速入门简介：https://k8s.easydoc.net/docs/dRiQjyTY/28366845/6GiNOzyZ/9EX8Cp45
  7. 了解k8s基础指令：容器运行时工具基本用法
  8. 遇到问题要耐心读容器日志，耐心读官方文档，多逛github社区，遇到的问题可能大部分人也会遇到，相信会找到想要的答案。

三、k8s-master节点安装

3.1 前置须知

准备好以上环境后开始安装，这里我们的centos使用的是 centos7.9, 不同版本的系统对k8s影响较大，具体看实际情况而定。 有的还需要更新系统内核。
以下操作仅在k8s-master节点上进行，为避免混乱其他需要在边节点进行的在下个节点再说。

系统配置要求：2c 2g 20g 以上,， cpu 至少为2核，否则k8s初始化无法成功。 建议master节点内存给4g

k8s安装有多种方式:

  1. 使用minikube安装单节点集群，用于测试
  2. 采用工具kubeadm – 我们使用的这种方式（开发环境，机器比较少(几十台以下)）
  3. 使用kubespray, google官方提供的工具
  4. 全手动: 二进制安装(运维)
  5. 全自动安装: rancher、kubesphere (大型生产环境，百台，万台机器)

k8s health会依赖一些端口，为了不出现网络问题，我们在虚拟机(master)中开放以下端口：

  1. 6443 主要
  2. 2379
  3. 2380

3.2 k8s环境准备

  • 1、hostname配置
    (配置本机主机名，我们需要设置hostname为 “k8s-master” ，与hosts 相匹配)
# 设置当前机器的hostname
hostnamectl set-hostname k8s-master
# 查看当前机器hostname
hostname
  • 2、hosts配置
vim /etc/hosts

172.23.70.235 k8s-master
172.23.70.34 kubeedge
  • 3、基础依赖包安装
# 基础依赖包安装
 yum -y install wget vim net-tools ntpdate  bash-completion

# 系统时钟同步
# 向阿里云服务器同步时间
ntpdate time1.aliyun.com
# 删除本地时间并设置时区为上海
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 查看时间
date -R || date
  • 4、关闭防火墙、selinux
 systemctl stop firewalld
 systemctl disable firewalld
 sed -i 's/enforcing/disabled/' /etc/selinux/config
 setenforce 0
  • 5、关闭swap
# 临时关闭Swap
swapoff -a
# 修改 /etc/fstab 删除或者注释掉swap的挂载，可永久关闭swap
sed -i '/swap/s/^/#/' /etc/fstab
# 修改完后我们检测以下，看最后一行swap 都是0 就成功了
free -m
#----------------start----------------------
              total        used        free      shared  buff/cache   available
Mem:           1837         721          69          10        1046         944
Swap:             0           0           0
#-----------------end---------------------
  • 6、网桥过滤
# 网桥过滤
vim /etc/sysctl.conf

net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
net.ipv4.ip_forward=1
net.ipv4.ip_forward_use_pmtu = 0

# 生效命令
sysctl --system
# 查看效果
sysctl -a|grep "ip_forward"
  • 7、开启ipvs
    kubernetes1.8版本开始，新增了kube-proxy对ipvs的支持，性能和追踪问题比iptable强）------ 此步骤为选填项，如果不执行那么默认使用iptables
# 安装IPVS
yum -y install ipset ipvsdm
# 编译ipvs.modules文件
vi /etc/sysconfig/modules/ipvs.modules
# 文件内容如下
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
# 赋予权限并执行
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&lsmod | grep -e ip_vs -e nf_conntrack_ipv4
# 重启电脑，检查是否生效
reboot
lsmod | grep ip_vs_rr

3.3 Docker安装

  • docker 换源安装
# 安装yum utils
yum install -y yum-utils
# yum docker-ce config 换源
yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
# 安装docker
yum -y install docker-ce docker-ce-cli containerd.io
# 启动docker， enable 为必须，k8s会检测docker.service
systemctl enable docker && systemctl start docker
  • docker配置镜像加速
    exec-opts参数配置为native.cgroupdriver=systemd，这一步很重要，下面的镜像地址参考阿里云。
# 创建docker目录
mkdir -p /etc/docker
# 设置镜像源, exec-opts必须指定否则k8s启动报错（cgroup、systemd）
tee /etc/docker/daemon.json <<-'EOF'
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": ["https://g6t55xi7.mirror.aliyuncs.com"]
}
EOF
# 重启docke并生效镜像加速
systemctl daemon-reload && systemctl restart docker

3.4 Kubernetes安装

  • 配置kubernetes源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

注意：阿里源并未与官网同步gpg（由于官网未开放同步方式, 可能会有索引gpg检查失败的情况，这时请用如下命令安装）
注意：阿里源并未与官网同步gpg（由于官网未开放同步方式, 可能会有索引gpg检查失败的情况，这时请用如下命令安装）

# 检测可用的k8s版本(--nogpgcheck 忽略gpg检测)
yum list --nogpgcheck  --showduplicates kubeadm --disableexcludes=kubernetes
# 找到我们想要安装的版本，并安装--------------这里我们用1.23.8版本，最新版目前是1.24.0 版本安装启用了docker 会有一些问题。
# 安装kubelet、kubeadm、kubectl 组件--- 这里要注意，docker 版本和 k8s版本有关系，尽量使用支持区间的版本
# yum install --nogpgcheck kubelet-1.23.8 kubeadm-1.23.8 kubectl-1.23.8
yum -y install --nogpgcheck kubelet-1.23.8 kubeadm-1.23.8 kubectl-1.23.8
  • 安装完成后我们检查一下
# 检查kubectl version
kubectl version
##########show start############
Client Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.23.8", GitCommit:"5575935422cc1cf5169dfc8847cb587aa47bac5a", GitTreeState:"clean", BuildDate:"2021-06-16T13:00:45Z", GoVersion:"go1.15.13", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?
###########show end###########
# 检查kubeadm版本
kubeadm version
##########show start############
kubeadm version: &version.Info{Major:"1", Minor:"20", GitVersion:"v1.23.8", GitCommit:"5575935422cc1cf5169dfc8847cb587aa47bac5a", GitTreeState:"clean", BuildDate:"2021-06-16T12:58:46Z", GoVersion:"go1.15.13", Compiler:"gc", Platform:"linux/amd64"}
##########show end############
  • 启动k8s服务
# 启动k8s服务
systemctl enable kubelet && systemctl start kubelet
# 查看服务状态
systemctl status kubelet

# 如果不指定版本初始化那么会使用最新的k8s，有可能存在的报错信息如下，需要先手动设置下
# 运行初始化后有可能会报错:
#########错误信息--start###########
[init] Using Kubernetes version: v1.24.2
[preflight] Running pre-flight checks
error execution phase preflight: [preflight] Some fatal errors occurred:
        [ERROR CRI]: container runtime is not running: output: E0627 16:44:11.772277   16359 remote_runtime.go:925] "Status from runtime service failed" err="rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"
time="2023-03-27T16:44:11+08:00" level=fatal msg="getting status of runtime: rpc error: code = Unimplemented desc = unknown service runtime.v1alpha2.RuntimeService"
, error: exit status 1
[preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
To see the stack trace of this error execute with --v=5 or higher
#########错误信息--end###########
# 解决方案：
vim /etc/containerd/config.toml
# 从disabled_plugins 数组值中删除 "cri"属性
# 重启容器
systemctl restart containerd
  • k8s master 主节点初始化（仅master节点执行– 这里考虑的是单master）
# 初始化
kubeadm init  \
--image-repository registry.aliyuncs.com/google_containers  \
--apiserver-advertise-address=172.23.70.235  \
--service-cidr=10.222.0.0/16 \
--pod-network-cidr=10.244.0.0/16


#这里补充以下参数说明
--apiserver-advertise-address=172.23.70.235    这个参数就是master主机的IP地址，例如我的Master主机的IP是：172.23.70.235

--image-repository=registry.aliyuncs.com/google_containers  这个是镜像地址，由于国外地址无法访问，故使用的阿里云仓库地址：registry.aliyuncs.com/google_containers

--service-cidr=10.222.0.0/16       这个参数后的IP地址直接就套用10.222.0.0/16 ,以后安装时也套用即可，不要更改

--pod-network-cidr=10.244.0.0/16       k8s内部的pod节点之间网络可以使用的IP段，不能和service-cidr写一样，如果不知道怎么配，就先用这个10.244.0.0/16
还可以指定k8s版本，用以下参数即可
--kubernetes-version=v1.23.8   这个参数是下载的k8s软件版本号

总之，只修改master主机IP，k8s软件版本)



# 初始化过程比较长，需要下载一些资源

#---------------打印信息 start---------------------
I0628 15:14:20.293469    5655 version.go:255] remote version is much newer: v1.24.2; falling back to: stable-1.23
[init] Using Kubernetes version: v1.23.8
[preflight] Running pre-flight checks
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local localhost.localdomain] and IPs [10.222.0.1 192.168.56.105]
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [localhost localhost.localdomain] and IPs [192.168.56.105 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [localhost localhost.localdomain] and IPs [192.168.56.105 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Starting the kubelet
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 4.502756 seconds
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.23" in namespace kube-system with the configuration for the kubelets in the cluster
NOTE: The "kubelet-config-1.23" naming of the kubelet ConfigMap is deprecated. Once the UnversionedKubeletConfigMap feature gate graduates to Beta the default name will become just "kubelet-config". Kubeadm upgrade will handle this transition transparently.
[upload-certs] Skipping phase. Please see --upload-certs
[mark-control-plane] Marking the node localhost.localdomain as control-plane by adding the labels: [node-role.kubernetes.io/master(deprecated) node-role.kubernetes.io/control-plane node.kubernetes.io/exclude-from-external-load-balancers]
[mark-control-plane] Marking the node localhost.localdomain as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: 4yipfl.er9r8aqnq0hpd8a4
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to get nodes
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[kubelet-finalize] Updating "/etc/kubernetes/kubelet.conf" to point to a rotatable kubelet client certificate and key
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 172.23.70.235:6443 --token 4yipfl.er9r8aqnq0hpd8a4 \
        --discovery-token-ca-cert-hash sha256:afa76da3ced528e667374693fb4b0edd160530c251471ae11ece13c65d3d162a

#---------------打印信息 end---------------------

这里补充以下解释说明：

参数名示例值含义
–kubernetes-version–kubernetes-versionk8s软件版本号
–apiserver-advertise-address172.23.70.235这个参数就是master主机的IP地址
–image-repositoryregistry.aliyuncs.com/google_containers这个是镜像地址，由于国外地址无法访问，故使用的阿里云仓库地址
–service-cidr10.222.0.0/16这个参数后的IP地址直接就套用10.222.0.0/16 ,以后安装时也套用即可，不要更改
–pod-network-cidr10.244.0.0/16k8s内部的pod节点之间网络可以使用的IP段，不能和service-cidr写一样，如果不知道怎么配，就先用这个10.244.0.0/16

至此，kubeadm init(master 主节点)安装完成。
还需要进行一些收尾工作，根据kubeadm init log 提示，执行以下命令。

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

然后，我们就可以进行k8s的节点查询

# 查询节点
kubectl get nodes

#------------展示信息 start--------------
NAME           STATUS     ROLES                  AGE     VERSION
k8s-master   NotReady   control-plane,master   6m21s   v1.23.8
#------------展示信息 end----------------

此时， STATUS 是 NotReady状态，因为网络组件还未安装,Pod之间还不能通讯

查看各命名空间下的Pod信息

kubectl get pods --all-namespaces

#------------展示信息 start--------------

NAMESPACE     NAME                                   READY   STATUS    RESTARTS   AGE
kube-system   coredns-6d8c4cb4d-5bjmr                0/1     Pending   0          12m
kube-system   coredns-6d8c4cb4d-7w72l                0/1     Pending   0          12m
kube-system   etcd-k8s-master                        1/1     Running   0          12m
kube-system   kube-apiserver-k8s-master              1/1     Running   0          12m
kube-system   kube-controller-manager-k8s-master     1/1     Running   0          12m
kube-system   kube-proxy-rcsfg                       1/1     Running   0          12m
kube-system   kube-scheduler-k8s-master              1/1     Running   0          12m
#------------展示信息 end----------------

可以看到NDS解析服务coredns的pod还处于Pending状态未运行，也是因为网络组件还没安装。

3.5 网络插件的安装

下面我们进行网络组件的安装

  1. 常用网络插件

这里只简单说明下，推荐使用calico
flannel 和 calico 是常用的网络插件。
calico 的性能更好，使用场景更广一些。
flannel 没有网络策略，不能控制pod的访问。
这里我们用calico插件。

  • 插件安装
# calico插件安装
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

# 插件安装过程较慢，请耐心等待
# 安装后我们查看pod状态,直到 所有 STATUS 为 Running 才启动成功
kubectl get pod --all-namespaces

#----------显示如下 start-------------
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-7bc6547ffb-2bnbh   1/1     Running   0          5m57s
kube-system   calico-node-rnhcv                          1/1     Running   0          5m57s
kube-system   coredns-6d8c4cb4d-5bjmr                    1/1     Running   0          90m
kube-system   coredns-6d8c4cb4d-7w72l                    1/1     Running   0          90m
kube-system   etcd-k8s-master                            1/1     Running   0          91m
kube-system   kube-apiserver-k8s-master                  1/1     Running   0          91m
kube-system   kube-controller-manager-k8s-master         1/1     Running   0          91m
kube-system   kube-proxy-rcsfg                           1/1     Running   0          90m
kube-system   kube-scheduler-k8s-master                  1/1     Running   0          91m
#----------显示如下 end---------------

# 查看k8s node 状态
kubectl get nodes

#----------显示如下 start-------------
k8s-master   Ready    control-plane,master   99m   v1.23.8
#----------显示如下 end---------------

支持，安装完成， 如果有条件的话，现在就可以做一个快照了，因为后面的操作很可能会频繁出错，这里多做一些备份是好的习惯。
下面介绍一些其他常用信息。

3.6 k8s常用命令

# 查看k8s 运行日志命令, 这个比较有用，在k8s 启动、kubeadm init、kubeadm join 阶段可以辅助分析问题。
journalctl -xefu kubelet 
# 查看k8s驱动
systemctl show --property=Environment kubelet |cat
# 重启k8s
systemctl restart kubelet
# 启动k8s
systemctl start kubelet
# 停止k8s
systemctl stop kubelet
# 开机自启k8s
systemctl enable kubelet

# dashboard 获取token
kubectl describe secret admin-user -n kubernetes-dashboard

# kubeadm 重置， 有些时候我们在使用kubeadm init 命令时会报错，我们根据错误提示修复问题后需要重新进行 init 操作，因此需要进行reset重置
kubeadm reset

环境信息

# k8s 安装目录
/etc/kubernetes/

总用量 32
-rw-------. 1 root root 5642 6月  28 15:19 admin.conf
-rw-------. 1 root root 5674 6月  28 15:19 controller-manager.conf
-rw-------. 1 root root 1986 6月  28 15:19 kubelet.conf
drwxr-xr-x. 2 root root  113 6月  28 15:19 manifests
drwxr-xr-x. 3 root root 4096 6月  28 15:19 pki
-rw-------. 1 root root 5618 6月  28 15:19 scheduler.conf

# 组件配置文件目录
/etc/kubernetes/manifests/

总用量 16
-rw-------. 1 root root 2310 6月  28 15:19 etcd.yaml
-rw-------. 1 root root 3378 6月  28 15:19 kube-apiserver.yaml
-rw-------. 1 root root 2879 6月  28 15:19 kube-controller-manager.yaml
-rw-------. 1 root root 1464 6月  28 15:19 kube-scheduler.yaml

# 自定义dashboard yaml文件目录
/opt/kube-dashboard/conf/

总用量 8
-rw-r--r--. 1 root root 1124 6月  29 08:41 admin-user-dashboard.yaml
-rw-r--r--. 1 root root  285 6月  29 08:25 k8s-dashboard.yaml

四、安装KubeEdge

还是在k8s-master节点！！！

  • 安装版本：v1.12.1
    如下图所示为kubernetes和Kubeedge版本对应关系，这里安装Kubeedge v1.12.1
    在这里插入图片描述

4.1 安装keadm

如果网络不好，也可采用离线安装。将以下文件下载下来，下载地址：https://github.com/kubeedge/kubeedge/releases/tag/v1.12.1
版本一定要对应，这里别搞错了，都是v1.12.1

在这里插入图片描述
右键复制链接地址(注意架构），节点中输入：

#查看自己的架构
uname -a
# 下载Keadm
wget https://github.com/kubeedge/kubeedge/releases/download/v1.13.0/keadm-v1.13.0-linux-amd64.tar.gz

#解压
tar zxvf keadm-v1.12.1-linux-amd64.tar.gz
#添加执行权限
chmod +x keadm-v1.12.1-linux-amd64/keadm/keadm 
#移动目录
mv keadm-v1.12.1-linux-amd64/keadm/keadm /usr/local/bin/
# 查看keadm是否安装
keadm version

#输出版本信息
version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.1", GitCommit:"919ad5378eaca3cb0c666c22a19db01261cbc9a6", GitTreeState:"clean", BuildDate:"2022-11-02T08:22:56Z", GoVersion:"go1.17", Compiler:"gc", Platform:"linux/amd64"}

4.2 启动Cloudcore

运行以下命令启动cloudecode，修改下面地址为k8s-master主机地址

sudo keadm init --advertise-address=172.23.70.235 --kubeedge-version=1.12.1 

# 查询cloudcore进程，如果查到cloudcore，表明启动成功
ps -ef | grep cloudcore

出现问题：

execute keadm command failed: timed out waiting for the condition

这是因为cloudcore没有污点容忍，默认master节点是不部署应用的，可以用下面的命令查看污点：

kubectl describe nodes k8s-master | grep Taints

把master的污点删掉

 kubectl taint node k8s-master node-role.kubernetes.io/master-

# 然后重置
keadm reset
#再重新启动

这里很可能会因网络等问题下载不下来，或者运行出错等，可以具体问题具体分析，安装过程中我是在这一步遇到很多问题，但是现在也忘了，主要是网络问题吧，如果这里有问题可以留言一起沟通

查看端口

netstat -tpnl

出现10000，和10002，这两个端口算正常。
在这里插入图片描述
如果安装失败，可以通过以下命令重置，然后重新安装

keadm reset

4.2.1生成证书，后面会用到

# 使用以下命令生成证书
 keadm gettoken

# 输出
9424892067e8fa67b46f826274bfceae786b57ec988d276e345ab473828c2314.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2ODE3ODQwMTN9.sH06gTP7ugZFuuOzcmKiglMu-GcNLZo1R1J5T2msv5Q

至此，如果不出问题的话云端节点暂时安装完成，可以再打个快照，下面安装边缘节点。

4.3 边缘节点安装

以下在边缘节点操作!，IP为172.23.70.34的机器上

4.3.1 安装docker

前置准备

  • 1、hostname配置
    (配置本机主机名，我们需要设置hostname为 “k8s-master” ，与hosts 相匹配)
# 设置当前机器的hostname
hostnamectl set-hostname kubeedge
# 查看当前机器hostname
hostname
  • 2、hosts配置
vim /etc/hosts

172.23.70.235 k8s-master
172.23.70.34 kubeedge
  • 3、docker 换源安装
# 安装yum utils
yum install -y yum-utils
# yum docker-ce config 换源
yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
# 安装docker
yum -y install docker-ce docker-ce-cli containerd.io
# 启动docker， enable 为必须，k8s会检测docker.service
systemctl enable docker && systemctl start docker
  • 4、docker配置镜像加速
    exec-opts参数配置为native.cgroupdriver=cgroupfs，这一步很重要，下面的镜像地址参考阿里云。
# 创建docker目录
mkdir -p /etc/docker
# 设置镜像源, exec-opts必须指定否则k8s启动报错（cgroup、systemd）
tee /etc/docker/daemon.json <<-'EOF'
{
  "exec-opts": ["native.cgroupdriver=cgroupfs"],
  "registry-mirrors": ["https://g6t55xi7.mirror.aliyuncs.com"]
}
EOF
# 重启docke并生效镜像加速
systemctl daemon-reload && systemctl restart docker

4.3.2 在边缘节点安装keadm

同理，先下载安装keadm，这个步骤跟云端一样，如下：

# 下载Keadm
wget https://github.com/kubeedge/kubeedge/releases/download/v1.12.1/keadm-v1.12.1-linux-amd64.tar.gz

#解压
tar zxvf keadm-v1.12.1-linux-amd64.tar.gz
#添加执行权限
chmod +x keadm-v1.12.1-linux-amd64/keadm/keadm 
#移动目录
mv keadm-v1.12.1-linux-amd64/keadm/keadm /usr/local/bin/
# 查看keadm是否安装
keadm version

#输出版本信息
version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.1", GitCommit:"919ad5378eaca3cb0c666c22a19db01261cbc9a6", GitTreeState:"clean", BuildDate:"2022-11-02T08:22:56Z", GoVersion:"go1.17", Compiler:"gc", Platform:"linux/amd64"}

4.3.3 加入云节点管理

使用命令

#注意这里是要加入master的IP地址，token是master上四.2.1的步骤获取的
keadm join --cloudcore-ipport=172.23.70.235:10000 --kubeedge-version=1.12.1 --token=6ff1a09e9cc6beca30061ed96b189859e3e43d7932583d1b712adba49b4a28d6.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2Nzk3OTQ1MTV9.xUx5Q4-HcYpvvaSaStmgTmYNhzIgcmtm-Ev-EG5QblQ

这里如果有报错可以参考我其他博客提到的报错解决办法，例如

  • 安装KubeEdge报错Error: edge node join failed: unable to determine image API version: rpc error: code = U
  • KubeEdge安装加入边缘节点报错: error unmarshaling JSON: while decoding JSON: json: cannot unmarshal number into

检查是否安装成功
在这里插入图片描述

如下命令：

#启动edgecore      
systemctl start edgecore    

#设置开机自启
systemctl enable edgecore.service  

#查看edgecore开机启动状态 enabled:开启, disabled:关闭
systemctl is-enabled edgecore

#查看状态     
systemctl status edgecore 

#查看日志
journalctl -u edgecore.service -b

4.4 主节点查看验证（k8s-master）

要求所有的状态都为running或ready。

查看节点状态

# 查看节点状态
kubectl get nodes -o wide

在这里插入图片描述
查看kube-system安装

kubectl get pod -n kube-system

在这里插入图片描述
查看cloudcore安装

# 查看cloudcore安装
kubectl get pod -n kubeedge

在这里插入图片描述
如果状态都为running或ready，则安装完成。下一步开始安装EdgeMesh和Sedna。

4.5 部署可视化KuBoard（可选）

KuBord官网：https://kuboard.cn/install/v3/install-in-k8s.html#%E5%AE%89%E8%A3%85
提供的安装命令如下：

kubectl apply -f https://addons.kuboard.cn/kuboard/kuboard-v3.yaml

访问 Kuboard
在浏览器中打开链接 http://172.23.70.235:30080

输入初始用户名和密码，并登录

  • 用户名： admin
  • 密码： Kuboard123

部署完成后，进入30080端口可以看到这个命令，运行

curl -k 'http://172.23.70.235:30080/kuboard-api/cluster/default/kind/KubernetesCluster/default/resource/installAgentToKubernetes?token=VJr7EYvO0Dvh7eoB8JlYcN7S0GQhnPZE' > kuboard-agent.yaml
kubectl apply -f ./kuboard-agent.yaml

然后就可以看到集群信息了
在这里插入图片描述

五、Sedna安装

以下都是在k8s-master云节点中进行！！！

sedna安装官方文档：https://github.com/kubeedge/sedna/blob/main/docs/setup/install.md
这个文档看似挺简单，实则坑多着呢，我们一一来看。

看要求条件：
在这里插入图片描述
kubectl、kubernetes、KubeEdge我们都已安装完成，这里文档还提出并且还需要EdgeMesh在运行，所以先安装EdgeMesh

5.1 前置准备

EdgeMesh安装官方文档：https://edgemesh.netlify.app/zh/guide/#%E4%BE%9D%E8%B5%96%E7%8E%AF%E5%A2%83

根据官方文档描述：

  • 步骤1: 去除 K8s master 节点的污点
 kubectl taint nodes --all node-role.kubernetes.io/master-

如果 K8s master 节点上没有部署需要被代理的应用，上面的步骤也可以不执行。

  • 步骤2: 给 Kubernetes API 服务添加过滤标签
kubectl label services kubernetes service.edgemesh.kubeedge.io/service-proxy-name=""
  • 步骤3: 启用 KubeEdge 的边缘 Kube-API 端点服务
    请参考文档 边缘 Kube-API 端点 以启用此服务。边缘 Kube-API 端点

5.1.1 配置边缘 Kube-API 端点

步骤1: 在云端，开启 dynamicController 模块，配置完成后，需要重启 cloudcore

vim /etc/kubeedge/config/cloudcore.yaml
modules:
  ...
  dynamicController:
    enable: true
...

步骤2: 在边缘节点，打开 metaServer 模块（如果你的 KubeEdge < 1.8.0，还需关闭旧版 edgeMesh 模块），配置完成后，需要重启 edgecore

vim /etc/kubeedge/config/edgecore.yaml
modules:
  ...
  edgeMesh:
    enable: false
  ...
  metaManager:
    metaServer:
      enable: true
...

步骤3: 在边缘节点，配置 clusterDNS 和 clusterDomain，配置完成后，需要重启 edgecore

vim /etc/kubeedge/config/edgecore.yaml
modules:
  ...
  edged:
    ...
    tailoredKubeletConfig:
      ...
      clusterDNS:
      - 169.254.96.16
      clusterDomain: cluster.local

提示
步骤3的配置是为了边缘应用能够访问到 EdgeMesh 的 DNS 服务，与边缘 Kube-API 端点本身无关，但为了配置的流畅性，还是放在这里说明。
clusterDNS 设置的值 ‘169.254.96.16’ 来自于 commonConfig 中 bridgeDeviceIP 的默认值，正常情况下无需修改，非得修改请保持两者一致。

步骤4: 最后，在边缘节点，测试边缘 Kube-API 端点功能是否正常

curl 127.0.0.1:10550/api/v1/services
{"apiVersion":"v1","items":[{"apiVersion":"v1","kind":"Service","metadata":{"creat.......

注意
如果返回值是空列表，或者响应时长很久（接近 10s）才拿到返回值，说明你的配置可能有误，请仔细检查。

完成上述步骤之后，KubeEdge 的边缘 Kube-API 端点功能就已经开启了，接着继续部署 EdgeMesh 即可。

5.2 安装EdgeMesh

有两种方式安装，一种是Helm 安装，另一种是手动安装，这种会出问题。 推荐使用手动安装，安装方式如下：

  • 步骤1: 获取 EdgeMesh
git clone https://github.com/kubeedge/edgemesh.git
cd edgemesh
  • 步骤2: 安装 CRDs
 kubectl apply -f build/crds/istio/
customresourcedefinition.apiextensions.k8s.io/destinationrules.networking.istio.io created
customresourcedefinition.apiextensions.k8s.io/gateways.networking.istio.io created
customresourcedefinition.apiextensions.k8s.io/virtualservices.networking.istio.io created
  • 步骤3: 部署 edgemesh-agent
kubectl apply -f build/agent/resources/
serviceaccount/edgemesh-agent created
clusterrole.rbac.authorization.k8s.io/edgemesh-agent created
clusterrolebinding.rbac.authorization.k8s.io/edgemesh-agent created
configmap/edgemesh-agent-cfg created
configmap/edgemesh-agent-psk created
daemonset.apps/edgemesh-agent created

提示
请根据你的 K8s 集群设置 build/agent/resources/04-configmap.yaml 的 relayNodes，并重新生成 PSK 密码。

这里有个提示，我们要修改build/agent/resources/04-configmap.yaml这个文件，使用以下命令：

cd build/agent/resources
vim 04-configmap.yaml

改成如下图所示：
在这里插入图片描述
注意最下面的psk设置，重新另起一个终端，使用以下命令生成psk

openssl rand -base64 32

然后填上去保存，然后重新运行步骤3的部署。

  • 步骤4: 检验部署结果
kubectl get all -n kubeedge -o wide

安装成功如下图所示：
在这里插入图片描述

5.3 云边协同通信测试

如图所示，为验证我们edgemesh是否安装完成，通信是否正常，最好测试一下通信效果。
在这里插入图片描述
跨边云通信 ⭐
处于 edgezone 的 busybox-edge 应用能够访问云上的 tcp-echo-cloud 应用，处于 cloudzone 的 busybox-cloud 应用能够访问边缘的 tcp-echo-edge 应用
测试步骤：

在k8s-master（172.23.70.235）上执行以下命令：

kubectl apply -f examples/cloudzone.yaml
namespace/cloudzone created
deployment.apps/tcp-echo-cloud created
service/tcp-echo-cloud-svc created
deployment.apps/busybox-sleep-cloud created

在kubeedge（172.23.70.34）边缘节点上执行以下命令：

kubectl apply -f examples/edgezone.yaml
namespace/edgezone created
deployment.apps/tcp-echo-edge created
service/tcp-echo-edge-svc created
deployment.apps/busybox-sleep-edge created

这里如果边缘节点没有安装kubectl的话，可能执行失败，

报错提示：cannot stat ‘/etc/kubernetes/admin.conf’: No such file or directory

解决方式：
从k8s-master节点把etc/kubernetes/admin.conf拷贝过来，复制到kubeedge节点。

在k8s-master执行复制文件命令：

scp /etc/kubernetes/admin.conf root@172.23.70.34:/etc/kubernetes/admin.conf

输入密码就能即可。
然后在node节点执行：

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile

source ~/.bash_profile

再次验证：

kubectl get pods

如果还不行，那就在node节点再安装以下kubectl，执行如下：

## 配置kubernetes源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF


# 执行安装
yum -y install --nogpgcheck kubelet-1.23.8 kubeadm-1.23.8 kubectl-1.23.8

# 检查kubectl version
kubectl version

5.3.1 云访问边测试

#执行命令：
 BUSYBOX_POD=$(kubectl get all -n cloudzone | grep pod/busybox | awk '{print $1}')
 kubectl -n cloudzone exec $BUSYBOX_POD -c busybox -i -t -- sh
 telnet tcp-echo-edge-svc.edgezone 2701
Welcome, you are connected to node ke-edge1.
Running on Pod tcp-echo-edge.
In namespace edgezone.
With IP address 172.17.0.2.
Service default.
Hello Edge, I am Cloud.
Hello Edge, I am Cloud.

如图所示：
在这里插入图片描述

5.3.2 边访问云测试

$ BUSYBOX_CID=$(docker ps | grep k8s_busybox_busybox-sleep-edge | awk '{print $1}')
$ docker exec -it $BUSYBOX_CID sh
$ telnet tcp-echo-cloud-svc.cloudzone 2701
Welcome, you are connected to node k8s-master.
Running on Pod tcp-echo-cloud.
In namespace cloudzone.
With IP address 10.244.0.8.
Service default.
Hello Cloud, I am Edge.
Hello Cloud, I am Edge.

如图所示：
在这里插入图片描述
如果都通，说明没问题，可以继续安装Sedna了，否则，请逐个排查。常见问题及解决办法：全网最全EdgeMesh Q&A手册：https://zhuanlan.zhihu.com/p/585749690

5.4 Sedna安装

官网一键化安装seda（不建议，会出错）

# 不建议使用这种方式安装
curl https://raw.githubusercontent.com/kubeedge/sedna/main/scripts/installation/install.sh | SEDNA_ACTION=create bash -
  • 本地安装

下载install.sh文件

wget https://raw.githubusercontent.com/kubeedge/sedna/main/scripts/installation/install.sh

相关的修改

#改名字
mv install.sh offline-install.sh

#修改文件中的一下内容（sh的语法）
1.第28行：TMP_DIR='opt/sedna'
2.第34行：删除  trap "rm -rf '%TMP_DIR'" EXIT
3.第415行：删除  prepare

下载sedna的官网github：https://github.com/kubeedge/sedna/tree/main/build
在这里插入图片描述

git clone https://github.com/kubeedge/sedna.git

#将build和文件夹里的内容一块复制到sedna文件夹下：
cd build/ /opt/sedna/

然后，进入/opt/sedna目录，安装sedna：

#直接进入之前准备好的文件目录运行
SEDNA_ACTION=create bash - offline-install.sh

检查sedna安装状态：

kubectl get pod -n sedna

在这里插入图片描述
如果都为running，则安装成功，如此，就可以愉快的玩增量学习、联邦学习案例了。

六、参考资料

  • KubeEdge+Sedna安装全流程（超级避坑、精简版）
  • 全网最全EdgeMesh Q&A手册
  • 安装KubeEdge和Sedna以及热舒适度终身学习案例
  • 安装kube-sedna
  • KubeEdge环境搭建（支持网络插件flannel）
  • kubernetes 的安装与部署
  • kubernetes+KubeEdge云边环境的安装与部署
  • 边缘计算环境搭建之一——kubeedge安装与配置
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

k8s+kubeedge+sedna安装全套流程+避坑指南+解决办法 的相关文章

  • golang表单及验证支持

    在Web开发中对于这样的一个流程可能很眼熟 xff1a 打开一个网页显示出表单 用户填写并提交了表单 如果用户提交了一些无效的信息 xff0c 或者可能漏掉了一个必填项 xff0c 表单将会连同用户的数据和错误问题的描述信息返回 用户再次填

  • sublime搭建C/C++编译环境

    代码一 xff1a 34 cmd 34 34 g 43 43 34 34 file 34 34 std 61 c 43 43 11 34 34 o 34 34 file path file base name 34 34 amp 34 34

  • golang用户认证

    在开发Web应用过程中 xff0c 用户认证是开发者经常遇到的问题 xff0c 用户登录 注册 登出等操作 xff0c 而一般认证也分为三个方面的认证 HTTP Basic和 HTTP Digest认证第三方集成认证 xff1a QQ 微博

  • golang多语言支持

    专注后台开发相关技术 xff0c 广度深度并存 xff0c 干货情怀同在 微信搜索 盼盼编程 关注这个不一样的程序员 强烈推荐人工智能学习网站 beego中设置全局变量如下 xff1a Translation i18n IL Lang st

  • golang中的pprof支持

    专注后台开发相关技术 xff0c 广度深度并存 xff0c 干货情怀同在 微信搜索 盼盼编程 关注这个不一样的程序员 强烈推荐人工智能学习网站 Go语言有一个非常棒的设计就是标准库里面带有代码的性能监控工具 xff0c 在两个地方有包 xf

  • 大厂动态规划面试汇总，提升内功

    注 xff1a 本文是BAT真题收录很值得大家花心思看完 xff0c 看完会有收获 前言 算法是面试大公司必考的项目 xff0c 所以面试前准备好算法至关重要 xff0c 今天整理的常见的动态规划题目 xff0c 希望可以帮到大家 要想学习

  • 进程知识点，只需这一篇

    前言 你的进程 xff0c 为啥挂了 xff1f 进程挂了 xff0c 这个问题大家并不陌生 学完这篇 xff0c 你会对进程有一定了解 后面碰到进程挂的情况 xff0c 你很快能找到对应解决思路 进程在操作系统中 xff0c 是一个很重要

  • 算法：多数元素，多种解法

    前言 xff1a 以前做数学题的时候 xff0c 老师说 xff1a 你们学习多种解题方法 遇到类似不同的问题 xff0c 你都会了 xff0c 这样能提高解题能力 如果你写出多种解法 xff0c 面试官会对你刮目相看 下面一题 xff0c

  • 栈和队列互相实现，一文弄懂它们的关系

    前言 栈和队列是比较基础的数据结构 无论在工作中 xff0c 还是在面试中 xff0c 栈和队列都用的比较多 在计算机的世界 xff0c 你会看到队列和栈 xff0c 无处不在 栈 xff1a 一个先进后出的数据结构 队列 xff1a 一个

  • linux下调试core dump方式汇总，工作必备技能

    缘起 调试 xff0c 是开发流程中一个非常重要的环节 每个程序员都应 xff0c 具备调试代码的能力 xff0c 尤其对于从事 Linux 下的开发的读者 从事 linux 下后台开发 xff0c 有时候会遇到程序突然崩溃的情况 xff0

  • TCP 连接的前世今生

    前言 大家好 xff01 我是盼盼 xff01 之前写了几篇关于算法和 linux 命令的文章 xff0c 今天来学习下 xff0c 网络协议相关的知识 不管你是客户端 xff0c 还是服务端开发 xff0c 网络协议这块都是要学习和了解的

  • 反向传播算法推导过程（看一篇就够了）

    反向传播BackPropagation算法简称BP xff0c 算是神经网络的基础了 在神经网络中 xff0c 正向传播用于模型的训练 xff0c 模型中的参数不一定达到最佳效果 xff0c 需要进行 反向传播 进行权重等参数的修正 此外

  • 2021-08-21

    Snapper for Mac是一款强大的音频文件编辑软件 Snapper mac版会跟随您在Finder中选择的文件 选择音频文件后 xff0c 它会立即显示波形 并支持50 多种声音文件格式 还等什么 xff0c 快来下载吧 xff01

  • MAC系统如何连接Windows共享文件？MAC系统连接Win共享文件的方法

    MAC系统如何连接Windows共享文件 xff1f MAC系统和Windows是两个不同的系统 xff0c 有时候我们想要MAC系统访问Windows共享文件 xff0c 那么有什么方法呢 xff0c 下面小编就为大家介绍一下 MAC系统

  • mac恢复文件的方法，在Mac上使用时间机器恢复文件

    如果您使用时间机器对 Mac 上的文件进行备份 xff0c 则可以轻松恢复丢失的项目 xff0c 或者恢复文件的较早版本 您可以在很多 App 中使用时间机器 1 在 Mac 上 xff0c 打开想要恢复项目的窗口 例如 xff0c 若要恢

  • 中断响应流水灯控制程序

    include lt reg51 h gt void delay unsigned int i int main void using 0 int i 61 1 EA 61 1 EX0 61 1 IT0 61 1 P0 61 0 while

  • NX二次开发-BlockUI树列表快速插入多个节点

    适用版本 xff1a NX 7 5及以上版本 一 概述 在NX二次开发中 xff0c 我们经常使用BlockUI来设计界面 xff0c 树列表控件 xff08 Tree List xff09 是非常常用的控件之一 xff0c 可以创建表示节

  • 通过fix-broken解决dpkg安装时依赖问题

    以安装teamviewer为例 环境 xff1a Ubuntu desktop 20 04 1 minimal 安装 xff1a span class token operator gt gt span span class token o

  • 【Nginx】解决413错误

    项目场景 xff1a 接收Excel文件 问题描述 调用该接口时发生413错误 接口服务nginx日志 2022 09 09 07 02 18 error 10 10 6 client intended to send too large

  • 什么是云计算？什么是边缘计算？为什么需要云边协同？

    一 云计算的发展有哪些弊端 xff1f 云计算 xff08 cloud computing xff09 是分布式计算的一种 xff0c 指的是通过网络 云 将巨大的数据计算处理程序分解成无数个小程序 xff0c 然后 xff0c 通过多部服

随机推荐

热门标签