文章目录
- 前言
- 一、主要策略
- 二、建立自主可控的仓库
-
- 三、k8s安装步骤
- 1. 基础环境准备
- 2. 安装docker
- 3. 安装K8S组件
- 4. 初始化k8s主节点
- 5. 检查集群状态
- 6. 安装flannel网络插件
- 7. 添加worker节点
- 总结
前言
如果机器能联网，特别是能直接访问公网上的软件、镜像仓库，那么k8s安装起来将会非常顺利。直接使用yum、apt-get等命令安装基础组件，拉取公共docker镜像仓库中的镜像即可。但是如果网络环境受限，跟公网隔绝，那装起来就会比较麻烦。
首先，软件包的安装就非常头疼。如果没有提前准备好所有的依赖，那就得一个一个的尝试。遇到缺少的依赖，就要从外网下载好、拷贝到内网机器、尝试安装。而且依赖还可能有传递依赖，这样一遍一遍的试下来，非常耗费时间。
其次，镜像的安装也比较麻烦。如果公司内部没有镜像仓库，或者即使有，但你没有权限部、上传镜像，那就得你自己到每个节点上从文件加载镜像。虽然可以通过一些脚本、工具（如ansible）批量解决，但从后期的使用来讲，也非常的不方便。
本文提供一种方法，可以免除上述的麻烦，方便我们离线安装，体验虽然比不上直连公网安装，但是也比一个一个的手工操作要好多了。
一、主要策略
既然离线安装的痛点是软件包和镜像，那么我们就从解决这两个痛点入手。
-
建立自主可控的软件仓库
先在一台内网机器上构建一个yum仓库，并在所有节点上配置yum访问该yum仓库。
然后在能连接公网的机器上，将安装k8s所需的软件包及其所有依赖下载下来，并复制到内网上述yum仓库中。
-
建立自主可控的镜像仓库
也是先在一台内网机器上构建一个镜像仓库，并在所有节点上配置docker访问该镜像仓库。
然后在能连接公网的机器上 ，将所需的各镜像复制到内网，并部署到上述镜像仓库。
二、建立自主可控的仓库
192.168.10.1
192.168.10.2
192.168.10.3
1. 软件仓库
- 使用createrepo建立软件仓库
- 用nginx允许软件仓库远程访问
yum install -y createrepo
createrepo /opt/softwares/www/html/k8s
yum install -y nginx
server {
listen 80;
server_name k8smaster;
location / {
root /opt/softwares/www/html;
autoindex on;
autoindex_exact_size off;
autoindex_localtime on;
}
}
cat > /etc/yum.repos.d/k8s.repo << EOF
>[k8s-1.21]
>name=k8s-1.21
>baseurl=http://192.168.10.1/k8s
>gpgcheck=0
>enabled=1
>priority=1
>EOF
scp /etc/yum.repos.d/k8s.repo 192.168.10.2:/etc/yum.repos.d/
scp /etc/yum.repos.d/k8s.repo 192.168.10.3:/etc/yum.repos.d/
yum install --downloadonly --downloaddir=/path/to/k8s/packages docker-ce kubeadm
【注意1】 yum install --downloadonly --downloaddir=... 命令可以将目标软件包及其倚赖下载到指定目录，方便构建我们自己的软件仓库。
【注意2】使用自己的软件仓库，也可以先安装yum-utils，再通过yum-config-manager --add-repo=http://192.168.10.1/k8s命令添加仓库
2. 镜像仓库
使用docker官方提供的registry镜像建立镜像仓库
docker pull registry
docker save -o registry.tar registry
docker load -i registry.tar
docker run -d -p 5000:5000 --restart=always --name registry registry
cat > /etc/docker/daemon.json <<EOF
{"insecure-registries":["192.168.10.1:5000"]}
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.21.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.21.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.21.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.21.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5
docker pull flannelcni/flannel-cni-plugin:v1.1.0
docker pull flannelcni/flannel:v0.18.1
docker save -o image_name.tar image
docker load -i image_name.tar
docker tag image_hash_id 192.168.10.1:5000/image_name:tag
docker push 192.168.10.1:5000/image_name:tag
【注意1】以后凡是用到image的地方，都要使用192.168.10.1:5000/image_name:tag标识的image，否则拉不到。
【注意2】如果不清楚具体需要哪些image及其版本，可以通过kubeadm config images list命令获取
三、k8s安装步骤
1. 基础环境准备
systemctl stop firewalld
systemctl disable firewalld
sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config
setenforce 0
getenforce
echo "vm.swappiness = 0">> /etc/sysctl.conf
swapoff -a && swapon -a
sysctl -p
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
sysctl -p
2. 安装docker
所有节点
yum install -y docker-ce
systemctl start docker
systemctl enable docker
{
"exec-opts": ["native.cgroupdriver=systemd"]
}
systemctl restart docker
【注意1】docker默认的cgroup driver是cgroupfs，但k8s推荐的driver是systemd.
3. 安装K8S组件
所有节点
yum install -y kubeadm
systemctl start kubelet
systemctl enable kubelet
【注意1】由于kubeadm倚赖kubectl、kubelet，所以安装kubeadm时也会附带安装了这两个组件。
4. 初始化k8s主节点
在主节点执行，本例是192.168.10.1
kubeadm init \
--apiserver-advertise-address=192.168.10.1 \
--image-repository 192.168.10.1:5000 \
--kubernetes-version v1.21.0 \
--pod-network-cidr=10.244.0.0/16
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
【注意1】apiserver-advertise-address指明master所用ip地址。如果master所在节点有多个ip地址，且未指明该参数的话，则k8s会使用有默认网关ip地址
【注意2】image-repository指向自己的私有镜像仓库。如未指明，则用的是谷歌的k8s.gcr.io。
【注意3】kubernets-version指明k8s版本。如未指明，则会从https://dl.k8s.io/release/stable-1.txt获取最新的版本，并下载。这里指明版本的话，就可以使用本地的已有的k8s镜像。
【注意4】pod-network-cidr指明pod的ip范围。这里给出的值是flannel网络的默认ip范围。
【注意5】/etc/kubernetes/admin.conf 文件中保存的是init成功后生成的安全配置。kubectl访问集群时需用到这些配置。而$HOME/.kube/config是这些安全配置的默认目录。也可以用KUBECONFIG环境变量指明上述安全配置的目录。
5. 检查集群状态
kubectl get cs
kubectl get nodes
kubectl describe <node host name>
kubectl get pod -n kube-system -o wide
【注意1】kubectl describe命令比较常用，可以显示节点的状态。也是解决系统故障时的主要参考信息。
【注意2】kube-system是k8s系统级别命名空间。不是docker的命名空间。
【注意3】此时由于还未安装网络插件，所以core-dns相关的pod应该都还处于pending状态。
6. 安装flannel网络插件
wget https://github.com/flannel-io/flannel/blob/master/Documentation/kube-flannel.yml
cat kube-flannel.yml | grep image
kubectl apply -f kube-flannel.yml
kubectl get pod -n kube-system -o wide
7. 添加worker节点
kubeadm init成功后会显示一段添加worker节点的指令，类似：kubeadm join 192.168.10.1:5000 --token sometoken --discovery-token-ca-cert-hash some-ca-info 。可以在每个woker节点上执行以加入集群。如果没有记住，也可以如下执行：
kubeadm token create --print-join-command
至此，集群搭建完毕。可以尝试添加pod
总结
- 搭建自主可控的软件仓库和镜像仓库是前提
- 关闭swap、防火墙、selinux是基础
- kubeadm init、安装网络插件时、以及所有用到镜像的地方都要注意修改为自己的镜像私仓
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
