二进制部署K8s

2023-11-16

一、环境需求

节点IP	节点名称	所需组件
192.168.248.11	k8s-master	docker、etcd、apiserver、controller-manager、scheduler、kube-proxy、flannel
192.168.248.33	k8s-node1	docker、etcd、Kubelet、kube-proxy
192.168.248.44	k8s-node2	docker、etcd、Kubelet、kube-proxy

二、部署环境

基础网络环境配置
根据环境为三台主机配置IP、DNS、网关等基础信息，确保可连通外网；master节点需为6G2核，node节点为2G1核即可。

一、基础配置（三台都做）

1、配置主机名
[root@localhost ~]# hostnamectl set-hostname k8s-master

2、修改hosts文件，添加主机信息
[root@k8s-master ~]# vim /etc/hosts
192.168.248.11 k8s-master 
192.168.248.33 k8s-node1 
192.168.248.44 k8s-node2

3、安装常用服务
[root@k8s-master ~]# yum -y install vim wget net-tools lrzsz telnet lsof rsync unzip

4、关闭防火墙、禁用seLinux
[root@k8s-master ~]# systemctl status firewalld

5、关闭交换分区
[root@k8s-master ~]# swapoff -a
[root@k8s-master ~]# sed -i '/swap/s/^/#/' /etc/fstab

二、Docker环境部署（三台都做）
1、安装依赖包
[root@k8s-master ~]# yum install -y yum-utils device-mapper-persistent-data lvm2

2、添加YUM源
[root@k8s-master ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@k8s-master ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

3、更新YUM源缓存并安装Docker
[root@k8s-master ~]# yum makecache fast
[root@k8s-master ~]# yum -y install docker-ce

4、启动Docker，并设置自启
[root@k8s-master ~]# systemctl start docker && systemctl enable docker

5、配置加速器（推荐阿里云），并重启
[root@k8s-master ~]# vim /etc/docker/daemon.json
{
"registry-mirrors": ["https://hj8von7c.mirror.aliyuncs.com"]
}
[root@k8s-master ~]# systemctl daemon-reload
[root@k8s-master ~]# systemctl restart docker

三、生成通信加密证书
1、生成CA证书
[root@k8s-master ~]# wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
[root@k8s-master ~]# wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
[root@k8s-master ~]# wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
[root@k8s-master ~]# chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
[root@k8s-master ~]# mv cfssl_linux-amd64 /usr/local/bin/cfssl
[root@k8s-master ~]# mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
[root@k8s-master ~]# mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo
[root@k8s-master ~]# mkdir /k8s/kubernetes/{bin,cfg,ssl} -p
[root@k8s-master ~]# cd /k8s/kubernetes/ssl/
[root@k8s-master ssl]# vim ca-config.json
{
    "signing": {
        "default": {
            "expiry": "87600h"
        },
        "profiles": {
            "kubernetes": {
                "expiry": "87600h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}
[root@k8s-master ssl]# vim ca-csr.json
{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [ 
  	  { 
  		  "C": "CN", 
  		  "L": "Beijing", 
  		  "ST": "Beijing",
  		  "O": "k8s", 
  		  "OU": "System"
  	  }
   ]
}

2、执行以下操作，生成 CA 证书。
[root@k8s-master ssl]# cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
2020/03/17 19:56:18 [INFO] generating a new CA key and certificate from CSR 
2020/03/17 19:56:18 [INFO] generate received request 2020/03/17 19:56:18 [INFO] received CSR 
2020/03/17 19:56:18 [INFO] generating key: rsa-2048 
2020/03/17 19:56:19 [INFO] encoded CSR 
2020/03/17 19:56:19 [INFO] signed certificate with serial number 604430133042294594285292977935086938224934188899

3、生成Server证书
[root@k8s-master ssl]# vim server-csr.json
{
   "CN": "kubernetes",
   "hosts": [
      "127.0.0.1",
      "192.168.248.11",
      "192.168.248.33",
      "192.168.248.44",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
   ],
   "key": {
      "algo": "rsa",
      "size": 2048
   },
   "names": [
      {
         "C": "CN",
         "L": "Beijing",
         "ST": "Beijing",
         "O": "k8s", 
  		 "OU": "System"
      }
   ]
}
[root@k8s-master ssl]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server
[root@k8s-master ssl]# ls
ca-config.json  ca-csr.json  ca.pem  server-csr.json  server.pem  ca.csr  ca-key.pem  server.csr  server-key.pem
[root@k8s-master ssl]# vim admin-csr.json
{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [ 
  	  { 
  		  "C": "CN", 
  		  "L": "Beijing", 
  		  "ST": "Beijing",
  		  "O": "system:masters", 
  		  "OU": "System"
  	  }
   ]
}
[root@k8s-master ssl]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
[root@k8s-master ssl]# vim kube-proxy-csr.json
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "Beijing",
      "ST": "Beijing",
      "O": "k8s", 
  	  "OU": "System"
    }
  ]
}
[root@k8s-master ssl]# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy
[root@k8s-master ssl]# ls | grep -v pem | xargs -i rm {}

4、下载etcd包至xshell并解压
[root@master ~]# wget https://github.com/etcd-io/etcd/releases/download/v3.3.18/etcd-v3.3.18-linux-amd64.tar.gz
[root@k8s-master ~]# tar zxf etcd-v3.3.18-linux-amd64.tar.gz
[root@k8s-master ~]# cd etcd-v3.3.18-linux-amd64/
[root@k8s-master etcd-v3.3.18-linux-amd64]# cp etcd etcdctl /k8s/kubernetes/bin/

三、配置ETCD集群

一、在k8s-master主机部署Etcd节点
1、创建Etcd配置文件
[root@k8s-master ~]# vim /k8s/kubernetes/cfg/etcd

#[Member] 
ETCD_NAME="etcd01" 
ETCD_DATA_DIR="/data1/etcd" ETCD_LISTEN_PEER_URLS="https://192.168.248.11:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.248.11:2379" 

#[Clustering] 
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.248.11:2380" 
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.248.11:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.248.11:2380,etcd02=https://192.168.248.33:2380,etcd03=https://192.168.248.44:2380" 
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"

#[Security]
ETCD_CERT_FILE="/k8s/kubernetes/ssl/server.pem"
ETCD_KEY_FILE="/k8s/kubernetes/ssl/server-key.pem"
ETCD_TRUSTED_CA_FILE="/k8s/kubernetes/ssl/ca.pem"
ETCD_CLIENT_CERT_AUTH="true"
ETCD_PEER_CERT_FILE="/k8s/kubernetes/ssl/server.pem"
ETCD_PEER_KEY_FILE="/k8s/kubernetes/ssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="/k8s/kubernetes/ssl/ca.pem"
ETCD_PEER_CLIENT_CERT_AUTH="true"

2、创建脚本配置文件
[root@k8s-master ~]# mkdir /data1/etcd -p
[root@k8s-master ~]# vim /usr/lib/systemd/system/etcd.service

[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=/k8s/kubernetes/cfg/etcd
ExecStart=/k8s/kubernetes/bin/etcd \
--name=${ETCD_NAME} \
--data-dir=${ETCD_DATA_DIR} \
--listen-peer-urls=${ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=${ETCD_ADVERTISE_CLIENT_URLS} \
--initial-advertise-peer-urls=${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=${ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=${ETCD_INITIAL_CLUSTER_TOKEN} \
--initial-cluster-state=new \
--cert-file=/k8s/kubernetes/ssl/server.pem \
--key-file=/k8s/kubernetes/ssl/server-key.pem \
--peer-cert-file=/k8s/kubernetes/ssl/server.pem \
--peer-key-file=/k8s/kubernetes/ssl/server-key.pem \
--trusted-ca-file=/k8s/kubernetes/ssl/ca.pem \
--peer-trusted-ca-file=/k8s/kubernetes/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

二、在k8s-node1、k8s-node2主机上部署Etcd节点
1、拷贝Etcd配置文件到计算节点主机，然后修改对应的主机IP地址。

----------node1节点
[root@k8s-node1 ~]# mkdir /k8s/kubernetes/ -p
[root@k8s-node1 ~]# mkdir /data1/etcd -p
[root@k8s-master ~]# rsync -avcz /k8s/kubernetes/* 192.168.248.33:/k8s/kubernetes/
[root@k8s-node1 ~]# vim /k8s/kubernetes/cfg/etcd

#[Member] 
ETCD_NAME="etcd02" 
ETCD_DATA_DIR="/data1/etcd" ETCD_LISTEN_PEER_URLS="https://192.168.248.33:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.248.33:2379" 
#[Clustering] 
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.248.33:2380" 
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.248.33:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.248.11:2380,etcd02=https://192.168.248.33:2380,etcd03=https://192.168.248.44:2380" 
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"

#[Security]
ETCD_CERT_FILE="/k8s/kubernetes/ssl/server.pem"
ETCD_KEY_FILE="/k8s/kubernetes/ssl/server-key.pem"
ETCD_TRUSTED_CA_FILE="/k8s/kubernetes/ssl/ca.pem"
ETCD_CLIENT_CERT_AUTH="true"
ETCD_PEER_CERT_FILE="/k8s/kubernetes/ssl/server.pem"
ETCD_PEER_KEY_FILE="/k8s/kubernetes/ssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="/k8s/kubernetes/ssl/ca.pem"
ETCD_PEER_CLIENT_CERT_AUTH="true"

----------node2节点
[root@k8s-node2 ~]# mkdir /k8s/kubernetes/ -p
[root@k8s-node2 ~]# mkdir /data1/etcd -p
[root@k8s-master ~]# rsync -avcz /k8s/kubernetes/* 192.168.248.44:/k8s/kubernetes/
[root@k8s-node2 ~]# vim /k8s/kubernetes/cfg/etcd

#[Member] 
ETCD_NAME="etcd03" 
ETCD_DATA_DIR="/data1/etcd" 
ETCD_LISTEN_PEER_URLS="https://192.168.248.44:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.248.44:2379" 
#[Clustering] 
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.248.44:2380" 
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.248.44:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.248.11:2380,etcd02=https://192.168.248.33:2380,etcd03=https://192.168.248.44:2380" 
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" 
ETCD_INITIAL_CLUSTER_STATE="new"

#[Security]
ETCD_CERT_FILE="/k8s/kubernetes/ssl/server.pem"
ETCD_KEY_FILE="/k8s/kubernetes/ssl/server-key.pem"
ETCD_TRUSTED_CA_FILE="/k8s/kubernetes/ssl/ca.pem"
ETCD_CLIENT_CERT_AUTH="true"
ETCD_PEER_CERT_FILE="/k8s/kubernetes/ssl/server.pem"
ETCD_PEER_KEY_FILE="/k8s/kubernetes/ssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="/k8s/kubernetes/ssl/ca.pem"
ETCD_PEER_CLIENT_CERT_AUTH="true"

2、将脚本文件拷贝至node节点
[root@k8s-master ~]# scp /usr/lib/systemd/system/etcd.service 192.168.248.33:/usr/lib/systemd/system/
[root@k8s-master ~]# scp /usr/lib/systemd/system/etcd.service 192.168.248.44:/usr/lib/systemd/system/

3、启动Etcd主节点并查看结果
[root@k8s-master ~]# systemctl start etcd
[root@k8s-master ~]# systemctl enable etcd
[root@k8s-master ~]# ps -ef | grep etcd
[root@k8s-node1 ~]# systemctl start etcd 
[root@k8s-node2 ~]# systemctl start etcd 
[root@k8s-node1 ~]# systemctl enable etcd 
[root@k8s-node2 ~]# systemctl enable etcd

三、查看Etcd集群部署状况
---------------------所有节点添加环境变量-----------------------
[root@k8s-master ~]# vim /etc/profile
export PATH=$PATH:/k8s/kubernetes/bin
[root@k8s-master ~]# source /etc/profile

node节点都操作
[root@k8s-node1 ~]# /k8s/kubernetes/bin/etcdctl --ca-file=/k8s/kubernetes/ssl/ca.pem --cert-file=/k8s/kubernetes/ssl/server.pem --key-file=/k8s/kubernetes/ssl/server-key.pem --endpoints="https://192.168.248.100:2379,https://192.168.248.101:2379,https://192.168.248.102:2379" cluster-health
member 51abab151e2684d3 is healthy: got healthy result from https://192.168.248.44:2379 
member 8e0b87d8e3e83fd3 is healthy: got healthy result from https://192.168.248.33:2379 
member a268de79406cdc46 is healthy: got healthy result from https://192.168.248.11:2379 
cluster is healthy			###Etcd部署完成

四、部署flannel网络

1、分配子网段到Etcd
[root@k8s-master ~]# cd /k8s/kubernetes/ssl/
[root@k8s-master ssl]# etcdctl -ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.248.100:2379,https://192.168.248.101:2379,https://192.168.248.102:2379" set /coreos.com/network/config '{"Network":"172.17.0.0/16","Backend":{"Type":"vxlan"} }'

{"Network":"172.17.0.0/16","Backend":{"Type":"vxlan"} }

2、上传 flannel软件包，解压flannel二进制并分别拷贝到Node节点
[root@k8s-master ssl]# cd
[root@k8s-master ~]# wget https://github.com/coreos/flannel/releases/download/v0.12.0/flannel-v0.12.0-linux-amd64.tar.gz
[root@k8s-master ~]# tar zxf flannel-v0.12.0-linux-amd64.tar.gz 
[root@k8s-master ~]# scp flanneld mk-docker-opts.sh 192.168.248.33:/k8s/kubernetes/bin/ 
[root@k8s-master ~]# scp flanneld mk-docker-opts.sh 192.168.248.44:/k8s/kubernetes/bin/

3、配置flannel文件
--------只在node节点配置
[root@k8s-node1 ~]# vim /k8s/kubernetes/cfg/flanneld

FLANNEL_OPTIONS="--etcd-endpoints=https://192.168.248.11:2379,https://192.168.248.33:2379,https://192.168.248.44:2379 -etcd-cafile=/k8s/kubernetes/ssl/ca.pem -etcd-certfile=/k8s/kubernetes/ssl/server.pem -etcd-keyfile=/k8s/kubernetes/ssl/server-key.pem"

4、在k8s-node1与k8s-node2主机上分别创建flanneld.service脚本文件管理flanneld。
[root@k8s-node1 ~]# vim /usr/lib/systemd/system/flanneld.service

[Unit] 
Description=Flanneld overlay address etcd agent 
After=network-online.target network.target 
Before=docker.service 

[Service] 
Type=notify 
EnvironmentFile=/k8s/kubernetes/cfg/flanneld 
ExecStart=/k8s/kubernetes/bin/flanneld --ip-masq $FLANNEL_OPTIONS 
ExecStartPost=/k8s/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env 
Restart=on-failure 

[Install] 
WantedBy=multi-user.target

5、在k8s-node1与k8s-node2主机上配置Docker启动指定网段，修改Docker配置脚本文件。
[root@k8s-node1 ~]# vim /usr/lib/systemd/system/docker.service


ExecStart=
EnvironmentFile=/run/flannel/subnet.env
//新添加[Service]块内，目的是让 Docker 网桥分发的 ip 地址与 flanned 网桥在同一个网段 
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS
//添加$ DOCKER_NETWORK_OPTIONS 变量，替换原来的ExecStart，目的是调用flannel网桥IP地址

6、启动k8s-node1主机上的Flannel服务。
[root@k8s-node1 ~]# systemctl start flanneld  &&  systemctl enable flanneld
[root@k8s-node1 ~]# systemctl daemon-reload  &&  systemctl restart docker

[root@k8s-node1 ~]# ifconfig
docker0:省略...
flannel.1:省略...
//查看 Flannel 是否与 Docker 在同一网段

[root@k8s-node1 ~]# scp /usr/lib/systemd/system/flanneld.service 192.168.248.44:/usr/lib/systemd/system/
[root@k8s-node1 ~]# scp /k8s/kubernetes/cfg/flanneld 192.168.248.44:/k8s/kubernetes/cfg/ 
[root@k8s-node1 ~]# scp /usr/lib/systemd/system/docker.service 192.168.248.44:/usr/lib/systemd/system/

7、在k8s-node2主机上启动flannel服务
[root@k8s-node2 ~]# systemctl start flanneld  &&  systemctl enable flanneld
[root@k8s-node2 ~]# systemctl daemon-reload  &&  systemctl restart docker

[root@k8s-node2 ~]# ip add
docker0:省略...(网桥地址在此)
flannel.1:省略...
//查看 Flannel 是否与 Docker 在同一网段

8、测试flannel是否安装成功
[root@k8s-node2 ~]# ping 172.17.39.1	//该IP为docker网桥地址

五、部署Kubernetes server

1、解压kubernetes文件
[root@k8s-master ~]# wget https://dl.k8s.io/v1.13.1/kubernetes-server-linux-amd64.tar.gz
[root@k8s-master ~]# tar xf kubernetes-server-linux-amd64.tar.gz
[root@k8s-master ~]# cd kubernetes/server/bin/
[root@k8s-master bin]# cp kube-scheduler kube-apiserver kube-controller-manager kubectl /k8s/kubernetes/bin/

2、部署kube-apiserver组件，创建TLS Bootstrapping Token
[root@k8s-master bin]# head -c 16 /dev/urandom | od -An -t x | tr -d ' '
525abc0a4b01ddd3000db61f092980e1
[root@k8s-master bin]# vim /k8s/kubernetes/cfg/token.csv

525abc0a4b01ddd3000db61f092980e1,kubelet-bootstrap,10001,"system:kubelet-bootstrap"

3、创建apiserver配置文件、apiserver systemd文件
[root@k8s-master bin]# vim /k8s/kubernetes/cfg/kube-apiserver

KUBE_APISERVER_OPTS="--logtostderr=true \
--v=4 \
--etcd-servers=https://192.168.248.11:2379,https://192.168.248.33:2379,https://192.168.248.44:2379 \
--bind-address=192.168.248.11 \
--secure-port=6443 \
--advertise-address=192.168.248.11 \
--allow-privileged=true \
--service-cluster-ip-range=10.254.0.0/16 \
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \
--authorization-mode=RBAC,Node \
--enable-bootstrap-token-auth \
--token-auth-file=/k8s/kubernetes/cfg/token.csv \
--service-node-port-range=30000-50000 \
--tls-cert-file=/k8s/kubernetes/ssl/server.pem  \
--tls-private-key-file=/k8s/kubernetes/ssl/server-key.pem \
--client-ca-file=/k8s/kubernetes/ssl/ca.pem \
--service-account-key-file=/k8s/kubernetes/ssl/ca-key.pem \
--etcd-cafile=/k8s/kubernetes/ssl/ca.pem \
--etcd-certfile=/k8s/kubernetes/ssl/server.pem \
--etcd-keyfile=/k8s/kubernetes/ssl/server-key.pem"

[root@k8s-master bin]# vim /usr/lib/systemd/system/kube-apiserver.service
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/k8s/kubernetes/cfg/kube-apiserver
ExecStart=/k8s/kubernetes/bin/kube-apiserver $KUBE_APISERVER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

4、启动kube-apiserver服务并查看状态
[root@k8s-master bin]# systemctl daemon-reload
[root@k8s-master bin]# systemctl enable kube-apiserver
[root@k8s-master bin]# systemctl start kube-apiserver
[root@k8s-master bin]# systemctl status kube-apiserver
[root@k8s-master bin]# ps -ef |grep kube-apiserver
[root@k8s-master bin]# netstat -tulpn |grep kube-apiserve

5、部署kube-scheduler组件，创建kube-scheduler配置文件
[root@k8s-master bin]# vim  /k8s/kubernetes/cfg/kube-scheduler
KUBE_SCHEDULER_OPTS="--logtostderr=true --v=4 --master=127.0.0.1:8080 --leader-elect"
[root@k8s-master bin]# vim /usr/lib/systemd/system/kube-scheduler.service
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/k8s/kubernetes/cfg/kube-scheduler
ExecStart=/k8s/kubernetes/bin/kube-scheduler $KUBE_SCHEDULER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

6、启动kube-scheduler服务并查看状态
[root@k8s-master bin]# systemctl daemon-reload
[root@k8s-master bin]# systemctl enable kube-scheduler.service
[root@k8s-master bin]# systemctl start kube-scheduler.service
[root@k8s-master bin]# systemctl status kube-scheduler.service

7、部署kube-controller-manager组件，创建kube-controller-manager配置文件
[root@k8s-master bin]# vim /k8s/kubernetes/cfg/kube-controller-manager
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=true \
--v=4 \
--master=127.0.0.1:8080 \
--leader-elect=true \
--address=127.0.0.1 \
--service-cluster-ip-range=10.254.0.0/16 \
--cluster-name=kubernetes \
--cluster-signing-cert-file=/k8s/kubernetes/ssl/ca.pem \
--cluster-signing-key-file=/k8s/kubernetes/ssl/ca-key.pem  \
--root-ca-file=/k8s/kubernetes/ssl/ca.pem \
--service-account-private-key-file=/k8s/kubernetes/ssl/ca-key.pem"

[root@k8s-master bin]# vim /usr/lib/systemd/system/kube-controller-manager.service
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
 
[Service]
EnvironmentFile=-/k8s/kubernetes/cfg/kube-controller-manager
ExecStart=/k8s/kubernetes/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
 
[Install]
WantedBy=multi-user.target

[root@k8s-master bin]# systemctl daemon-reload
[root@k8s-master bin]# systemctl enable kube-controller-manager
[root@k8s-master bin]# systemctl start kube-controller-manager
[root@k8s-master bin]# systemctl status kube-controller-manager

8、设置环境变量
[root@k8s-master ~]# vim /etc/profile
export PATH=/k8s/kubernetes/bin:$PATH
[root@k8s-master ~]# source /etc/profile

9、查看master服务状态
[root@k8s-master ~]# kubectl get cs,nodes

六、Node节点部署

部署kubelet组件（node节点安装）
1、docker（前面已经部署）
2、安装kubelet二进制文件
[root@k8s-node1 ~]# tar xf kubernetes-node-linux-amd64.tar.gz		-----从电脑F盘包中拉取至shell
[root@k8s-node1 ~]# cd kubernetes/node/bin/
[root@k8s-node1 bin]# cp kube-proxy kubelet kubectl /k8s/kubernetes/bin/

3、复制相关证书到node节点
[root@k8s-master ~]# cd /k8s/kubernetes/ssl/
[root@k8s-master ssl]# scp *.pem 192.168.248.33:$PWD
[root@k8s-master ssl]# scp *.pem 192.168.248.44:$PWD

4、创建kubelet、bootstrap、kubeconfig文件，通过脚本实现
[root@k8s-node1 ~]# vim /k8s/kubernetes/cfg/environment.sh
#!/bin/bash
#创建kubelet bootstrapping kubeconfig 
BOOTSTRAP_TOKEN=525abc0a4b01ddd3000db61f092980e1
KUBE_APISERVER="https://192.168.248.11:6443"
#设置集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=/k8s/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
#设置客户端认证参数
kubectl config set-credentials kubelet-bootstrap \
  --token=${BOOTSTRAP_TOKEN} \
  --kubeconfig=bootstrap.kubeconfig
# 设置上下文参数
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kubelet-bootstrap \
  --kubeconfig=bootstrap.kubeconfig
# 设置默认上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
# 创建kube-proxy kubeconfig文件
kubectl config set-cluster kubernetes \
  --certificate-authority=/k8s/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy \
  --client-certificate=/k8s/kubernetes/ssl/kube-proxy.pem \
  --client-key=/k8s/kubernetes/ssl/kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

5、执行脚本
[root@k8s-node1 ~]# cd /k8s/kubernetes/cfg/
[root@k8s-node1 cfg]# sh environment.sh
Cluster "kubernetes" set.
User "kubelet-bootstrap" set.
Context "default" created.
Switched to context "default".
Cluster "kubernetes" set.
User "kube-proxy" set.
Context "default" created.
Switched to context "default".

6、创建kubelet参数配置模板文件
[root@k8s-node1 ~]# vim /k8s/kubernetes/cfg/kubelet.config
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 192.168.248.33
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS: ["8.8.8.8"]
clusterDomain: cluster.local.
failSwapOn: false
authentication:
  anonymous:
    enabled: true

7、创建kubelet配置文件
[root@k8s-node1 ~]# vim /k8s/kubernetes/cfg/kubelet
KUBELET_OPTS="--logtostderr=true \
--v=4 \
--hostname-override=192.168.248.33 \
--kubeconfig=/k8s/kubernetes/cfg/kubelet.kubeconfig \
--bootstrap-kubeconfig=/k8s/kubernetes/cfg/bootstrap.kubeconfig \
--config=/k8s/kubernetes/cfg/kubelet.config \
--cert-dir=/k8s/kubernetes/ssl \
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"

8、创建kubelet systemd文件
[root@k8s-node1 ~]# vim /usr/lib/systemd/system/kubelet.service
[Unit]
Description=Kubernetes Kubelet
After=docker.service
Requires=docker.service

[Service]
EnvironmentFile=/k8s/kubernetes/cfg/kubelet
ExecStart=/k8s/kubernetes/bin/kubelet $KUBELET_OPTS
Restart=on-failure
KillMode=process

[Install]
WantedBy=multi-user.target

9、将kubelet-bootstrap用户绑定到系统集群角色
[root@k8s-master ~]# kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

10、启动服务
[root@k8s-node1 ~]# systemctl daemon-reload
[root@k8s-node1 ~]# systemctl enable kubelet
[root@k8s-node1 ~]# systemctl start kubelet

11、查看csr列表
[root@k8s-master ~]# kubectl get csr
NAME                                                   AGE   REQUESTOR           CONDITION
node-csr-ikgimJ0OD0RyV1O918uIRtIPZ_6SFIY6Mqo3KeNUvME   50s   kubelet-bootstrap   Pending
接收Node
[root@k8s-master ~]# kubectl certificate approve node-csr-ikgimJ0OD0RyV1O918uIRtIPZ_6SFIY6Mqo3KeNUvME

certificatesigningrequest.certificates.k8s.io/node-csr-ikgimJ0OD0RyV1O918uIRtIPZ_6SFIY6Mqo3KeNUvME approved
重新查看csr
[root@k8s-master ~]# kubectl get csr
NAME                                                   AGE   REQUESTOR           CONDITION
node-csr-ikgimJ0OD0RyV1O918uIRtIPZ_6SFIY6Mqo3KeNUvME   3m27s kubelet-bootstrap   Approved,Issued



部署kube-proxy组件（在node节点操作）
[root@k8s-node1 ~]# vim /k8s/kubernetes/cfg/kube-proxy
KUBE_PROXY_OPTS="--logtostderr=true \
--v=4 \
--hostname-override=192.168.248.33 \
--cluster-cidr=0.0.0.0/16 \
--kubeconfig=/k8s/kubernetes/cfg/kube-proxy.kubeconfig"

[root@k8s-node1 ~]# vim /usr/lib/systemd/system/kube-proxy.service
[Unit]
Description=Kubernetes Proxy
After=network.target
 
[Service]
EnvironmentFile=-/k8s/kubernetes/cfg/kube-proxy
ExecStart=/k8s/kubernetes/bin/kube-proxy $KUBE_PROXY_OPTS
Restart=on-failure
 
[Install]
WantedBy=multi-user.target

启动服务
[root@k8s-node1 ~]# systemctl daemon-reload
[root@k8s-node1 ~]# systemctl enable kube-proxy
[root@k8s-node1 ~]# systemctl start kube-proxy

七、查看自动签发证书

[root@k8s-master ~]# kubectl get csr 	//查看请求证书
NAME 			AGE 		REQUESTOR 		CONDITION 
node-csr-BZ3POcwU6NyvCZ2TGzqqaD2uYR1zHbMUjmdNWhjwJgE 45s kubelet-bootstrap Pending 
node-csr-M8rbZpIYMYHtXxbFH9iBtlnQogAvwT7WfyF9V70k3zQ 48s kubelet-bootstrap Pending

[root@k8s-master ~]# kubectl certificate approve node-csr-M8rbZpIYMYHtXxbFH9iBtlnQogAvwT7WfyF9V70k3zQ
// 允许节点加入集群，替换为自己的节点名
[root@k8s-master ~]# kubectl certificate approve node-csr-BZ3POcwU6NyvCZ2TGzqqaD2uYR1zHbMUjmdNWhjwJgE

[root@k8s-master ~]# kubectl get nodes //查看节点是否添加成功 NAME 			STATUS 		ROLES 	   AGE 		VERSION 192.168.0.108   Ready 	    <none> 	   21s 	    v1.17.3 192.168.0.109   Ready       <none>     12s      v1.17.3

部署完成

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Docker

k8s

二进制部署K8s 的相关文章

在 Docker 中运行 Keycloak 时出错

我试图在 Docker 中运行 Keycloak 但它抛出一个错误这是泊坞窗文件 FROM jboss keycloak 4 1 0 Final WORKDIR opt jboss keycloak COPY realm export j
如何从 docker 容器运行 webpack 构建？

我正在制作的应用程序是用 ES6 编写的其他好东西是由 Docker 容器内的 webpack 转译的目前一切工作从创建内部目录安装依赖项到创建编译的捆绑文件当运行容器时它说 dist bundle js 不存在除非我在主机目
如何在运行 NGINX Docker 容器的 AWS EC2 上启用 HTTPS？

我在 AWS 上有一个运行 Amazon Linux 2 的 EC2 实例在上面我安装了 Git docker 和 docker compose 完成后我克隆了我的存储库并运行docker compose up让我的生产环境启动我访
列出 Docker 容器的卷

如何列出 Docker 容器的所有卷我知道它应该很容易获得但我找不到如何获得另外是否可以获取已删除容器的卷并将其删除您可以使用 docker ps 获取容器 id 并写入 docker检查container id 像这儿 Volu
Docker 构建器构建与 docker 构建

在 Docker 的文档页面上有一个条目码头工人建造者 https docs docker com engine reference commandline builder 这是父命令docker 构建器构建 https docs doc
将当前目录复制到 docker 镜像

构建 Docker 映像时我需要将同一目录中的所有文件复制到 Docker 映像中我尝试这样做 ADD HOME src RUN ls HOME src 但似乎不起作用 ls cannot access root src No such
无法在浏览器上访问 localhost:4200 上的 NodeJS 应用程序（docker run -p 4200:4200 ....）

我需要一些帮助对 docker 很陌生感觉这是我错过的一些小事我正在尝试使用 dockerfile 和 docker compose 运行 nodejs 应用程序然而我使用的是 Ubuntu 17 04 LTS 尽管状态显示为 U
Docker 日志中的 Python 异常标记为流：stdout

我想解析和处理来自 docker 容器的所有错误但当我期望 stderr 时 Python 异常标记为 stdout 举个简单的例子app py raise Exception 然后我在 docker 容器中运行这个文件但在 var l
如何在 docker 容器中仅设置 python 2.7？

我有节点应用程序在一个用例中我使用以下命令从节点调用 python 脚本python shell https www npmjs com package python shell 我正在尝试在 docker 上设置这个应用程序我的 D
如何更改“docker createvolume”命令的默认位置？

当通过卷 API 创建卷时也就是说容器卷模式现在不一定是最佳实践 docker volume inspect test data Name test data Driver local Mountpoint var lib docker
Dockerize 一个网络核心 Web api

我正在尝试对 aspnetcore webapi 进行 dockerize 我按照这里的教程进行操作 https docs docker com engine examples dotnetcore https docs docker co
Docker 容器中的 LDAP 身份验证

默认情况下当Docker容器启动时里面的用户是sudo I want 默认情况下将 sudo 用户锁定在容器中在容器中使用 LDAP 身份验证而不是默认身份验证当用户与映像一起提供时或者在容器运行时由 sudo 用户创建为此我
docker：来自守护进程的错误响应：安装被拒绝：批准/path/to/file不存在

我的泊坞窗命令 docker run it rm v pwd mutcompute ens net v3 给我以下错误 docker Error response from daemon Mounts denied approving Us
如何从主机连接到 Docker Postgres 容器

我按照以下说明搭建了一个 Rails 开发环境https docs docker com compose rails https docs docker com compose rails 它可以工作但我无法从主机连接到 Postgres
为什么 jar 执行的通配符在 docker CMD 中不起作用？

我有一个Dockerfile与以下CMD启动我的 Spring Boot 应用程序 FROM java 8 jre CMD java jar app file jar 当我尝试从创建的图像启动容器时我得到 Error Unable to
在 Flask 应用程序中设置和检索环境变量

我想使用 python3 flask 构建一个非常简单的 REST api 比如说我想设置我的SECRET KEY要求由flask作为环境变量推荐的方法是什么我知道python dotenv允许或者我应该说requires the f
使用 Nginx 在 Docker 容器内部署带有路由器的 Angular2

我正在尝试部署一个使用框架的路由器功能的 Angular 2 但在 docker 容器内使用 nginx 为其提供服务时遇到一些问题由 angular cli 构建的 Angular 应用程序具有如下文件结构 dist 08c42df75
使用 tc 限制 Docker 容器的传出网络带宽

我正在尝试对 Docker 容器进行带宽限制为了限制下行带宽我可以先找到容器的veth接口并使用tc tc qdisc add dev vethpair1 root tbf rate 1mbit latency 50ms burst 1
上下文更改后 Docker“协议不可用”

我改变了我的码头环境现在当我运行任何 docker 命令时我得到protocol not available 如果无法运行任何 docker 命令如何更改回上下文基本上我做了以下事情 I ran docker context li
Docker和--userns-remap，如何管理卷权限以在主机和容器之间共享数据？

在 Docker 中在容器内创建的文件在从主机检查它们时往往具有不可预测的所有权默认情况下卷上文件的所有者是 root uid 0 但一旦非 root 用户帐户参与容器并写入文件系统从主机的角度来看所有者或多或少会变得随机当您需

随机推荐

乘法逆元之欧几里得和扩展欧几里得

乘法逆元文章目录乘法逆元一模运算的性质二除法的模运算 1 除法模运算 2 解决除法模运算问题三乘法逆元 1 定义 2 逆元是干什么的呢四求解逆元 1 费马小定理 2 扩展欧几里得 exgcd 1 裴蜀定理 2 exgcd
C语言问题：0xC0000005: 写入位置 0xFFFFFFCC 时发生访问冲突。

最近系统地开始学习C语言在使用VS2019中用scanf s为一串字符串赋值时发生了错误错误如下 0x7837EF8C ucrtbased dll 处位于 Project2 exe 中引发的异常 0xC0000005 写入位置 0
typora+阿里云OSS+PicGO进行图床设置

typora 阿里云OSS PicGO进行图床设置文章目录 typora 阿里云OSS PicGO进行图床设置前言 crystal ball 一阿里云OSS设置 satellite 1 进入阿里云OSS官网 https www al
解决刷新tagsview首页消失问题和引入path报错问题

我的tagsview功能是用nuoyi源码如果你的代码有tagsview功能直接找这个文件如果没有这个功能可以参考nuoyi源码重点参考以下文件或者参考通俗易懂 vue实现tagsview标签导航栏切换菜单功能详细注释都能看的
原型聚类&&密度聚类&&层次聚类

1 原型聚类原型聚类算法假设聚类结构可以通过一组原型刻画通常算法先会对原型进行初始化然后对原型进行迭代更新求解不同的原型表示和不同的求解方式会产生不同的算法下面主要介绍三种典型的原型聚类算法 k 均值学习向量量化和高斯混合聚
mybatis和spring的集成方法

集成mybatis和spring 需要的步骤 1 新建maven项目 2 加入maven依赖在pom xml加依赖 1 加入spring依赖
vscode 无法远程调试 xdebug

launch json version 0 2 0 configurations name Listen for XDebug type php request launch port 9001 该端口不要和php fpm端口相同 path
Redis Streams做股票行情MQ？

redis作为内存数据库大多时候都是作为缓存来使用但是因为有pub sub的存在所以也可以做MQ来使用做为MQ 它有两个严重的问题 1 无法持久化 2 没有ack机制 redis pub sub是一个要即时消费的MQ 如果消费晚了
序列式容器

容器的概观与分类常用的数据结构不外乎array 数组 list 链表 tree 树 stack 堆栈 queue 队列 hash table 散列表 set 集合 map 映射等等根据数据再容器中的排列特性这些数据结构分为序列式
华为云云耀云服务器L实例评测

大家好我是雄雄欢迎关注微信公众号雄雄的小课堂目录前言效果图购买云耀云服务器L实例重置密码放开端口远程连接安装云监控面板进入监控面板前言有幸参与了华为云云耀云服务器L实例的评测名额借着评测顺便教给大家一项技能
多视图聚类(multi-view clustering)简介

多视图聚类目前大概有以下几种多视图k means聚类多视图谱聚类多视图图聚类多视图子空间聚类 multi view subspace clustering 深度学习多视图聚类 deep multi view clustering
Vector迭代器实现

实现数组的迭代器实现内容 1 使用C 语言实现一个长度可扩充的数组结构要求使用class实现不能直接使用vector等现成的数据结构 2 要求实现为可以用于不同数据类型的数组结构并不是说同一个对象需要存储多种类型的数据建议使用te
【满分】【华为OD机试真题2023 JAVA&JS】租车骑绿道

华为OD机试真题 2023年度机试题库全覆盖刷题指南点这里租车骑绿道时间限制 1s 空间限制 256MB 限定语言不限题目描述部门组织绿道骑行团建活动租用公共双人自行车骑行每辆自行车最多坐两人做大载重M 给出部门每个人的体
毕业设计单片机与OpenMV机器视觉目标跟踪系统

文章目录 0 前言课题简介设计框架 3 openMV实现舵机定位色块STM32 3 硬件设计 4 软件设计 4 1 硬件连接 4 2 软件代码 OpenMV端 4 3 软件代码 STM32端 4 4 利用PC端测试数据数据是否发送接收正
《银行法律法规》一、经济金融基础知识——3、金融市场

第三章金融市场第一节金融市场概述考点1 金融市场功能概念金融市场是指货币资金融通和金融工具交易的场所金融市场的融资行为既包括以银行等金融机构为信用媒介的间接融资行为也包括各类交易主体之间的直接融资行为主体是各类融资活动的
运维企业实战Shell脚本合集+万能工具箱

文章目录系统维护篇服务器日常巡检脚本下线登录用户企业级Linux日常自动抓取服务器巡检登录执行命令记录备份脚本终端对话广播消息批量查询IP归属地手机号归属地信息 Linux开机后自动执行命令或脚本一键自动格式化输出S
Anaconda中安装指定版本的tensorflow1.14.0/tensorflow-gpu1.14.0

在运行github中一个项目时由于其使用的tensorflow的版本是1 14 0 而我的版本是2 6 0的版本因为版本过高导致运行失败所以需要安装tensorflow1 14 0 首先在anaconda的命令行中输入如下命令 pip
【Qt】【CMake】【CMakeLists.txt】-PROJECT_NAME 和 CMAKE_PROJECT_NAME 的区别

Qt CMake CMakeLists txt PROJECT NAME 和 CMAKE PROJECT NAME 的区别原帖 https stackoverflow com questions 38938315 difference b
2000+Docker镜像，Kolla是如何管理的

根据 DockerHub 上的数据整个 Kolla 项目管理的镜像有 2000 多个这么多的镜像是怎么定义又是如何构建的呢简介我们一直在说的 Kolla 通常情况下泛指包括了 Kolla 和 Kolla Ansible 两个
二进制部署K8s

一环境需求节点IP 节点名称所需组件 192 168 248 11 k8s master docker etcd apiserver controller manager scheduler kube proxy flannel 19

二进制部署K8s

一、环境需求

二、部署环境

三、配置ETCD集群

四、部署flannel网络

五、部署Kubernetes server

六、Node节点部署

七、查看自动签发证书

部署完成

二进制部署K8s 的相关文章

随机推荐

热门标签