MySQL8.0 集群安装 (K8S)

2023-05-16

尝试了很多版本的mysql镜像,都存在这样那样的的问题。原始需求中,需要同时支持x86_64(AMD64)和aarch64(ARM64V8),最后找到Oracle官方出品的MySQL-Server 8.0镜像包,作为基础镜像包,并在其基础上做一些定制。当然还存在一些问题,比如my.cnf通过configmap定制等等,后续慢慢优化补充。

1. 构建镜像

1.1 重写 my.cnf

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
secure-file-priv=/var/lib/mysql-files
user=mysql
pid-file=/var/run/mysqld/mysqld.pid
gtid_mode=ON
enforce_gtid_consistency=ON
skip-host-cache
skip-name-resolve
authentication_policy=mysql_native_password
binlog_cache_size=1M
binlog_format=row
binlog_expire_logs_seconds=2592000
replica_skip_errors=1062

!includedir /etc/my.cnf.d/

1.2 重写 entrypoint.sh

为避免覆盖原始启动文件,将其复制一份,命名为docker-entrypoint.sh

#!/bin/bash
# Copyright (c) 2017, 2021, Oracle and/or its affiliates.
#
# This program is free software; you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation; version 2 of the License.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program; if not, write to the Free Software
# Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
set -e

echo "[Entrypoint] MySQL Docker Image 8.0.28-1.2.7-server"
# Fetch value from server config
# We use mysqld --verbose --help instead of my_print_defaults because the
# latter only show values present in config files, and not server defaults
_get_config() {
    local conf="$1"; shift
    "$@" --verbose --help 2>/dev/null | grep "^$conf" | awk '$1 == "'"$conf"'" { print $2; exit }'
}

# Generate a random password
_mkpw() {
    letter=$(cat /dev/urandom| tr -dc a-zA-Z | dd bs=1 count=16 2> /dev/null )
    number=$(cat /dev/urandom| tr -dc 0-9 | dd bs=1 count=8 2> /dev/null)
    special=$(cat /dev/urandom| tr -dc '=+@#%^&*_.,;:?/' | dd bs=1 count=8 2> /dev/null)

    echo $letter$number$special | fold -w 1 | shuf | tr -d '\n'
}

# If command starts with an option, prepend mysqld
# This allows users to add command-line options without
# needing to specify the "mysqld" command
if [ "${1:0:1}" = '-' ]; then
    set -- mysqld "$@"
fi

# Check if entrypoint (and the container) is running as root
if [ $(id -u) = "0" ]; then
    is_root=1
    install_devnull="install /dev/null -m0600 -omysql -gmysql"
    MYSQLD_USER=mysql
else
    install_devnull="install /dev/null -m0600"
    MYSQLD_USER=$(id -u)
fi

if [ "$1" = 'mysqld' ]; then
    # Test that the server can start. We redirect stdout to /dev/null so
    # only the error messages are left.
    result=0
    output=$("$@" --validate-config) || result=$?
    if [ ! "$result" = "0" ]; then
        echo >&2 '[Entrypoint] ERROR: Unable to start MySQL. Please check your configuration.'
        echo >&2 "[Entrypoint] $output"
        exit 1
    fi

    # Get config
    DATADIR="$(_get_config 'datadir' "$@")"
    SOCKET="$(_get_config 'socket' "$@")"

    if [ ! -d "$DATADIR/mysql" ]; then
        # If the password variable is a filename we use the contents of the file. We
        # read this first to make sure that a proper error is generated for empty files.
        if [ -f "$MYSQL_ROOT_PASSWORD" ]; then
            MYSQL_ROOT_PASSWORD="$(cat $MYSQL_ROOT_PASSWORD)"
            if [ -z "$MYSQL_ROOT_PASSWORD" ]; then
                echo >&2 '[Entrypoint] Empty MYSQL_ROOT_PASSWORD file specified.'
                exit 1
            fi
        fi
        if [ -z "$MYSQL_ROOT_PASSWORD" -a -z "$MYSQL_ALLOW_EMPTY_PASSWORD" -a -z "$MYSQL_RANDOM_ROOT_PASSWORD" ]; then
            echo >&2 '[Entrypoint] No password option specified for new database.'
            echo >&2 '[Entrypoint] A random onetime password will be generated.'
            MYSQL_RANDOM_ROOT_PASSWORD=true
            MYSQL_ONETIME_PASSWORD=true
        fi
        if [ ! -d "$DATADIR" ]; then
            mkdir -p "$DATADIR"
            chown mysql:mysql "$DATADIR"
        fi

        #### [BEGIN] mysql-cluster ############################################################################
        set -x
        if [ ! -z "$MYSQL_REPL_USER" ]; then
            if [[ ! $HOSTNAME  =~ -([0-9]+)$ ]]; then
                echo >&2 "[Entrypoint] Invalid mysql cluster hostname [$HOSTNAME]"
                exit 1
            fi

            ordinal=${HOSTNAME: -1}

            # it's a slave node, the master node host is required
            if [ "$ordinal" != "0" -a -z "$MYSQL_MASTER_HOST" ]; then
                echo >&2 "[Entrypoint] No master node host option specified for a slave node: MYSQL_MASTER_HOST"
                exit 1
            fi

            SERVER_ID=$((100 + $ordinal))

            if [ "$ordinal" = "0" ]; then
                cat > /etc/my.cnf.d/server-id.cnf <<EOF
[mysqld]
server-id=$SERVER_ID
EOF
            else
                cat > /etc/my.cnf.d/server-id.cnf <<EOF
[mysqld]
server-id=$SERVER_ID
relay-log=${HOSTNAME}-relay-bin
log_replica_updates=ON
read_only=ON
EOF
            fi
        fi
        set +x
        #### [END] mysql-cluster ##############################################################################

        # The user can set a default_timezone either in a my.cnf file
        # they mount into the container or on command line
        # (`docker run mysql/mysql-server:8.0 --default-time-zone=Europe/Berlin`)
        # however the timezone tables will only be populated in a later
        # stage of this script. By using +00:00 as timezone we override
        # the user's choice during initialization. Later the server
        # will be restarted using the user's option.

        echo '[Entrypoint] Initializing database'
        "$@" --user=$MYSQLD_USER --initialize-insecure  --default-time-zone=+00:00

        echo '[Entrypoint] Database initialized'
        "$@" --user=$MYSQLD_USER --daemonize --skip-networking --socket="$SOCKET" --default-time-zone=+00:00

        # To avoid using password on commandline, put it in a temporary file.
        # The file is only populated when and if the root password is set.
        PASSFILE=$(mktemp -u /var/lib/mysql-files/XXXXXXXXXX)
        $install_devnull "$PASSFILE"
        # Define the client command used throughout the script
        # "SET @@SESSION.SQL_LOG_BIN=0;" is required for products like group replication to work properly
        mysql=( mysql --defaults-extra-file="$PASSFILE" --protocol=socket -uroot -hlocalhost --socket="$SOCKET" --init-command="SET @@SESSION.SQL_LOG_BIN=0;")

        for i in {30..0}; do
            if mysqladmin --socket="$SOCKET" ping &>/dev/null; then
                break
            fi
            echo '[Entrypoint] Waiting for server...'
            sleep 1
        done
        if [ "$i" = 0 ]; then
            echo >&2 '[Entrypoint] Timeout during MySQL init.'
            exit 1
        fi

        mysql_tzinfo_to_sql /usr/share/zoneinfo | "${mysql[@]}" mysql

        if [ ! -z "$MYSQL_RANDOM_ROOT_PASSWORD" ]; then
            MYSQL_ROOT_PASSWORD="$(_mkpw)"
            echo "[Entrypoint] GENERATED ROOT PASSWORD: $MYSQL_ROOT_PASSWORD"
        fi
        if [ -z "$MYSQL_ROOT_HOST" ]; then
            ROOTCREATE="ALTER USER 'root'@'localhost' IDENTIFIED BY '${MYSQL_ROOT_PASSWORD}';"
        else
            ROOTCREATE="ALTER USER 'root'@'localhost' IDENTIFIED BY '${MYSQL_ROOT_PASSWORD}'; \
CREATE USER 'root'@'${MYSQL_ROOT_HOST}' IDENTIFIED BY '${MYSQL_ROOT_PASSWORD}'; \
GRANT ALL ON *.* TO 'root'@'${MYSQL_ROOT_HOST}' WITH GRANT OPTION ; \
GRANT PROXY ON ''@'' TO 'root'@'${MYSQL_ROOT_HOST}' WITH GRANT OPTION ;"
        fi
        "${mysql[@]}" <<-EOSQL
DELETE FROM mysql.user WHERE user NOT IN ('mysql.infoschema', 'mysql.session', 'mysql.sys', 'root') OR host NOT IN ('localhost');
CREATE USER 'healthchecker'@'localhost' IDENTIFIED BY 'healthcheckpass';
${ROOTCREATE}
FLUSH PRIVILEGES ;
EOSQL
        if [ ! -z "$MYSQL_ROOT_PASSWORD" ]; then
            # Put the password into the temporary config file
            cat >"$PASSFILE" <<EOF
[client]
password="${MYSQL_ROOT_PASSWORD}"
EOF
            #mysql+=( -p"${MYSQL_ROOT_PASSWORD}" )
        fi

        if [ "$MYSQL_DATABASE" ]; then
            echo "CREATE DATABASE IF NOT EXISTS \`$MYSQL_DATABASE\` ;" | "${mysql[@]}"
            mysql+=( "$MYSQL_DATABASE" )
        fi

        if [ "$MYSQL_USER" -a "$MYSQL_PASSWORD" ]; then
            echo "CREATE USER '"$MYSQL_USER"'@'%' IDENTIFIED BY '"$MYSQL_PASSWORD"' ;" | "${mysql[@]}"

            if [ "$MYSQL_DATABASE" ]; then
                echo "GRANT ALL ON \`"$MYSQL_DATABASE"\`.* TO '"$MYSQL_USER"'@'%' ;" | "${mysql[@]}"
            fi

        elif [ "$MYSQL_USER" -a ! "$MYSQL_PASSWORD" -o ! "$MYSQL_USER" -a "$MYSQL_PASSWORD" ]; then
            echo '[Entrypoint] Not creating mysql user. MYSQL_USER and MYSQL_PASSWORD must be specified to create a mysql user.'
        fi
        echo
        for f in /docker-entrypoint-initdb.d/*; do
            case "$f" in
                *.sh)  echo "[Entrypoint] running $f"; . "$f" ;;
                *.sql) echo "[Entrypoint] running $f"; "${mysql[@]}" < "$f" && echo ;;
                *)     echo "[Entrypoint] ignoring $f" ;;
            esac
            echo
        done

        #### [BEGIN] mysql-cluster ############################################################################
        set -x
        if [ ! -z "$MYSQL_REPL_USER" ]; then
            NODE_ID=${HOSTNAME: -1}
            if [ "${NODE_ID}" = "0" ]; then
                "${mysql[@]}" <<-EOSQL
CREATE USER '$MYSQL_REPL_USER'@'%' IDENTIFIED WITH mysql_native_password BY '$MYSQL_REPL_PASS' ;
GRANT REPLICATION SLAVE ON *.* TO '$MYSQL_REPL_USER'@'%' ;
EOSQL
            else
                "${mysql[@]}" <<-EOSQL
CHANGE REPLICATION SOURCE TO SOURCE_HOST='${MYSQL_MASTER_HOST}',SOURCE_PORT=3306,SOURCE_USER='$MYSQL_REPL_USER',SOURCE_PASSWORD='$MYSQL_REPL_PASS',SOURCE_AUTO_POSITION=1 ;
START REPLICA ;
EOSQL
            fi
        fi
        set +x
        #### [END] mysql-cluster ##############################################################################

        # When using a local socket, mysqladmin shutdown will only complete when the server is actually down
        mysqladmin --defaults-extra-file="$PASSFILE" shutdown -uroot --socket="$SOCKET"
        rm -f "$PASSFILE"
        unset PASSFILE
        echo "[Entrypoint] Server shut down"

        # This needs to be done outside the normal init, since mysqladmin shutdown will not work after
        if [ ! -z "$MYSQL_ONETIME_PASSWORD" ]; then
            echo "[Entrypoint] Setting root user as expired. Password will need to be changed before database can be used."
            SQL=$(mktemp -u /var/lib/mysql-files/XXXXXXXXXX)
            $install_devnull "$SQL"
            if [ ! -z "$MYSQL_ROOT_HOST" ]; then
                cat << EOF > "$SQL"
ALTER USER 'root'@'${MYSQL_ROOT_HOST}' PASSWORD EXPIRE;
ALTER USER 'root'@'localhost' PASSWORD EXPIRE;
EOF
            else
                cat << EOF > "$SQL"
ALTER USER 'root'@'localhost' PASSWORD EXPIRE;
EOF
            fi
            set -- "$@" --init-file="$SQL"
            unset SQL
        fi

        echo
        echo '[Entrypoint] MySQL init process done. Ready for start up.'
        echo
    fi

    # Used by healthcheck to make sure it doesn't mistakenly report container
    # healthy during startup
    # Put the password into the temporary config file
    touch /var/lib/mysql-files/healthcheck.cnf
    cat >"/var/lib/mysql-files/healthcheck.cnf" <<EOF
[client]
user=healthchecker
socket=${SOCKET}
password=healthcheckpass
EOF
    touch /var/lib/mysql-files/mysql-init-complete

    if [ -n "$MYSQL_INITIALIZE_ONLY" ]; then
        echo "[Entrypoint] MYSQL_INITIALIZE_ONLY is set, exiting without starting MySQL..."
        exit 0
    else
        echo "[Entrypoint] Starting MySQL 8.0.28-1.2.7-server"
    fi
    # 4th value of /proc/$pid/stat is the ppid, same as getppid()
    export MYSQLD_PARENT_PID=$(cat /proc/$$/stat|cut -d\  -f4)
    exec "$@" --user=$MYSQLD_USER
else
    exec "$@"
fi

1.3 Dockerfile

FROM mysql/mysql-server:8.0.28

COPY my.cnf /etc/
COPY docker-entrypoint.sh /

RUN chmod +x /docker-entrypoint.sh

WORKDIR /
CMD ["mysqld"]
ENTRYPOINT [ "/docker-entrypoint.sh" ]

1.4 编译镜像

docker build -t elihe/mysql-server:8.0.28 .

2. 集群安装

2.1 创建 namespace

$ mkdir ~/mysql && cd $_

$ cat > mysql-namespace.yml <<EOF
apiVersion: v1
kind: Namespace
metadata:
  name: mysql-cluster
  labels:
    name: mysql-cluster
EOF

$ kubectl apply -f mysql-namespace.yml

2.2 创建 Secret

$ cat > mysql-secret.yml <<EOF
apiVersion: v1
kind: Secret
metadata:
  name: mysql-secret
  namespace: mysql-cluster
  labels:
    app: mysql
type: Opaque
data:
  password: MTIzNDU2 # echo -n '123456' | base64
  repl-user: cmVwbA== # echo -n 'repl' | base64
  repl-pass: MTIzNDU2
EOF

$ kubectl apply -f mysql-secret.yml

2.3 创建 PV

暂时没有 Ceph 资源,先使用本地磁盘测试

# 1. 所有节点上,挂载相应的存储盘或路径
$ mkdir -p /data/mysql

# 2. 创建PV
$ cat > mysql-pv.yml <<EOF
apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-pv
  namespace: mysql-cluster
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: mysql-storage
  local:
    path: /data/mysql
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - k8s-master
          - k8s-node01
          - k8s-node02
EOF

$ kubectl apply -f mysql-pv.yml

2.4 创建 PVC

$ cat > mysql-pvc.yml <<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
  namespace: mysql-cluster
spec:
  storageClassName: mysql-storage
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi
EOF

$ kubectl apply -f mysql-pvc.yml

2.5 创建 Service (无头服务)

$ cat > mysql-headless-svc.yml <<EOF
apiVersion: v1
kind: Service
metadata:
  name: mysql
  namespace: mysql-cluster
  labels:
    app: mysql
spec:
  ports:
  - name: mysql
    port: 3306
  clusterIP: None
  selector:
    app: mysql
EOF

$ kubectl apply -f mysql-headless-svc.yml

2.6 创建 StatefulSet

$ vi mysql-statefulset.yml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql
  namespace: mysql-cluster
spec:
  selector:
    matchLabels:
      app: mysql
  serviceName: mysql
  replicas: 3
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - name: mysql
        image: elihe/mysql-server:8.0.28
        env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mysql-secret
              key: password
        - name: MYSQL_REPL_USER
          valueFrom:
            secretKeyRef:
              name: mysql-secret
              key: repl-user
        - name: MYSQL_REPL_PASS
          valueFrom:
            secretKeyRef:
              name: mysql-secret
              key: repl-pass
        - name: SERVICE_NAME
          value: "mysql"
        - name: STS_NAME
          value: "mysql"
        - name: STS_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: MYSQL_MASTER_HOST
          value: "$(STS_NAME)-0.$(SERVICE_NAME).$(STS_NAMESPACE)"
        ports:
        - name: mysql
          containerPort: 3306
        volumeMounts:
        - name: data
          mountPath: /var/lib/mysql
          subPath: mysql
        resources:
          requests:
            cpu: 500m
            memory: 1Gi
          limits:
            cpu: 500m
            memory: 1Gi
        livenessProbe:
          exec:
            command:
            - /bin/sh
            - "-c"
            - MYSQL_PWD="${MYSQL_ROOT_PASSWORD}"
            - mysqladmin ping
          initialDelaySeconds: 30
          periodSeconds: 10
          timeoutSeconds: 5
        readinessProbe:
          exec:
            command:
            - /bin/sh
            - "-c"
            - MYSQL_PWD="${MYSQL_ROOT_PASSWORD}"
            - mysql -h 127.0.0.1 -u root -e "SELECT 1"
          initialDelaySeconds: 60
          periodSeconds: 5
          timeoutSeconds: 2
      volumes:
      - name: conf
        emptyDir: {}
      - name: data
        persistentVolumeClaim:
          claimName: mysql-pvc
      tolerations:
      - key: "node-role.kubernetes.io/master"
        operator: "Exists"
        effect: "NoSchedule"
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - mysql
              topologyKey: kubernetes.io/hostname
              
              
$ kubectl apply -f mysql-statefulset.yml

2.7 创建 Service (外部访问)

$ cat > mysql-service.yml <<EOF
apiVersion: v1
kind: Service
metadata:
  name: mysql-read
  namespace: mysql-cluster
  labels:
    app: mysql
spec:
  type: NodePort
  selector:
    app: mysql
  ports:
  - protocol: TCP
    port: 3306
    targetPort: 3306
    nodePort: 33306
EOF

$ kubectl apply -f mysql-service.yml 

3. 验证结果

3.1 主节点写

$ kubectl exec -it mysql-0 -n mysql-cluster -- /bin/bash
bash-4.4# mysql -uroot -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 12
Server version: 8.0.28 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database testdb;
Query OK, 1 row affected (0.11 sec)

mysql> use testdb;
Database changed
mysql> create table emp(id int, name varchar(20));
Query OK, 0 rows affected (0.39 sec)

mysql> insert into emp values(1, 'eli');
Query OK, 1 row affected (0.06 sec)

3.2 从节点读

$ kubectl exec -it mysql-2 -n mysql-cluster -- /bin/bash
bash-4.4# mysql -uroot -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 14
Server version: 8.0.28 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| testdb             |
+--------------------+
5 rows in set (0.01 sec)

mysql> use testdb;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+------------------+
| Tables_in_testdb |
+------------------+
| emp              |
+------------------+
1 row in set (0.00 sec)

mysql> select * from emp;
+------+------+
| id   | name |
+------+------+
|    1 | eli  |
+------+------+
1 row in set (0.00 sec)

4. 补充:主从复制

4.1 基于二进制日志文件

步骤一:主库配置my.cnf

###主从数据库配置核心部分
[mysqld]
# 设置同步的binary log二进制日志文件名前缀,默认为binlog;在MySQL 8.0中,无论是否指定--log bin选项,默认情况下都会启用二进制日志记录,并将log_bin系统变量设置为ON。
log-bin=mysql-bin
# 服务器唯一id,默认为1,值范围为1~2^32−1. ;主数据库和从数据库的server-id不能重复
server-id=1          

###可选配置
# 需要主从复制的数据库,如多个则重复配置
binlog-do-db=test
# 复制过滤:也就是指定哪个数据库不用同步(mysql库一般不同步),如多个则重复配置
binlog-ignore-db=mysql
# 为每个session分配的内存,在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M
# 主从复制的格式(mixed,statement,row,默认格式是statement。建议是设置为row,主从复制时数据更加能够统一)
binlog_format=row
# 配置二进制日志自动删除/过期时间,单位秒,默认值为2592000,即30天;8.0.3版本之前使用expire_logs_days,单位天数,默认值为0,表示不自动删除。
binlog_expire_logs_seconds=2592000
# 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断,默认OFF关闭,可选值有OFF、all、ddl_exist_errors以及错误码列表。8.0.26版本之前使用slave_skip_errors
# 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
replica_skip_errors=1062

步骤二:主库配置同步用户

CREATE USER 'repl'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
FLUSH PRIVILEGES

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VynUVxGI-1644922298984)(https://cdn.jsdelivr.net/gh/elihe2011/bedgraph@master/mysql/cluster-binlog-master.png)]

步骤三:从库配置my.cnf

###主从数据库配置核心部分
[mysqld]
# 设置同步的binary log二进制日志文件名前缀,默认是binlog
log-bin=mysql-bin
# 服务器唯一id,默认为1,值范围为1~2^32−1. ;主数据库和从数据库的server-id不能重复
server-id=2

###可选配置
# 需要主从复制的数据库 ,如多个则重复配置
replicate-do-db=test
# 复制过滤:也就是指定哪个数据库不用同步(mysql库一般不同步) ,如多个则重复配置
binlog-ignore-db=mysql
# 为每个session分配的内存,在事务过程中用来存储二进制日志的缓存 
binlog_cache_size=1M
# 主从复制的格式(mixed,statement,row,默认格式是statement。建议是设置为row,主从复制时数据更加能够统一) 
binlog_format=row
# 配置二进制日志自动删除/过期时间,单位秒,默认值为2592000,即30天;8.0.3版本之前使用expire_logs_days,单位天数,默认值为0,表示不自动删除。
binlog_expire_logs_seconds=2592000
# 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断,默认OFF关闭,可选值有OFF、all、ddl_exist_errors以及错误码列表。8.0.26版本之前使用slave_skip_errors
# 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
replica_skip_errors=1062
# relay_log配置中继日志,默认采用 主机名-relay-bin 的方式保存日志文件 
relay_log=replicas-mysql-relay-bin  
# log_replica_updates表示slave是否将复制事件写进自己的二进制日志,默认值ON开启;8.0.26版本之前使用log_slave_updates
log_replica_updates=ON
# 防止改变数据(只读操作,除了特殊的线程)
read_only=ON

步骤四:从库开启同步

# 8.0.22-
CHANGE MASTER TO MASTER_HOST='192.168.34.120',MASTER_PORT=3306,MASTER_USER='repl',MASTER_PASSWORD='123456',MASTER_LOG_FILE='mysql-bin.000007',MASTER_LOG_POS=825;
START SLAVE;
SHOW SLAVE STATUS;
STOP SLAVE;
RESTART SLAVE;

# 8.0.23+
CHANGE REPLICATION SOURCE TO SOURCE_HOST='192.168.34.120',SOURCE_PORT=3306,SOURCE_USER='repl',SOURCE_PASSWORD='123456',SOURCE_LOG_FILE='mysql-bin.000007',SOURCE_LOG_POS=825;
START REPLICA;
SHOW REPLICA STATUS;
STOP REPLICA;
RESTART REPLICA;

Slave_IO_Running/Replica_IO_RunningSlave_SQL_Running/Replica_SQL_Running 为 Yes ,以及Slave_IO_State/Replica_IO_State 为 Waiting for master to send event/Waiting for source to send event,说明主从复制成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AMMMMAWu-1644922298987)(https://cdn.jsdelivr.net/gh/elihe2011/bedgraph@master/mysql/cluster-binlog-slave.png)]

4.2 基于全局事务标识符(GTID)

步骤一:主库配置my.cnf

###主从数据库配置核心部分
[mysqld]
# 设置同步的binary log二进制日志文件名前缀,默认为binlog
log-bin=mysql-bin
# 服务器唯一id,默认为1,值范围为1~2^32−1. ;主数据库和从数据库的server-id不能重复
server-id=1     
     
#开启 GTID
gtid_mode=ON
enforce_gtid_consistency=ON

###可选配置
# 需要主从复制的数据库,如多个则重复配置
binlog-do-db=test
# 复制过滤:也就是指定哪个数据库不用同步(mysql库一般不同步),如多个则重复配置
binlog-ignore-db=mysql
# 为每个session分配的内存,在事务过程中用来存储二进制日志的缓存
binlog_cache_size=1M
# 主从复制的格式(mixed,statement,row,默认格式是statement。建议是设置为row,主从复制时数据更加能够统一)
binlog_format=row
# 配置二进制日志自动删除/过期时间,单位秒,默认值为2592000,即30天;8.0.3版本之前使用expire_logs_days,单位天数,默认值为0,表示不自动删除。
binlog_expire_logs_seconds=2592000
# 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断,默认OFF关闭,可选值有OFF、all、ddl_exist_errors以及错误码列表。8.0.26版本之前使用slave_skip_errors
# 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
replica_skip_errors=1062

步骤二:主库配置同步用户

CREATE USER 'repl'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
FLUSH PRIVILEGES

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QB3ptZfg-1644922298988)(https://cdn.jsdelivr.net/gh/elihe2011/bedgraph@master/mysql/cluster-gtid-master.png)]

步骤三:从库配置my.cnf

###主从数据库配置核心部分
[mysqld]
# 设置同步的binary log二进制日志文件名前缀,默认是binlog
log-bin=mysql-bin
# 服务器唯一id,默认为1,值范围为1~2^32−1. ;主数据库和从数据库的server-id不能重复
server-id=2

#开启 GTID
gtid_mode=ON
enforce_gtid_consistency=ON

###可选配置
# 需要主从复制的数据库 ,如多个则重复配置
replicate-do-db=test
# 复制过滤:也就是指定哪个数据库不用同步(mysql库一般不同步) ,如多个则重复配置
binlog-ignore-db=mysql
# 为每个session分配的内存,在事务过程中用来存储二进制日志的缓存 
binlog_cache_size=1M
# 主从复制的格式(mixed,statement,row,默认格式是statement。建议是设置为row,主从复制时数据更加能够统一) 
binlog_format=row
# 配置二进制日志自动删除/过期时间,单位秒,默认值为2592000,即30天;8.0.3版本之前使用expire_logs_days,单位天数,默认值为0,表示不自动删除。
binlog_expire_logs_seconds=2592000
# 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断,默认OFF关闭,可选值有OFF、all、ddl_exist_errors以及错误码列表。8.0.26版本之前使用slave_skip_errors
# 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致
replica_skip_errors=1062
# relay_log配置中继日志,默认采用 主机名-relay-bin 的方式保存日志文件 
relay_log=replicas-mysql-relay-bin
# log_replica_updates表示slave是否将复制事件写进自己的二进制日志,默认值ON开启;8.0.26版本之前使用log_slave_updates
log_replica_updates=ON
# 防止改变数据(只读操作,除了特殊的线程)
read_only=ON

步骤四:从库开启同步

# 8.0.22-
CHANGE MASTER TO MASTER_HOST='192.168.34.120',MASTER_PORT=3306,MASTER_USER='repl',MASTER_PASSWORD='123456',MASTER_LOG_FILE='mysql-bin.000007',MASTER_LOG_POS=825;
START SLAVE;
SHOW SLAVE STATUS;
STOP SLAVE;
RESTART SLAVE;

# 8.0.23+
CHANGE REPLICATION SOURCE TO SOURCE_HOST='192.168.34.120',SOURCE_PORT=3306,SOURCE_USER='repl',SOURCE_PASSWORD='123456',SOURCE_LOG_FILE='mysql-bin.000007',SOURCE_LOG_POS=825;
START REPLICA;
SHOW REPLICA STATUS;
STOP REPLICA;
RESTART REPLICA;

Slave_IO_Running/Replica_IO_RunningSlave_SQL_Running/Replica_SQL_Running 为 Yes ,以及Slave_IO_State/Replica_IO_State 为 Waiting for master to send event/Waiting for source to send event,说明主从复制成功

img

5. 补充:集群安装(docker)

docker run --name master -h mysql-0 -e MYSQL_ROOT_PASSWORD=123456 -e MYSQL_REPL_USER=repl -e MYSQL_REPL_PASS=123456 -v ~/mysql-cluster/master.cnf:/etc/my.cnf.d/mysqld.cnf -d elihe/mysql-server:8.0.28

docker run --name slave1 -h mysql-1 -e MYSQL_ROOT_PASSWORD=123456 -e MYSQL_REPL_USER=repl -e MYSQL_REPL_PASS=123456 -e MYSQL_MASTER_HOST=172.17.0.2 -v ~/mysql-cluster/slave1.cnf:/etc/my.cnf.d/mysqld.cnf -d elihe/mysql-server:8.0.28

docker run --name slave2 -h mysql-2 -e MYSQL_ROOT_PASSWORD=123456 -e MYSQL_REPL_USER=repl -e MYSQL_REPL_PASS=123456 -e MYSQL_MASTER_HOST=172.17.0.2 -v ~/mysql-cluster/slave2.cnf:/etc/my.cnf.d/mysqld.cnf -d elihe/mysql-server:8.0.28
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

MySQL8.0 集群安装 (K8S) 的相关文章

  • [云原生专题-22]:K8S - 集群编排工具K8S与SWARM比较与技术选择

    作者主页 文火冰糖的硅基工坊 文火冰糖 王文兵 的博客 文火冰糖的硅基工坊 CSDN博客 本文网址 https blog csdn net HiWangWenBing article details 122750196 目录 前言 第1章
  • K8s中的Deployment

    Deployment是kubernetes在1 2版本中引入的新概念 用于更好的解决Pod的编排问题 为此 Deployment在内部使用了ReplicaSet来实现目的 我们可以把Deployment理解为ReplicaSet的一次升 级
  • Minikube安装以及一些踩坑的解决

    安装k8s和docker 我的测试系统是centos7 8的国内服务器 参考文档 https developer aliyun com article 221687 首先先安装k8s 1 19 2版本 1 19 x 版本的安装 腾讯云 do
  • Kubernetes Pod 故障归类与排查方法

    1 Pod 概念 Pod是kubernetes集群中最小的部署和管理的基本单元 协同寻址 协同调度 Pod是一个或多个容器的集合 是一个或一组服务 进程 的抽象集合 Pod中可以共享网络和存储 可以简单理解为一个逻辑上的虚拟机 但并不是虚拟
  • K8s基础10——数据卷、PV和PVC、StorageClass动态补给、StatefulSet控制器

    文章目录 一 数据卷类型 1 1 临时数据卷 节点挂载 1 2 节点数据卷 节点挂载 1 3 网络数据卷NFS 1 3 1 效果测试 1 4 持久数据卷 PVC PV 1 4 1 效果测试 1 4 2 测试结论 二 PV PVC生命周期 2
  • DHorse系列文章之操作手册

    在介绍DHorse的操作之前 我们先来看一下发布一个系统的流程是什么样的 发布系统的流程 我们以一个Springboot系统为例 来说明一下发布流程 1 首先从代码仓库下载代码 比如Gitlab 2 接着是进行打包 比如使用Maven 3
  • CNI Plugin 介绍

    CNI 插件包括两种类型 CNI Plugin 和 IPAM IP Address Management Plugin CNI Plugin 负责为容器配置网络资源 IPAM Plugin 负责对容器的 IP 地址进行分配和管理 IPAM
  • k8s Trouble Shooting 故障排除

    本文要讲的是k8s的故障排除 比较浅 最近刚入门 主要涵盖的内容是查看k8s对象的当前运行时信息 对于服务 容器的问题是如何诊断的 对于某些复杂的问题例如pod调度问题是如何排查的 1 查看系统的Event事件 在对象资源 pod serv
  • minikube单机安装nfs服务

    1 安装 nfs server sudo apt get update sudo apt get install y nfs kernel server 2 创建目录 配置 IP 共享目录绑定 vim etc exports 新增 data
  • kubernetes08(kubernetes的资源对象)

    文章目录 kubernetes08 kubernetes的资源对象 一 引子 二 kubernetes资源 一 kubernetes的资源对象作用 二 kubernetes的资源对象分类 三 kubernetes资源清单 一 kubenet
  • 初学容器:Docker

    1 环境初始化 1 1 安装git vim curl等常用工具 sudo apt update sudo apt install y git vim curl jq 1 2 ubuntu是不支持远程连接的 需要安装ssh服务 sudo ap
  • k8s部署之ETCD集群

    k8s部署之ETCD集群 1 etcd下载 etcd下载地址 https github com coreos etcd releases 从github etcd的发布页面选取相应的版本用 wget url 来下载 如 wget https
  • k8s中Endpoint是什么

    在Kubernetes K8s 中 Endpoint是一种资源对象 用于表示一个Service所依赖的真实后端节点的Pod信息 它存储了一组IP地址和端口号的列表 这些IP地址和端口号对应着提供相同服务的Pod实例 主要作用 Endpoin
  • k8s之nginx-ingress做tcp或udp的4层网络负载

    检查nginx ingress是否开启tcp udp转发 test test02 ingress kubectl get pod n ingress nginx o yaml grep i configmap configmap POD N
  • Rancher 图形化管理K8S

    题外话 之前我们一直都是使用命令行来管理K8S的 这种做法虽然对程序员来说看起来很炫酷 但有时候用起来还是挺麻烦的 今天我们来介绍一个K8S可视化管理工具Rancher 使用它可以大大减少我们管理K8S的工作量 希望对大家有所帮助 简介 R
  • kubectl常用命令

    alias k kubectl alias kc k create f alias kgp k get pods alias kdp k describe pods alias kdep k delete pods alias kl k l
  • k8s-node节点未找到flannel网络

    k8s node节点的flannel的IP地址不正确 问题描述 问题分析 1 检查node节点的cni和flannel网卡地址 2 检查master节点的flannel服务 如何重置flannel网络 1 删除node节点 master 2
  • K8S暴露端口-dubbo应用远程Debug

    1 Dockerfile增加环境变量 ENV JAVA OPTS Xdebug Xrunjdwp transport dt socket address 9901 server y suspend n 2 暴露端口 template ser
  • kubernetes报错Error from server (AlreadyExists): error when creating "kubernetes-dashboard.yaml": serv

    在执行 kubectl apply f kubernetes dashboard yaml 报错 Error from server AlreadyExists error when creating kubernetes dashboar
  • DHorse v1.3.2 发布,基于 k8s 的发布平台

    版本说明 新增特性 构建版本 部署应用时的线程池可配置化 优化特性 构建版本跳过单元测试 解决问题 解决Vue应用详情页面报错的问题 解决Linux环境下脚本运行失败的问题 解决下载Maven安装文件失败的问题 升级说明 下载v1 3 2安

随机推荐

  • 【剑指offer】栈的压入、弹出序列

    解题思路 由于出栈序列会存在很多种可能 xff0c 例如入栈顺序为1 2 3 4 5 xff0c 可能的出栈序列为1 2 3 4 5 4 5 3 2 1等等 xff0c 不可能将所有序列进行穷举 xff0c 因此需要按照入栈序列和出栈序列进
  • 【剑指offer】数字序列中某一位的数字

    解法一 如下图所示 xff0c 将字符序列按照位数分为多个区域 xff0c 蓝色区域共有10个数 xff0c 每个数一位 xff0c 占10位 xff0c 橙色区域共90个数 xff0c 每个数两位 xff0c 占180位 xff0c 以此
  • 【剑指offer】二叉搜索树的第k个节点

    利用二叉搜索树的特点 xff0c 左边节点的值 lt 中间节点的值 lt 右边节点的值 xff0c 对二叉树进行中序遍历即可 通过res保存值 xff0c count记录遍历了多少个 中序遍历是在中间输出节点 xff0c 所以count在中
  • Linux查看文件占用空间、磁盘剩余、设备挂载情况

    查看文件占用空间 命令为du sh file xff0c 表示disk usage xff0c sh为可选参数 xff0c s表示short xff0c h表示human xff0c 即输出简短的信息 xff0c 适合人类查看 xff0c
  • Linux磁盘分区挂载

    输入lsblk命令查看当前各磁盘分区情况 xff0c 可以看到 xff0c sdb硬盘有1 2 5三个分区 xff0c sdb5挂载在根目录 下 xff08 即根目录的文件都存在sdb5分区 xff09 sda硬盘没有分区也没有挂载到任何目
  • win10 latex - Texlive+Texstudio安装

    安装Texlive环境 通过清华大学开源软件镜像站进行下 xff0c https mirrors tuna tsinghua edu cn ctan systems texlive Images 打开镜像 xff0c 双击bat文件 xff
  • 二叉搜索树的后序遍历序列

    由于输入的是后序遍历序列 xff0c 首先我们可以确定序列的最后一个位置为根节点 由于二叉搜索树的左子树比根节点小 xff0c 根节点比右子树小 xff0c 因此我们需要判断根节点的左右子树是否满足该条件 xff0c 关键是找到其左子树和右
  • 【剑指offer】二叉树中和为某一值的路径(一)

    直接对二叉树进行前序遍历 xff0c 每次累加当前节点的值 xff0c 如果到达叶子节点 xff0c 判断当前累加和是否等于给定值 xff0c 是则返回true xff0c 否则继续遍历二叉树 xff0c 若找不到则返回false span
  • Docker 容器互联

    1 基于 Volume 互联 1 1 存储 Driver Aufs Docker最早支持的driver xff0c 但它只是Linux内核的一个补丁集 Device Mapper xff1a Linux2 6 内核提供的一种从逻辑设备到物理
  • torch.cdist高效计算大矩阵相似度

    问题定义 现有矩阵 A R N C
  • 【剑指offer】二叉搜索树与双向链表

    双向链表从左到右的顺序很明显就是中序遍历二叉树输出的顺序 xff0c 因此核心思想就是使用中序遍历 xff0c 在遍历过程中调整指针的指向 需要用到两个全局变量 xff08 递归的题目不用吝啬全局变量 xff09 xff0c c u r N
  • win10远程计算机

    确保被控制电脑远程功能开启 控制面板 61 61 gt 允许远程访问 选中允许远程连接到此计算机 查看被控制电脑的用户名和ip 命令行 query user xff0c 下面的用户名为远程登录的用户名 密码为改账户的登录密码 xff08 不
  • 【剑指offer】对称的二叉树

    递归法 通过两个指针同时递归遍历左右两个子树 xff0c 判断当前遍历到的两个节点是否相等 如下图 xff0c 需要注意的是 xff0c 左右子树的遍历不是完全一样 xff0c 左子树采用左右遍历 xff0c 右子树采用右左遍历 xff0c
  • 【剑指offer】判断是不是平衡二叉树

    这题只需要在求二叉树深度的基础上扩展一下即可 xff0c 下面为求二叉树深度的代码 span class token keyword public span span class token class name HashMap span
  • Linux查看硬盘属性(机械硬盘/固态硬盘)

    通过命令lsblk d o name rota查看 xff0c 0表示固态硬盘 xff0c 1表示机械硬盘 xff0c sda为机械硬盘 xff0c sdb为固态硬盘
  • python计算众数scipy

    计算如下数组中每一行的众数 xff0c 期望结果 xff0c 第一行为1 xff0c 第二行为3 0 0 1 1 1 2 3 3 2 3 使用scipy 的统计包stats中的mode函数 xff0c 指定第二个维度 xff0c 返回元组
  • 【剑指offer】序列化二叉树

    解题思路 序列化时 xff0c 可以通过各种遍历方法 xff0c 例如层序遍历 递归遍历对二叉树进行遍历 xff0c 遍历过程中将每个节点的值拼接到字符串中 xff0c 注意每个节点之间用一个标识符隔开 xff0c 例如 xff0c 这是为
  • Linux cuda11.1安装torch_scatter,torch-sparse,torch-cluster,torch-spline-conv,torch-geometric

    创建虚拟环境 conda create n torch18 span class token assign left variable python span span class token operator 61 span span c
  • pytorch查看张量占用内存大小

    element size返回单个元素的字节大小 xff0c nelement返回元素个数 span class token keyword import span torch a span class token operator 61 s
  • MySQL8.0 集群安装 (K8S)

    尝试了很多版本的mysql镜像 xff0c 都存在这样那样的的问题 原始需求中 xff0c 需要同时支持x86 64 AMD64 和aarch64 ARM64V8 xff0c 最后找到Oracle官方出品的MySQL Server 8 0镜