高可用RKE2部署kubernetes（适用于生产环境）

高可用RKE2部署kubernetes（适用于生产环境）

目录

• • 1、环境准备(三台server主机相同)
  • • 1.1系统参数设置
    • 1.2、需改连接数限制
    • 1.3、NetworkManager管理网络
    • 1.4、防火墙关闭
    • 1.5、设置时间同步
  • 2、RKE2安装配置
  • • 2.1、下载安装
    • 2.2、第一个节点启动，初始化
    • 2.3、另外两个节点（server节点）
    • 2.4：agent节点添加
  • 3、其他
  • • 3.1升级
    • 3.2、rke2部署完成之后nginx-ingress没有映射主机80、443端口的问题
  • 4、补充：
  • • 4.1、配置rke2高可用

1、环境准备(三台server主机相同)

#配置主机名
hostnamectl set-hostname k8s-rke2-worker01
#配置hosts
cat >> /etc/hosts << EOF
10.10.114.100 k8s-rke2-worker
10.10.114.101 k8s-rke2-worker01
10.10.114.102 k8s-rke2-worker02
10.10.114.103 k8s-rke2-worker03
EOF
#常用软件包安装
dnf -y install epel-release
dnf -y install lrzsz vim gcc glibc openssl openssl-devel net-tools http-tools wget curl  yum-utils telnet
dnf-y update  
关闭swap分区
swapoff -a
修改/etc/fstab配置文件，把swap分区挂载的那一行注释掉
vim /etc/fstab

1.1系统参数设置

参考：

echo "
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
f.all.forwarding=1
_thresh1=4096
_thresh2=6144
_thresh3=8192
_interval=60
_stale_time=120# 参考 
kernel.perf_event_paranoid=-1#sysctls for k8s node config
p_slow_start_after_idle=0
_max=16777216
fs.inotify.max_user_watches=524288
kernel.softlockup_all_cpu_backtrace=1kernel.softlockup_panic=0kernel.watchdog_thresh=30
fs.file-max=2097152
fs.inotify.max_user_instances=8192
fs.inotify.max_queued_events=16384
vm.max_map_count=262144
fs.may_detach_mounts=1
dev_max_backlog=16384
p_wmem=4096 12582912 16777216
wmem_max=16777216
somaxconn=32768
net.ipv4.ip_forward=1
p_max_syn_backlog=8096
p_rmem=4096 12582912 f.all.disable_ipv6=1
f.default.disable_ipv6=1
f.lo.disable_ipv6=1kernel.yama.ptrace_scope=0
vm.swappiness=0# 可以控制core文件的文件名中是否添加pid作为扩展。
_uses_pid=1# Do not accept source routing
f.default.accept_source_route=0
f.all.accept_source_route=0# Promote secondary addresses when the primary address is removed
f.default.promote_secondaries=1
f.all.promote_secondaries=1# Enable hard and soft link protection
fs.protected_hardlinks=1
fs.protected_symlinks=1# 源路由验证
# see details in .html
f.all.rp_filter=0
f.default.rp_filter=0
f.default.arp_announce = 2
f.lo.arp_announce=2
f.all.arp_announce=2# see details in .html
p_max_tw_buckets=5000
p_syncookies=1
p_fin_timeout=30
p_synack_retries=2
kernel.sysrq=1" >> /f
modprobe br_netfilter
sysctl -p

1.2、需改连接数限制

cat >> /etc/f <<EOF
* soft nofile 65535
* hard nofile 65536
EOF

1.3、NetworkManager管理网络

如果使用NetworkManager管理网络，需要进行如下配置

参考：

systemctl status NetworkManager
cat >> /etc/NetworkManager/conf.f << EOF
[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:flannel*
EOF
systemctl daemon-reload
systemctl restart NetworkManager

1.4、防火墙关闭

#关闭firewalld
systemctl stop firewalld
systemctl disable firewalld
systemctl disable iptables
systemctl stop iptables
#关闭selinux
getenforce
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
getenforce

1.5、设置时间同步

yum -y install chrony
mv /f /f_bak
cat > /f <<EOF
pool ntp.aliyun iburst
pool ntp1.aliyun iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOFsystemctl enable chronyd
systemctl restart chronyd
timedatectl status
chronyc sources -v

以上设置完成后，重启主机，确认所有配置都已经生效。

2、RKE2安装配置

设置一个 HA 集群需要以下步骤：

1. 配置一个固定的注册地址
2. 启动第一个 server 节点
3. 加入其他 server 节点
4. 加入 agent 节点

参考：/

注意：由于主机有限，我们就把第一个启动的节点设置为注册地址，下面只进行2、3步骤。

2.1、下载安装

rke2版本信息：

使用国内镜像地址下载启动脚本

在每个节点都执行下面的脚本
参考：

wget .sh
INSTALL_RKE2_CHANNEL=stable
INSTALL_RKE2_TYPE=server
# INSTALL_RKE2_VERSION=v1.26.10+rke2r2
/bin/bash install.sh# 执行完之后执行命令，如下
# rke2 --version 
rke2 version v1.26.10+rke2r2 (21e3a8c82da71473f2b846065dcab197a9b2c9d8)
go version go1.20.10 X:boringcrypto
#上面主要是下载一些必要的安装包

2.2、第一个节点启动，初始化

systemctl start rke2-server
systemctl enable rke2-server
# 第一次启动可能会比较慢，因为要初始化、生成各种文件 
#查看第一次启动后生成的文件
ll /var/lib/rancher/rke2/
ll /var/lib/rancher/rke2/bin/
ll /etc/rancher/rke2/