简体中文 繁體中文 English 日本語 Deutsch 한국 사람 بالعربية TÜRKÇE português คนไทย Français

开启辅助访问 切换到宽版

站内搜索

搜索

活动公告

通知：是的！我们正在计划一个大动作！
11-02 12:46
通知：Telegram 推送频道https://t.me/+2tB3a7aKXlw2YjA1 及时接收第一手论坛帖子信息～
10-23 09:32
通知：本站资源由网友上传分享，如有违规等问题请到版务模块进行投诉，将及时处理！
10-23 09:31
通知：加入QQ社群吧 https://qm.qq.com/q/QZibQd1hiq
10-23 09:28
通知：签到时间调整为每日4:00（东八区）
10-23 09:26
>社区 > 科技 > 经验交流 >帖子
本版发帖返回

Rocky Linux集群环境构建实战打造高效稳定的企业服务器架构

威震华夏关云长

3万

主题

317

科技点

3万

积分

大区版主

木柜子打湿

积分
31893

财Doro三倍冰淇淋无人之境【一阶】立华奏小樱（小丑装）⑨的冰沙以外的星空【二阶】
发表于 2025-10-3 20:00:01 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
引言

在当今数字化转型的浪潮中，企业对服务器架构的稳定性、高效性和可靠性要求越来越高。Rocky Linux作为CentOS的替代品，已经成为企业级Linux发行版的首选之一。本文将详细介绍如何构建基于Rocky Linux的高效稳定集群环境，为企业提供强大的服务器架构支持。

1. Rocky Linux概述

Rocky Linux是一个社区支持的企业级操作系统，设计为与Red Hat Enterprise Linux (RHEL) 100%二进制兼容。它由CentOS的创始人Gregory Kurtzer发起，旨在填补CentOS转向CentOS Stream后留下的空白。

1.1 Rocky Linux的优势

• 稳定性：提供长期支持版本，适合企业关键应用
• 安全性：及时的安全更新和补丁
• 兼容性：与RHEL完全兼容，无需担心软件兼容性问题
• 社区支持：活跃的社区提供技术支持和持续开发
• 免费使用：无需许可费用，降低企业IT成本

2. 集群环境的基础概念

2.1 什么是集群

集群是一组相互连接的计算机，它们作为一个统一的计算资源工作，提供高可用性、负载均衡和并行处理能力。

2.2 集群的类型

• 高可用性集群(HA Cluster)：确保关键应用持续可用，减少停机时间
• 负载均衡集群：分配工作负载，优化资源使用
• 高性能计算集群(HPC)：用于处理复杂的计算任务
• 存储集群：提供集中式、高可用的存储解决方案

2.3 集群架构的关键组件

• 节点(Node)：集群中的单个服务器
• 负载均衡器(Load Balancer)：分发请求到不同节点
• 集群管理软件：如Pacemaker、Corosync等
• 共享存储：如NFS、iSCSI或分布式存储系统
• 心跳机制：监控节点健康状态
• 故障转移(Failover)：在节点故障时自动切换服务

3. Rocky Linux集群环境规划

3.1 需求分析

在构建集群前，需明确以下需求：

• 应用类型：Web服务、数据库、文件服务等
• 性能要求：CPU、内存、存储、网络带宽
• 可用性要求：预期的正常运行时间百分比
• 扩展性需求：未来可能的扩展规模
• 预算限制：硬件、软件和维护成本

3.2 集群规模设计

根据需求确定集群规模：

• 小型集群：2-3个节点，适合小型企业或部门级应用
• 中型集群：4-8个节点，适合中型企业应用
• 大型集群：9个以上节点，适合大型企业或云服务提供商

3.3 拓扑结构设计

常见的集群拓扑结构：

• 主动/被动模式：一个节点提供服务，另一个作为备份
• 主动/主动模式：所有节点同时提供服务
• N层架构：前端Web服务器、中间应用服务器、后端数据库服务器分层设计

4. 硬件和网络准备

4.1 硬件要求

• CPU：64位处理器，建议使用Intel Xeon或AMD EPYC系列
• 内存：至少16GB RAM，根据应用需求调整
• 存储：SSD用于系统盘，HDD或高性能SSD用于数据存储
• 网络接口：至少双网卡，建议使用万兆网卡

• SAN存储：通过光纤通道或iSCSI连接
• NAS存储：通过NFS或SMB协议访问
• 分布式存储：如Ceph、GlusterFS等

4.2 网络配置
  2. [Internet] -> [防火墙] -> [负载均衡器] -> [集群节点]
  3.                      |
  4.                      v
  5.                 [管理网络]
复制代码

为每个节点分配多个IP地址：

• 公共IP：对外提供服务的IP地址
• 私有IP：内部通信的IP地址
• 心跳IP：专用于集群心跳检测的IP地址
• 管理IP：用于系统管理的IP地址
  2. # 编辑网络配置文件
  3. vi /etc/sysconfig/network-scripts/ifcfg-eth0
  5. # 示例配置
  6. TYPE=Ethernet
  7. BOOTPROTO=static
  8. DEFROUTE=yes
  9. NAME=eth0
  10. DEVICE=eth0
  11. ONBOOT=yes
  12. IPADDR=192.168.1.10
  13. PREFIX=24
  14. GATEWAY=192.168.1.1
  15. DNS1=8.8.8.8
  16. DNS2=8.8.4.4
  18. # 重启网络服务
  19. systemctl restart network
复制代码

5. Rocky Linux系统安装和基础配置

5.1 系统安装

从官方网站下载最新的Rocky Linux ISO镜像：
  2. wget https://download.rockylinux.org/pub/rocky/9/isos/x86_64/Rocky-9.1-x86_64-dvd.iso
复制代码

使用dd命令创建USB启动盘：
  2. # 确定USB设备名称
  3. lsblk
  5. # 创建启动盘（假设USB设备为/dev/sdb）
  6. dd if=Rocky-9.1-x86_64-dvd.iso of=/dev/sdb bs=4M status=progress
复制代码

1. 从USB启动盘启动计算机
2. 选择”Install Rocky Linux”
3. 配置语言、键盘和时区
4. 配置网络和主机名
5. 配置磁盘分区（建议使用LVM以便于扩展）
6. 设置root密码和创建用户
7. 开始安装并等待完成

5.2 系统基础配置
  2. # 更新系统软件包
  3. dnf update -y
  5. # 安装常用工具
  6. dnf install -y vim wget curl net-tools telnet
复制代码
  2. # 设置主机名
  3. hostnamectl set-hostname node1.example.com
  5. # 编辑hosts文件
  6. vi /etc/hosts
  8. # 添加以下内容
  9. 192.168.1.10   node1.example.com   node1
  10. 192.168.1.11   node2.example.com   node2
  11. 192.168.1.12   node3.example.com   node3
复制代码
  2. # 安装chrony时间同步服务
  3. dnf install -y chrony
  5. # 启动并设置开机自启
  6. systemctl start chronyd
  7. systemctl enable chronyd
  9. # 检查时间同步状态
  10. chronyc sources
复制代码
  2. # 启动防火墙
  3. systemctl start firewalld
  4. systemctl enable firewalld
  6. # 开放必要端口（以Web服务为例）
  7. firewall-cmd --permanent --add-service=http
  8. firewall-cmd --permanent --add-service=https
  9. firewall-cmd --permanent --add-service=ssh
  11. # 重新加载防火墙配置
  12. firewall-cmd --reload
复制代码
  2. # 检查SELinux状态
  3. sestatus
  5. # 临时禁用SELinux
  6. setenforce 0
  8. # 永久禁用SELinux（编辑配置文件）
  9. vi /etc/selinux/config
  11. # 将SELINUX=enforcing改为SELINUX=disabled
  12. SELINUX=disabled
复制代码

6. 集群软件安装和配置

6.1 高可用性集群软件
  2. # 安装高可用性集群软件包
  3. dnf install -y pcs pacemaker corosync fence-agents-all
  5. # 设置hacluster用户密码
  6. echo "password" | passwd --stdin hacluster
  8. # 启动pcsd服务并设置开机自启
  9. systemctl start pcsd
  10. systemctl enable pcsd
复制代码
  2. # 在所有节点上认证集群节点（只需在一个节点上执行）
  3. pcs host auth node1.example.com node2.example.com node3.example.com -u hacluster -p password
复制代码
  2. # 创建集群（只需在一个节点上执行）
  3. pcs cluster setup --name mycluster node1.example.com node2.example.com node3.example.com
  5. # 启动集群
  6. pcs cluster start --all
  8. # 设置集群开机自启
  9. pcs cluster enable --all
  11. # 检查集群状态
  12. pcs status
复制代码

6.2 负载均衡软件
  2. # 安装HAProxy
  3. dnf install -y haproxy
  5. # 配置HAProxy
  6. vi /etc/haproxy/haproxy.cfg
  8. # 基本配置示例
  9. global
  10.     log         127.0.0.1 local2
  11.     chroot      /var/lib/haproxy
  12.     pidfile     /var/run/haproxy.pid
  13.     maxconn     4000
  14.     user        haproxy
  15.     group       haproxy
  16.     daemon
  18. defaults
  19.     mode                    http
  20.     log                     global
  21.     option                  httplog
  22.     option                  dontlognull
  23.     option http-server-close
  24.     option forwardfor       except 127.0.0.0/8
  25.     option                  redispatch
  26.     retries                 3
  27.     timeout http-request    10s
  28.     timeout queue           1m
  29.     timeout connect         10s
  30.     timeout client          1m
  31.     timeout server          1m
  32.     timeout http-keep-alive 10s
  33.     timeout check           10s
  34.     maxconn                 3000
  36. frontend http-in
  37.     bind *:80
  38.     default_backend servers
  40. backend servers
  41.     balance roundrobin
  42.     server node1 192.168.1.10:80 check
  43.     server node2 192.168.1.11:80 check
  44.     server node3 192.168.1.12:80 check
  46. # 启动HAProxy服务
  47. systemctl start haproxy
  48. systemctl enable haproxy
复制代码
  2. # 安装Nginx
  3. dnf install -y nginx
  5. # 配置Nginx作为负载均衡器
  6. vi /etc/nginx/nginx.conf
  8. # 添加upstream和server配置
  9. http {
  10.     upstream backend {
  11.         server 192.168.1.10:80;
  12.         server 192.168.1.11:80;
  13.         server 192.168.1.12:80;
  14.     }
  16.     server {
  17.         listen 80;
  18.         location / {
  19.             proxy_pass http://backend;
  20.         }
  21.     }
  22. }
  24. # 启动Nginx服务
  25. systemctl start nginx
  26. systemctl enable nginx
复制代码

7. 高可用性配置

7.1 配置浮动IP
  2. # 创建浮动IP资源
  3. pcs resource create ClusterIP ocf:heartbeat:IPaddr2 ip=192.168.1.100 cidr_netmask=24 op monitor interval=30s
  5. # 确保浮动IP在集群启动时启动
  6. pcs constraint colocation add ClusterIP with cluster
复制代码

7.2 配置Web服务高可用性
  2. # 在所有节点上安装Apache
  3. dnf install -y httpd
  5. # 创建测试页面
  6. echo "<h1>Node $(hostname)</h1>" > /var/www/html/index.html
  8. # 启动Apache服务
  9. systemctl start httpd
  10. systemctl enable httpd
复制代码
  2. # 创建Apache资源
  3. pcs resource create WebServer ocf:heartbeat:apache configfile=/etc/httpd/conf/httpd.conf statusurl="http://localhost/server-status" op monitor interval=30s
  5. # 设置资源约束
  6. pcs constraint colocation add WebServer with ClusterIP INFINITY
  7. pcs constraint order ClusterIP then WebServer
复制代码

7.3 配置STONITH设备

STONITH (Shoot The Other Node In The Head) 是一种确保数据完整性的机制，当节点发生故障时，它会强制重启或关闭故障节点。
  2. # 配置fence_xvm设备（示例）
  3. pcs stonith create vm-fence fence_xvm pcmk_host_map="node1.example.com:node1;node2.example.com:node2;node3.example.com:node3" op monitor interval=60s
  5. # 启用STONITH
  6. pcs property set stonith-enabled=true
复制代码

8. 负载均衡设置

8.1 配置HAProxy高可用性
  2. # 安装HAProxy（如果尚未安装）
  3. dnf install -y haproxy
  5. # 配置HAProxy
  6. vi /etc/haproxy/haproxy.cfg
  8. # 添加以下配置
  9. global
  10.     log         127.0.0.1 local2
  11.     chroot      /var/lib/haproxy
  12.     pidfile     /var/run/haproxy.pid
  13.     maxconn     4000
  14.     user        haproxy
  15.     group       haproxy
  16.     daemon
  18. defaults
  19.     mode                    http
  20.     log                     global
  21.     option                  httplog
  22.     option                  dontlognull
  23.     option http-server-close
  24.     option forwardfor       except 127.0.0.0/8
  25.     option                  redispatch
  26.     retries                 3
  27.     timeout http-request    10s
  28.     timeout queue           1m
  29.     timeout connect         10s
  30.     timeout client          1m
  31.     timeout server          1m
  32.     timeout http-keep-alive 10s
  33.     timeout check           10s
  34.     maxconn                 3000
  36. listen stats
  37.     bind *:9000
  38.     stats enable
  39.     stats uri /stats
  40.     stats refresh 30s
  41.     stats show-node
  42.     stats auth admin:password
  44. frontend http-in
  45.     bind *:80
  46.     default_backend servers
  48. backend servers
  49.     balance roundrobin
  50.     cookie SERVERID insert indirect nocache
  51.     server node1 192.168.1.10:80 check cookie node1
  52.     server node2 192.168.1.11:80 check cookie node2
  53.     server node3 192.168.1.12:80 check cookie node3
  55. # 创建HAProxy资源
  56. pcs resource create HAProxy systemd:haproxy op monitor interval=20s
  58. # 设置资源约束
  59. pcs constraint colocation add HAProxy with ClusterIP
  60. pcs constraint order ClusterIP then HAProxy
复制代码

8.2 配置Keepalived实现VIP高可用
  2. # 安装Keepalived
  3. dnf install -y keepalived
  5. # 配置Keepalived
  6. vi /etc/keepalived/keepalived.conf
  8. # 主节点配置示例
  9. vrrp_script chk_haproxy {
  10.     script "killall -0 haproxy"
  11.     interval 2
  12.     weight 2
  13. }
  15. vrrp_instance VI_1 {
  16.     state MASTER
  17.     interface eth0
  18.     virtual_router_id 51
  19.     priority 101
  20.     advert_int 1
  21.     authentication {
  22.         auth_type PASS
  23.         auth_pass password
  24.     }
  25.     virtual_ipaddress {
  26.         192.168.1.100/24 dev eth0
  27.     }
  28.     track_script {
  29.         chk_haproxy
  30.     }
  31. }
  33. # 备节点配置示例（priority值较低）
  34. vrrp_instance VI_1 {
  35.     state BACKUP
  36.     interface eth0
  37.     virtual_router_id 51
  38.     priority 100
  39.     advert_int 1
  40.     authentication {
  41.         auth_type PASS
  42.         auth_pass password
  43.     }
  44.     virtual_ipaddress {
  45.         192.168.1.100/24 dev eth0
  46.     }
  47.     track_script {
  48.         chk_haproxy
  49.     }
  50. }
  52. # 启动Keepalived服务
  53. systemctl start keepalived
  54. systemctl enable keepalived
复制代码

9. 存储解决方案

9.1 配置NFS共享存储
  2. # 安装NFS服务器
  3. dnf install -y nfs-utils
  5. # 创建共享目录
  6. mkdir -p /data/shared
  7. chmod 777 /data/shared
  9. # 配置NFS共享
  10. vi /etc/exports
  12. # 添加以下内容
  13. /data/shared 192.168.1.0/24(rw,sync,no_root_squash)
  15. # 启动NFS服务
  16. systemctl start nfs-server
  17. systemctl enable nfs-server
  19. # 导出共享目录
  20. exportfs -a
复制代码
  2. # 安装NFS客户端
  3. dnf install -y nfs-utils
  5. # 创建挂载点
  6. mkdir -p /mnt/nfs
  8. # 挂载NFS共享
  9. mount 192.168.1.100:/data/shared /mnt/nfs
  11. # 添加到fstab实现开机自动挂载
  12. echo "192.168.1.100:/data/shared /mnt/nfs nfs defaults 0 0" >> /etc/fstab
复制代码

9.2 配置iSCSI共享存储
  2. # 安装iSCSI目标软件
  3. dnf install -y targetcli
  5. # 启动并设置开机自启
  6. systemctl start target
  7. systemctl enable target
  9. # 配置iSCSI目标
  10. targetcli
  12. # 创建后端存储
  13. /backstores/block create disk1 /dev/sdb1
  15. # 创建iSCSI目标
  16. /iscsi create iqn.2023-01.com.example:storage.disk1
  18. # 创建LUN
  19. /iscsi/iqn.2023-01.com.example:storage.disk1/tpg1/luns create /backstores/block/disk1
  21. # 设置ACL
  22. /iscsi/iqn.2023-01.com.example:storage.disk1/tpg1/acls create iqn.2023-01.com.example:client
  24. # 保存配置
  25. saveconfig
  26. exit
复制代码
  2. # 安装iSCSI发起端软件
  3. dnf install -y iscsi-initiator-utils
  5. # 配置发起端名称
  6. vi /etc/iscsi/initiatorname.iscsi
  8. # 设置为与目标服务器ACL匹配的名称
  9. InitiatorName=iqn.2023-01.com.example:client
  11. # 启动并设置开机自启
  12. systemctl start iscsid
  13. systemctl enable iscsid
  15. # 发现目标
  16. iscsiadm -m discovery -t st -p 192.168.1.100
  18. # 登录目标
  19. iscsiadm -m node -l
  21. # 查看新发现的磁盘
  22. lsblk
  24. # 分区并格式化新磁盘
  25. fdisk /dev/sdb
  26. mkfs.ext4 /dev/sdb1
  28. # 挂载新磁盘
  29. mkdir -p /mnt/iscsi
  30. mount /dev/sdb1 /mnt/iscsi
  32. # 添加到fstab实现开机自动挂载
  33. echo "/dev/sdb1 /mnt/iscsi ext4 defaults,_netdev 0 0" >> /etc/fstab
复制代码

9.3 配置Ceph分布式存储
  2. # 安装Ceph部署工具
  3. dnf install -y cephadm
  5. # 配置Ceph仓库
  6. cephadm add-repo --release pacific
  8. # 安装Ceph Common
  9. dnf install -y ceph-common
复制代码
  2. # 引导Ceph集群
  3. cephadm bootstrap --mon-ip 192.168.1.10
  5. # 安装Ceph CLI工具
  6. cephadm install ceph-common
  8. # 添加其他节点到集群
  9. ceph orch host add node2 192.168.1.11
  10. ceph orch host add node3 192.168.1.12
  12. # 部署OSD（假设使用/dev/sdb作为OSD磁盘）
  13. ceph orch daemon add osd node1:/dev/sdb
  14. ceph orch daemon add osd node2:/dev/sdb
  15. ceph orch daemon add osd node3:/dev/sdb
  17. # 创建Ceph池
  18. ceph osd pool create mypool 64 64
  20. # 创建Ceph文件系统
  21. ceph fs new myfs myfs_metadata myfs_data
  23. # 挂载Ceph文件系统
  24. mkdir -p /mnt/cephfs
  25. mount -t ceph 192.168.1.10:6789:/ /mnt/cephfs
  27. # 添加到fstab实现开机自动挂载
  28. echo "192.168.1.10:6789:/ /mnt/cephfs ceph name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev 0 0" >> /etc/fstab
复制代码

10. 监控和维护

10.1 安装和配置Zabbix监控系统
  2. # 安装Zabbix仓库
  3. rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/9/x86_64/zabbix-release-5.0-1.el9.noarch.rpm
  4. dnf clean all
  6. # 安装Zabbix服务器、前端和代理
  7. dnf install -y zabbix-server-mysql zabbix-web-mysql zabbix-apache-conf zabbix-sql-scripts zabbix-agent
  9. # 安装MariaDB数据库
  10. dnf install -y mariadb-server mariadb
  12. # 启动MariaDB并设置开机自启
  13. systemctl start mariadb
  14. systemctl enable mariadb
  16. # 配置MariaDB
  17. mysql_secure_installation
  19. # 创建Zabbix数据库和用户
  20. mysql -u root -p
  21. create database zabbix character set utf8 collate utf8_bin;
  22. create user zabbix@localhost identified by 'password';
  23. grant all privileges on zabbix.* to zabbix@localhost;
  24. quit;
  26. # 导入Zabbix数据库架构
  27. zcat /usr/share/doc/zabbix-sql-scripts/mysql/create.sql.gz | mysql -uzabbix -p zabbix
  29. # 配置Zabbix服务器
  30. vi /etc/zabbix/zabbix_server.conf
  32. # 设置数据库密码
  33. DBPassword=password
  35. # 启动Zabbix服务器和代理
  36. systemctl restart zabbix-server zabbix-agent httpd php-fpm
  37. systemctl enable zabbix-server zabbix-agent httpd php-fpm
复制代码

1. 访问http://zabbix-server-ip/zabbix
2. 按照安装向导完成前端配置
3. 默认用户名：Admin，密码：zabbix
  2. # 在所有集群节点上安装Zabbix代理
  3. rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/9/x86_64/zabbix-release-5.0-1.el9.noarch.rpm
  4. dnf clean all
  5. dnf install -y zabbix-agent
  7. # 配置Zabbix代理
  8. vi /etc/zabbix/zabbix_agentd.conf
  10. # 设置服务器IP
  11. Server=192.168.1.100
  12. ServerActive=192.168.1.100
  13. Hostname=node1.example.com
  15. # 启动Zabbix代理
  16. systemctl start zabbix-agent
  17. systemctl enable zabbix-agent
复制代码

10.2 安装和配置Prometheus和Grafana
  2. # 创建Prometheus用户
  3. useradd --no-create-home --shell /bin/false prometheus
  5. # 下载Prometheus
  6. wget https://github.com/prometheus/prometheus/releases/download/v2.36.2/prometheus-2.36.2.linux-amd64.tar.gz
  7. tar -xvzf prometheus-2.36.2.linux-amd64.tar.gz
  9. # 移动文件到合适位置
  10. mkdir -p /etc/prometheus /var/lib/prometheus
  11. cp prometheus-2.36.2.linux-amd64/prometheus /usr/local/bin/
  12. cp prometheus-2.36.2.linux-amd64/promtool /usr/local/bin/
  13. cp -r prometheus-2.36.2.linux-amd64/console* /etc/prometheus/
  14. cp -r prometheus-2.36.2.linux-amd64/prometheus.yml /etc/prometheus/
  16. # 设置权限
  17. chown -R prometheus:prometheus /etc/prometheus /var/lib/prometheus
  18. chown prometheus:prometheus /usr/local/bin/prometheus
  19. chown prometheus:prometheus /usr/local/bin/promtool
  21. # 创建systemd服务文件
  22. vi /etc/systemd/system/prometheus.service
  24. # 添加以下内容
  25. [Unit]
  26. Description=Prometheus
  27. Wants=network-online.target
  28. After=network-online.target
  30. [Service]
  31. User=prometheus
  32. Group=prometheus
  33. Type=simple
  34. ExecStart=/usr/local/bin/prometheus \
  35.     --config.file /etc/prometheus/prometheus.yml \
  36.     --storage.tsdb.path /var/lib/prometheus/ \
  37.     --web.console.templates=/etc/prometheus/consoles \
  38.     --web.console.libraries=/etc/prometheus/console_libraries
  40. [Install]
  41. WantedBy=multi-user.target
  43. # 启动Prometheus服务
  44. systemctl start prometheus
  45. systemctl enable prometheus
复制代码
  2. # 在所有集群节点上安装Node Exporter
  3. useradd --no-create-home --shell /bin/false node_exporter
  4. wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
  5. tar -xvzf node_exporter-1.3.1.linux-amd64.tar.gz
  6. cp node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin/
  7. chown -R node_exporter:node_exporter /usr/local/bin/node_exporter
  9. # 创建systemd服务文件
  10. vi /etc/systemd/system/node_exporter.service
  12. # 添加以下内容
  13. [Unit]
  14. Description=Node Exporter
  15. After=network.target
  17. [Service]
  18. User=node_exporter
  19. Group=node_exporter
  20. Type=simple
  21. ExecStart=/usr/local/bin/node_exporter
  23. [Install]
  24. WantedBy=multi-user.target
  26. # 启动Node Exporter服务
  27. systemctl start node_exporter
  28. systemctl enable node_exporter
复制代码
  2. # 编辑Prometheus配置文件
  3. vi /etc/prometheus/prometheus.yml
  5. # 添加以下内容到scrape_configs部分
  6.   - job_name: 'cluster_nodes'
  7.     static_configs:
  8.       - targets: ['node1.example.com:9100']
  9.       - targets: ['node2.example.com:9100']
  10.       - targets: ['node3.example.com:9100']
  12. # 重启Prometheus服务
  13. systemctl restart prometheus
复制代码
  2. # 安装Grafana仓库
  3. dnf install -y grafana
  5. # 启动Grafana服务
  6. systemctl start grafana-server
  7. systemctl enable grafana-server
  9. # 配置防火墙
  10. firewall-cmd --permanent --add-port=3000/tcp
  11. firewall-cmd --reload
  13. # 访问Grafana Web界面（http://grafana-server-ip:3000）
  14. # 默认用户名：admin，密码：admin
  16. # 添加Prometheus数据源
  17. 1. 登录Grafana
  18. 2. 进入Configuration > Data Sources
  19. 3. 点击Add data source
  20. 4. 选择Prometheus
  21. 5. 设置URL为http://prometheus-server-ip:9090
  22. 6. 点击Save & Test
  24. # 导入Node Exporter仪表板
  25. 1. 进入Dashboards > Import
  26. 2. 输入仪表板ID：1860
  27. 3. 点击Load
  28. 4. 选择Prometheus数据源
  29. 5. 点击Import
复制代码

11. 安全性考虑

11.1 系统安全加固
  2. # 编辑SSH配置文件
  3. vi /etc/ssh/sshd_config
  5. # 修改以下配置
  6. PermitRootLogin no
  7. PasswordAuthentication no
  8. Port 2222
  9. AllowUsers adminuser
  11. # 重启SSH服务
  12. systemctl restart sshd
复制代码
  2. # 配置防火墙规则
  3. firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" service name="ssh" accept'
  4. firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" service name="http" accept'
  5. firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" service name="https" accept'
  6. firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" port protocol="tcp" port="5405" accept'
  7. firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" port protocol="udp" port="5404" accept'
  8. firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" port protocol="tcp" port="21064" accept'
  9. firewall-cmd --reload
复制代码
  2. # 安装Fail2ban
  3. dnf install -y fail2ban
  5. # 创建配置文件
  6. cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local
  8. # 编辑配置文件
  9. vi /etc/fail2ban/jail.local
  11. # 添加以下内容
  12. [sshd]
  13. enabled = true
  14. port = 2222
  15. filter = sshd
  16. logpath = /var/log/secure
  17. maxretry = 3
  18. bantime = 3600
  20. # 启动Fail2ban服务
  21. systemctl start fail2ban
  22. systemctl enable fail2ban
复制代码

11.2 集群安全配置
  2. # 生成Corosync密钥
  3. corosync-keygen
  5. # 复制密钥到所有节点
  6. scp /etc/corosync/authkey node2.example.com:/etc/corosync/
  7. scp /etc/corosync/authkey node3.example.com:/etc/corosync/
  9. # 设置正确的权限
  10. chmod 400 /etc/corosync/authkey
复制代码
  2. # 设置Pacemaker属性
  3. pcs property set stonith-enabled=true
  4. pcs property set no-quorum-policy=stop
  5. pcs property set symmetric-cluster=true
  6. pcs property set default-resource-stickiness=100
复制代码

12. 实战案例

12.1 Web服务器集群案例

构建一个高可用的Web服务器集群，包含3个节点，使用Apache作为Web服务器，HAProxy作为负载均衡器，NFS作为共享存储。
  2. [Internet] -> [防火墙] -> [HAProxy (VIP: 192.168.1.100)] -> [Web服务器集群]
  3.                                                     |
  4.                                                     v
  5.                                                [NFS共享存储]
复制代码

1. 系统准备
  2. # 在所有节点上更新系统
  3. dnf update -y
  5. # 安装必要软件包
  6. dnf install -y vim wget curl net-tools telnet
  8. # 配置主机名和hosts文件
  9. hostnamectl set-hostname node1.example.com
  10. echo "192.168.1.10   node1.example.com   node1" >> /etc/hosts
  11. echo "192.168.1.11   node2.example.com   node2" >> /etc/hosts
  12. echo "192.168.1.12   node3.example.com   node3" >> /etc/hosts
  14. # 配置时间同步
  15. dnf install -y chrony
  16. systemctl start chronyd
  17. systemctl enable chronyd
复制代码

1. 安装和配置集群软件
  2. # 在所有节点上安装集群软件
  3. dnf install -y pcs pacemaker corosync fence-agents-all
  5. # 设置hacluster用户密码
  6. echo "password" | passwd --stdin hacluster
  8. # 启动pcsd服务
  9. systemctl start pcsd
  10. systemctl enable pcsd
  12. # 在node1上认证集群节点
  13. pcs host auth node1.example.com node2.example.com node3.example.com -u hacluster -p password
  15. # 创建集群
  16. pcs cluster setup --name webcluster node1.example.com node2.example.com node3.example.com
  18. # 启动集群
  19. pcs cluster start --all
  20. pcs cluster enable --all
复制代码

1. 配置浮动IP
  2. # 创建浮动IP资源
  3. pcs resource create WebVIP ocf:heartbeat:IPaddr2 ip=192.168.1.100 cidr_netmask=24 op monitor interval=30s
复制代码

1. 安装和配置Web服务器
  2. # 在所有节点上安装Apache
  3. dnf install -y httpd
  5. # 创建测试页面
  6. mkdir -p /var/www/html
  7. echo "<h1>Web Server Cluster</h1>" > /var/www/html/index.html
  9. # 启动Apache服务
  10. systemctl start httpd
  11. systemctl enable httpd
复制代码

1. 配置Apache为集群资源
  2. # 创建Apache资源
  3. pcs resource create WebServer ocf:heartbeat:apache configfile=/etc/httpd/conf/httpd.conf statusurl="http://localhost/server-status" op monitor interval=30s
  5. # 设置资源约束
  6. pcs constraint colocation add WebServer with WebVIP INFINITY
  7. pcs constraint order WebVIP then WebServer
复制代码

1. 安装和配置NFS共享存储
  2. # 在专用存储服务器上安装NFS
  3. dnf install -y nfs-utils
  5. # 创建共享目录
  6. mkdir -p /data/web
  7. chmod 777 /data/web
  9. # 配置NFS共享
  10. echo "/data/web 192.168.1.0/24(rw,sync,no_root_squash)" >> /etc/exports
  12. # 启动NFS服务
  13. systemctl start nfs-server
  14. systemctl enable nfs-server
  15. exportfs -a
复制代码

1. 在Web服务器节点上挂载NFS共享
  2. # 在所有Web服务器节点上安装NFS客户端
  3. dnf install -y nfs-utils
  5. # 创建挂载点
  6. mkdir -p /var/www/html
  8. # 挂载NFS共享
  9. mount 192.168.1.100:/data/web /var/www/html
  11. # 添加到fstab
  12. echo "192.168.1.100:/data/web /var/www/html nfs defaults,_netdev 0 0" >> /etc/fstab
复制代码

1. 安装和配置HAProxy
  2. # 在专用负载均衡器节点上安装HAProxy
  3. dnf install -y haproxy
  5. # 配置HAProxy
  6. vi /etc/haproxy/haproxy.cfg
  8. # 添加以下配置
  9. global
  10.     log         127.0.0.1 local2
  11.     chroot      /var/lib/haproxy
  12.     pidfile     /var/run/haproxy.pid
  13.     maxconn     4000
  14.     user        haproxy
  15.     group       haproxy
  16.     daemon
  18. defaults
  19.     mode                    http
  20.     log                     global
  21.     option                  httplog
  22.     option                  dontlognull
  23.     option http-server-close
  24.     option forwardfor       except 127.0.0.0/8
  25.     option                  redispatch
  26.     retries                 3
  27.     timeout http-request    10s
  28.     timeout queue           1m
  29.     timeout connect         10s
  30.     timeout client          1m
  31.     timeout server          1m
  32.     timeout http-keep-alive 10s
  33.     timeout check           10s
  34.     maxconn                 3000
  36. listen stats
  37.     bind *:9000
  38.     stats enable
  39.     stats uri /stats
  40.     stats refresh 30s
  41.     stats show-node
  42.     stats auth admin:password
  44. frontend http-in
  45.     bind *:80
  46.     default_backend servers
  48. backend servers
  49.     balance roundrobin
  50.     cookie SERVERID insert indirect nocache
  51.     server node1 192.168.1.10:80 check cookie node1
  52.     server node2 192.168.1.11:80 check cookie node2
  53.     server node3 192.168.1.12:80 check cookie node3
  55. # 启动HAProxy服务
  56. systemctl start haproxy
  57. systemctl enable haproxy
复制代码

1. 测试集群
  2. # 检查集群状态
  3. pcs status
  5. # 测试Web服务
  6. curl http://192.168.1.100
  8. # 模拟节点故障
  9. pcs node standby node1.example.com
  11. # 再次测试Web服务
  12. curl http://192.168.1.100
  14. # 恢复节点
  15. pcs node unstandby node1.example.com
复制代码

12.2 数据库集群案例

构建一个高可用的MySQL数据库集群，包含3个节点，使用Galera Cluster进行多主复制，HAProxy作为负载均衡器。
  2. [应用服务器] -> [HAProxy (VIP: 192.168.1.100)] -> [MySQL Galera集群]
  3.                                                 (node1, node2, node3)
复制代码

1. 系统准备
  2. # 在所有节点上更新系统
  3. dnf update -y
  5. # 安装必要软件包
  6. dnf install -y vim wget curl net-tools telnet
  8. # 配置主机名和hosts文件
  9. hostnamectl set-hostname dbnode1.example.com
  10. echo "192.168.1.10   dbnode1.example.com   dbnode1" >> /etc/hosts
  11. echo "192.168.1.11   dbnode2.example.com   dbnode2" >> /etc/hosts
  12. echo "192.168.1.12   dbnode3.example.com   dbnode3" >> /etc/hosts
  14. # 配置时间同步
  15. dnf install -y chrony
  16. systemctl start chronyd
  17. systemctl enable chronyd
复制代码

1. 安装MariaDB和Galera
  2. # 在所有节点上安装MariaDB和Galera
  3. dnf install -y mariadb-server mariadb-client galera
  5. # 启动MariaDB服务
  6. systemctl start mariadb
  7. systemctl enable mariadb
  9. # 运行安全安装脚本
  10. mysql_secure_installation
复制代码

1. 配置Galera集群
  2. # 在所有节点上创建Galera配置文件
  3. vi /etc/my.cnf.d/galera.cnf
  5. # 添加以下内容
  6. [mysqld]
  7. binlog_format=ROW
  8. default-storage-engine=innodb
  9. innodb_autoinc_lock_mode=2
  10. bind-address=0.0.0.0
  12. # Galera Provider Configuration
  13. wsrep_on=ON
  14. wsrep_provider=/usr/lib64/galera-4/libgalera_smm.so
  16. # Galera Cluster Configuration
  17. wsrep_cluster_name="my_galera_cluster"
  18. wsrep_cluster_address="gcomm://dbnode1.example.com,dbnode2.example.com,dbnode3.example.com"
  20. # Galera Synchronization Configuration
  21. wsrep_sst_method=rsync
  23. # Galera Node Configuration
  24. wsrep_node_address="dbnode1.example.com"  # 在每个节点上使用对应的主机名
  25. wsrep_node_name="dbnode1"  # 在每个节点上使用对应的节点名
复制代码

1. 启动集群
  2. # 在第一个节点上启动集群
  3. systemctl stop mariadb
  4. galera_new_cluster
  6. # 在其他节点上启动MariaDB
  7. systemctl start mariadb
  9. # 检查集群状态
  10. mysql -u root -p -e "SHOW STATUS LIKE 'wsrep_cluster_size'"
复制代码

1. 安装和配置HAProxy
  2. # 在专用负载均衡器节点上安装HAProxy
  3. dnf install -y haproxy
  5. # 配置HAProxy
  6. vi /etc/haproxy/haproxy.cfg
  8. # 添加以下配置
  9. global
  10.     log         127.0.0.1 local2
  11.     chroot      /var/lib/haproxy
  12.     pidfile     /var/run/haproxy.pid
  13.     maxconn     4000
  14.     user        haproxy
  15.     group       haproxy
  16.     daemon
  18. defaults
  19.     mode                    tcp
  20.     log                     global
  21.     option                  httplog
  22.     option                  dontlognull
  23.     option                  redispatch
  24.     retries                 3
  25.     timeout http-request    10s
  26.     timeout queue           1m
  27.     timeout connect         10s
  28.     timeout client          1m
  29.     timeout server          1m
  30.     timeout check           10s
  31.     maxconn                 3000
  33. listen stats
  34.     bind *:9000
  35.     stats enable
  36.     stats uri /stats
  37.     stats refresh 30s
  38.     stats show-node
  39.     stats auth admin:password
  41. listen mysql-cluster
  42.     bind *:3306
  43.     mode tcp
  44.     balance roundrobin
  45.     option mysql-check user haproxy_check
  46.     server dbnode1 192.168.1.10:3306 check
  47.     server dbnode2 192.168.1.11:3306 check
  48.     server dbnode3 192.168.1.12:3306 check
  50. # 启动HAProxy服务
  51. systemctl start haproxy
  52. systemctl enable haproxy
复制代码

1. 创建监控用户
  2. # 在所有MySQL节点上创建监控用户
  3. mysql -u root -p
  4. CREATE USER 'haproxy_check'@'%';
  5. FLUSH PRIVILEGES;
  6. quit;
复制代码

1. 测试集群
  2. # 测试数据库连接
  3. mysql -h 192.168.1.100 -u root -p
  5. # 创建测试数据库和表
  6. CREATE DATABASE testdb;
  7. USE testdb;
  8. CREATE TABLE testtable (id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(50));
  9. INSERT INTO testtable (name) VALUES ('test');
  11. # 在另一个节点上验证数据复制
  12. mysql -h 192.168.1.11 -u root -p
  13. USE testdb;
  14. SELECT * FROM testtable;
  16. # 模拟节点故障
  17. systemctl stop mariadb
  19. # 测试高可用性
  20. mysql -h 192.168.1.100 -u root -p
  21. USE testdb;
  22. INSERT INTO testtable (name) VALUES ('test2');
  24. # 恢复节点
  25. systemctl start mariadb
  27. # 验证数据同步
  28. mysql -h 192.168.1.10 -u root -p
  29. USE testdb;
  30. SELECT * FROM testtable;
复制代码

13. 总结和最佳实践

13.1 总结

本文详细介绍了如何构建基于Rocky Linux的高效稳定集群环境，涵盖了从系统安装、集群配置、高可用性设置到负载均衡和存储解决方案的各个方面。通过实战案例，我们展示了Web服务器集群和数据库集群的具体实施步骤，为企业构建高效稳定的服务器架构提供了全面指导。

13.2 最佳实践

1. 规划先行：在构建集群前，充分了解需求，进行详细规划，包括硬件、网络、软件和存储等方面。
2. 安全第一：始终将安全性放在首位，包括系统加固、网络安全配置和数据加密等。
3. 监控完备：建立全面的监控系统，实时监控集群状态，及时发现和解决问题。
4. 文档记录：详细记录集群配置、变更和故障处理过程，便于后续维护和问题排查。
5. 定期备份：制定完善的备份策略，定期备份关键数据和配置文件。
6. 测试验证：对集群配置进行充分测试，包括功能测试、性能测试和故障恢复测试。
7. 版本控制：对配置文件使用版本控制系统，便于追踪变更和回滚。
8. 持续优化：根据实际运行情况，持续优化集群配置，提高性能和稳定性。
9. 团队培训：确保团队成员熟悉集群架构和管理流程，提高运维效率。
10. 社区参与：积极参与Rocky Linux和相关软件的社区，获取最新信息和技术支持。

规划先行：在构建集群前，充分了解需求，进行详细规划，包括硬件、网络、软件和存储等方面。

安全第一：始终将安全性放在首位，包括系统加固、网络安全配置和数据加密等。

监控完备：建立全面的监控系统，实时监控集群状态，及时发现和解决问题。

文档记录：详细记录集群配置、变更和故障处理过程，便于后续维护和问题排查。

定期备份：制定完善的备份策略，定期备份关键数据和配置文件。

测试验证：对集群配置进行充分测试，包括功能测试、性能测试和故障恢复测试。

版本控制：对配置文件使用版本控制系统，便于追踪变更和回滚。

持续优化：根据实际运行情况，持续优化集群配置，提高性能和稳定性。

团队培训：确保团队成员熟悉集群架构和管理流程，提高运维效率。

社区参与：积极参与Rocky Linux和相关软件的社区，获取最新信息和技术支持。

通过遵循这些最佳实践，企业可以构建出高效稳定、安全可靠的Rocky Linux集群环境，为业务发展提供强有力的IT基础设施支持。
回复

使用道具 举报

返回列表 发新帖
您需要登录后才可以回帖 登录 | 立即注册
高级模式
B Color Image Link Quote Code Smilies

本版积分规则

友情链接

keba
磕巴白菜
别管 别听 就是玩
二次元论坛
二次元论坛
按下F逃离世界！
次元宅社
次元宅社
开放、共创，CHANGE SEKAI！
频道订阅

频道订阅

加入社群

加入社群

联系我们|TG频道|RSS

Powered by Pixtech

© 2025 Pixtech Team.