关于软raid10 ，如何降低IO负载？

虾扯蛋

用的HZ的SX64 四块硬盘做了软raid10,发现经常不断同步，每次同步完，没两天，又重新同步，同步时间很久   每次同步IO 负载很高 动不动就负载load average: 25.39, 23.91, 24.04     宝塔负载状态显示100%   CPU 内存占用都不高。  有啥办法能降低负载。需要进行什么设置？

1. [root@CentOS-79-64-minimal ~]# cat /proc/mdstat
   
2. Personalities : [raid1] [raid10]
   
3. md3 : active raid10 sdb4[0] sda4[1] sdc4[3] sdd4[2]
   
4.       31077426176 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
   
5.       [>....................]  check =  2.4% (755115584/31077426176) finish=1286672.7min speed=392K/sec
   
6.       bitmap: 125/232 pages [500KB], 65536KB chunk
   
7. 
   
8. md2 : active raid10 sda3[1] sdc3[3] sdb3[0] sdd3[2]
   
9.       104790016 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
   
10.               resync=DELAYED
    
11.       
    
12. md1 : active raid1 sdb2[0] sdc2[3] sda2[1] sdd2[2]
    
13.       1046528 blocks super 1.2 [4/4] [UUUU]
    
14.               resync=DELAYED
    
15.       
    
16. md0 : active raid1 sdb1[0] sdc1[3] sda1[1] sdd1[2]
    
17.       33520640 blocks super 1.2 [4/4] [UUUU]
    
18.               resync=DELAYED
    
19.       
    
20. unused devices: <none>

复制代码

===========

啥都没弄 同步速度突然上去上负载也完全正常了  

[>....................]  check =  4.5% (1428878592/31077426176) finish=3724.1min speed=132684K/sec

remarkable

可能有盘挂了，装一下smartmontools，然后smartctl -H /dev/sda去检查一下各个盘

虾扯蛋

remarkable 发表于 2022-4-4 10:45
可能有盘挂了，装一下smartmontools，然后smartctl -H /dev/sda去检查一下各个盘

1. [root@CentOS-79-64-minimal ~]# smartctl -H /dev/sda
   
2. smartctl 7.2 2020-07-07 r5074 [x86_64-linux-5.16.10-1.el7.elrepo.x86_64] (CircleCI)
   
3. Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org
   
4. 
   
5. === START OF READ SMART DATA SECTION ===
   
6. SMART overall-health self-assessment test result: PASSED
   
7. 
   
8. [root@CentOS-79-64-minimal ~]# smartctl -H /dev/sdb
   
9. smartctl 7.2 2020-07-07 r5074 [x86_64-linux-5.16.10-1.el7.elrepo.x86_64] (CircleCI)
   
10. Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org
    
11. 
    
12. === START OF READ SMART DATA SECTION ===
    
13. SMART overall-health self-assessment test result: PASSED
    
14. 
    
15. [root@CentOS-79-64-minimal ~]# smartctl -H /dev/sdc
    
16. smartctl 7.2 2020-07-07 r5074 [x86_64-linux-5.16.10-1.el7.elrepo.x86_64] (CircleCI)
    
17. Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org
    
18. 
    
19. === START OF READ SMART DATA SECTION ===
    
20. SMART overall-health self-assessment test result: PASSED
    
21. 
    
22. [root@CentOS-79-64-minimal ~]# smartctl -H /dev/sdd
    
23. smartctl 7.2 2020-07-07 r5074 [x86_64-linux-5.16.10-1.el7.elrepo.x86_64] (CircleCI)
    
24. Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org
    
25. 
    
26. === START OF READ SMART DATA SECTION ===
    
27. SMART overall-health self-assessment test result: PASSED
    

复制代码

检测似乎没问题，硬盘都是新盘  ，同步时间时快时慢  可能小文件太多了，数据已经存了12T 数据，都是小文件，硬盘也有同时在写入数据

(788750464/31077426176) finish=103988.3min speed=4854K/sec

adef_1

学习一下

rem

iostat看看磁盘io情况，pidstat定位到高io进程，看看是业务导致的负载高还是什么问题。
从你这个resync看同步速度很慢，试试内核限制下同步速率。
dev.raid.speed_limit_min = 100000
dev.raid.speed_limit_max = 200000

infplus

这是重新构建了吧。

虾扯蛋

rem 发表于 2022-4-4 11:15
iostat看看磁盘io情况，pidstat定位到高io进程，看看是业务导致的负载高还是什么问题。
从你这个resync看同 ...

1. [root@CentOS-79-64-minimal ~]# iostat
   
2. Linux 5.16.10-1.el7.elrepo.x86_64 (CentOS-79-64-minimal)         04/04/2022         _x86_64_        (12 CPU)
   
3. 
   
4. avg-cpu:  %user   %nice %system %iowait  %steal   %idle
   
5.            9.72    0.00    2.20    9.03    0.00   79.06
   
6. 
   
7. Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
   
8. sdd             440.36     17735.77      3374.75 66548371957 12662785597
   
9. sdb             440.91     17729.71      3350.31 66525615753 12571064969
   
10. sda             430.54     17150.03      7351.62 64350518133 27584825417
    
11. sdc             430.00     17143.91      7376.06 64327553739 27676552573
    
12. md0               0.31         0.32         0.93    1196232    3497904
    
13. md1               0.00         0.00         0.00       4325      10992
    
14. md2              75.90        10.53       378.42   39514433 1419928348
    
15. md3             572.82      2971.95      6303.01 11151398612 23650228800
    

复制代码

infplus

mdadm --misc --detail /dev/md3 查看阵列信息。

虾扯蛋

infplus 发表于 2022-4-4 11:25
mdadm --misc --detail /dev/md3 查看阵列信息。

1. [root@CentOS-79-64-minimal ~]# mdadm --misc --detail /dev/md3
   
2. /dev/md3:
   
3.            Version : 1.2
   
4.      Creation Time : Sun Feb 20 00:01:53 2022
   
5.         Raid Level : raid10
   
6.         Array Size : 31077426176 (28.94 TiB 31.82 TB)
   
7.      Used Dev Size : 15538713088 (14.47 TiB 15.91 TB)
   
8.       Raid Devices : 4
   
9.      Total Devices : 4
   
10.        Persistence : Superblock is persistent
    
11. 
    
12.      Intent Bitmap : Internal
    
13. 
    
14.        Update Time : Mon Apr  4 11:35:52 2022
    
15.              State : active, checking
    
16.     Active Devices : 4
    
17.    Working Devices : 4
    
18.     Failed Devices : 0
    
19.      Spare Devices : 0
    
20. 
    
21.             Layout : near=2
    
22.         Chunk Size : 512K
    
23. 
    
24. Consistency Policy : bitmap
    
25. 
    
26.       Check Status : 2% complete
    
27. 
    
28.               Name : rescue:3
    
29.               UUID : c1d618d1:89dae5ee:c6d72483:143363f8
    
30.             Events : 668995
    
31. 
    
32.     Number   Major   Minor   RaidDevice State
    
33.        0       8       20        0      active sync set-A   /dev/sdb4
    
34.        1       8        4        1      active sync set-B   /dev/sda4
    
35.        2       8       52        2      active sync set-A   /dev/sdd4
    
36.        3       8       36        3      active sync set-B   /dev/sdc4
    

复制代码