старые » Наука и техника » Компьютерный » Linux и СПО » Тестирование различных файловых систем для использования…

Тестирование различных файловых систем для использования под /usr/portage.

Теги:btrfs, ext3, ext4, Linux, ntfs, ntfs-3g, reiserfs, tmpfs, xfs, компьютеры, тесты
 
Новый опрос Новый фотосет Новая тема Написать сообщение в тему
RU Balancer #30.01.2010 08:58
+
-
edit
 

Balancer

администратор
★★★★★
Со времени последнего тестирования разных Linux-FS прошло уже больше года, появились новые фавориты (та же ext4), так что нужно проводить повторное тестирование.

Тест простой. Есть 20Гб раздел на LVM на старенькой машинке , выполняющей функции домашнего сервера. Делаем там раздел в различных FS, копируем текущий портеж, измеряем. Конфигурация железа:

CPU: P4-3000, prescott.
RAM: 2Гб DDR2
HDD: SATA на отдельных контроллерах с производительностью от 70 дл 100Мбайт/с
Раздел: stripe-lvm на трёх жёстких дисках
OS: Gentoo
Ядро: 2.6.32-zen5
Планировщик IO: BFQ
Планировщик процессов: BFS

Результаты основного теста. Холодное исполнение emerge -pe world. Результат в секундах:

 


Из диаграммы выброшены:
- ext2 со средним результатом более 2000 секунд
- vfat со средним результатом более 2000 секунд
- reiser4 - завешивал машину при распаковке портежа
- jfs - завешивала машину во время теста

Другие тесты, дабы не загромождать сообщение - ниже, в конце страницы.
 
Это сообщение редактировалось 01.02.2010 в 01:39
RU Balancer #30.01.2010 08:59
+
-
edit
 

Balancer

администратор
★★★★★
Итак, первые замечания.

На старом портеже (ext4 после нескольких месяцев эксплуатации на разделе в 50Гб) результат был около 6 минут (точнее измерю позже, пока только оценки).

Переходим к тестированию каждой FS отдельно. Для упрощения - в формате одна тема = одна FS.

Тест проводится по команде
sync && echo 3 > /proc/sys/vm/drop_caches && time emerge -pe world|wc -l
 
RU Balancer #30.01.2010 08:59
+
-
edit
 

Balancer

администратор
★★★★★
reiser4

Две попытки скопировать портеж на раздел с reiser4 (решил начать с него), смонтированный с gzip1 сжатием (наконец, решил проверить такой вариант) обломались. Первый раз почти сразу после начала копирования машина повисла насмерть . Помог только перезапуск по Alt-SysRq. Второй раз процесс пошёл, но когда я стал шарить в mc по целевому разделу, визуально рассматривая, когда же закончится процесс - всё опять повисло. В итоге reiser4 пока откладывается, хотя попозже попробую без сжатия.
 
RU Balancer #30.01.2010 09:01
+
-
edit
 

Balancer

администратор
★★★★★
xfs

Второй тест - xfs. Копирование портежа на новый раздел заняло, кажется (сразу не записал и уже забыл - отсюда эта тема) около 10 минут. Но результат тоже будет перепроверяться, так как в портеже оказался забитый каталог packages с 1,8Гб файлов, что на фоне общих 2,3Гб - очень заметно :)

В процессе копирования обнаружил интересную деталь на которую, не видел, чтобы раньше кто-то обращал внимания.

Система у меня работает в режиме гипертрейдинга, два виртуальных ядра. reiser4 загружал своим io-wait одно ядро. Почти под завязку. xfs при копировании грузит оба ядра, процентов до 60-70. Общая загрузка системы в случае reiser4 составляет ровно 50%, в случае xfs - 60-70%. Обязательно буду отмечать это и в будущем.

...

Собственно, предварительный тест портежа под xfs выдал 5 минут 34 секунды (334сек.). В процессе теста обнаружились некоторые неудовлетворённые зависимости, которые раньше (без "-e") оставались незаметными. Вряд ли их удовлетворение повлияет на результат, но, тем не менее, нужно будет повторить. Для того и все эти предварительные тесты :)

Тёплый запуск, без сброса кешей - 4 минуты, 5 сек. (245сек.) Зависимости всё ещё не удовлетворены.

...

Всё, 4м22с (262с, условно тёплый), зависимости разрулены, выхлоп команды насчитывает 2606 строк. Ещё раз тест со сбросом кеша... 5 мин, 7 сек. (307с).

...

Ну, вот, вроде, пока проводил предварительное тестирование, закончил скрипты теста автоматического. Сейчас займусь им.
 
Это сообщение редактировалось 30.01.2010 в 09:36
RU Balancer #30.01.2010 10:11
+
-
edit
 

Balancer

администратор
★★★★★
Вместо копирования портежа использую распаковку из архива. Меньше зависимость от исходной FS и просто быстрее.

Правда, таким образом, проверка на поддержку многоядерности уже отпадает.
 
RU Balancer #30.01.2010 16:38
+
-
edit
 

Balancer

администратор
★★★★★
Первый проход теста. К сожалению, протормозил и не запустил его в цикле, пока уезжал по делам, было бы больше отсчётов. Так что результаты во многом для ознакомления, репрезентативность их ещё неизвестна.

Распаковка архива:
Файловая системавремя, секунд
tmpfs5.34
ext414.23
ext216.09
ext319.17
reiserfs20.34
reiserfs32.41
jfs41.22
btrfs43.09
ntfs-3g66.65
vfat84.92
xfs509.30


Холодное выполнение emerge, с предварительным сбросом кешей.
Файловая системавремя, секунд
tmpfs178.82
ext4191.80
xfs210.82
jfs210.83
ntfs-3g214.21
ext3217.94
reiserfs220.37
btrfs220.55
ext22051.19
vfat2074.10


Тёплое выполнение emerge, непосредственно за холодным, то есть из кеша:
Файловая системавремя, секунд
xfs172.06
jfs175.60
tmpfs177.54
ext3180.64
vfat188.24
ext4189.46
ntfs-3g190.83
btrfs196.55
reiserfs208.08
ext2211.61


Общее время теста:
Файловая системавремя, секунд
ext4583
ext3637
tmpfs639
reiserfs646
jfs727
btrfs725
ntfs-3g970
xfs1526
ext22478
vfat2619


Фрагментация после распаковки:
Файловая системафрагментация
tmpfs0%
xfs0%
ntfs-3g0%
vfat0%
ext40.00176242509693338%
reiserfs0.284631653154741%
jfs0.292562566090941%
btrfs0.50052872752908%
ext36.64962989072964%
ext26.64962989072964%


Запустил зацикленный тест, со временем наберётся более репрезентативный набор :) Правда, так до сих пор и не нашёл простой инструмент, которым бы можно было построить графики для серии отсчётов с показом среднего и разброса.
 
RU Balancer #30.01.2010 17:13
+
-
edit
 

Balancer

администратор
★★★★★
jfs завесил на распаковке машину насмерть. Так, что даже Alt-SysRq не помогало. Так что из повторных тестов эта ФС пока выбывает.
 
RU Balancer #01.02.2010 01:36
+
-
edit
 

Balancer

администратор
★★★★★
Итак, результаты. Основной тест я с расшифровкой разместил в первом сообщении. Тут - все остальные со всеми подробностями и без усечений.

Время распаковки архива:
















































tmpfs
Amount10
Minimum5,25
Maximum5,60
Median5,32
Mean5,36
Variance 0,01
Std. Deviation0,12
Quartiles
0.255,28
0.505,34
0.755,40

















































ext4
Amount9
Minimum13,38
Maximum16,64
Median13,98
Mean14,44
Variance 1,34
Std. Deviation1,16
Quartiles
0.2513,66
0.5013,98
0.7514,75

















































ext2
Amount8
Minimum13,39
Maximum16,09
Median14,84
Mean14,92
Variance 0,61
Std. Deviation0,78
Quartiles
0.2514,76
0.5014,87
0.7515,60

















































ext3
Amount11
Minimum19,17
Maximum27,82
Median20,91
Mean21,59
Variance 5,68
Std. Deviation2,38
Quartiles
0.2520,29
0.5020,91
0.7521,63

















































reiserfs
Amount11
Minimum19,78
Maximum32,41
Median20,54
Mean21,66
Variance 13,11
Std. Deviation3,62
Quartiles
0.2520,31
0.5020,54
0.7521,53

















































btrfs
Amount9
Minimum6,00
Maximum44,79
Median43,53
Mean31,48
Variance 360,23
Std. Deviation18,98
Quartiles
0.256,52
0.5043,53
0.7544,34



















































ntfs-3g
Amount9
Minimum5,42
Maximum66,65
Median59,11
Mean42,30
Variance 766,27
Std. Deviation27,68
Quartiles
0.255,61
0.5059,11
0.7559,43

















































vfat
Amount8
Minimum83,64
Maximum118,43
Median84,83
Mean89,65
Variance 138,66
Std. Deviation11,78
Quartiles
0.2584,53
0.5084,92
0.7589,32

















































xfs
Amount11
Minimum509,30
Maximum588,88
Median568,82
Mean561,95
Variance 881,98
Std. Deviation29,70
Quartiles
0.25535,97
0.50568,82
0.75587,43


 


Время холодного emerge, полный график:
















































tmpfs
Amount9
Minimum171,08
Maximum197,56
Median186,02
Mean184,55
Variance 80,50
Std. Deviation8,97
Quartiles
0.25177,34
0.50186,02
0.75190,17

















































ext4
Amount9
Minimum189,14
Maximum209,49
Median193,33
Mean195,17
Variance 36,64
Std. Deviation6,05
Quartiles
0.25191,80
0.50193,33
0.75195,74

















































xfs
Amount11
Minimum190,21
Maximum218,13
Median194,20
Mean200,56
Variance 107,62
Std. Deviation10,37
Quartiles
0.25191,00
0.50194,20
0.75210,82

















































reiserfs
Amount11
Minimum191,30
Maximum231,63
Median196,83
Mean202,57
Variance 173,86
Std. Deviation13,19
Quartiles
0.25192,34
0.50196,83
0.75208,11

















































btrfs
Amount9
Minimum182,36
Maximum220,55
Median205,16
Mean202,88
Variance 132,83
Std. Deviation11,53
Quartiles
0.25196,48
0.50205,16
0.75208,66



















































ntfs-3g
Amount9
Minimum180,08
Maximum241,59
Median218,75
Mean213,45
Variance 382,23
Std. Deviation19,55
Quartiles
0.25214,21
0.50218,75
0.75223,11

















































ext3
Amount10
Minimum212,32
Maximum265,52
Median216,77
Mean224,47
Variance 289,62
Std. Deviation17,02
Quartiles
0.25213,79
0.50217,94
0.75235,25

















































ext2
Amount8
Minimum1.872,02
Maximum2.074,23
Median1.904,34
Mean1.955,54
Variance 8.197,31
Std. Deviation90,54
Quartiles
0.251.897,80
0.501.905,84
0.752.065,49

















































vfat
Amount8
Minimum1.847,39
Maximum2.158,16
Median1.900,04
Mean1.958,86
Variance 13.135,67
Std. Deviation114,61
Quartiles
0.251.894,61
0.501.903,01
0.752.074,10


 


Время тёплого emerge:
















































tmpfs
Amount9
Minimum157,91
Maximum177,54
Median161,91
Mean165,45
Variance 55,80
Std. Deviation7,47
Quartiles
0.25160,34
0.50161,91
0.75172,71

















































xfs
Amount11
Minimum157,17
Maximum187,93
Median163,87
Mean166,92
Variance 70,97
Std. Deviation8,42
Quartiles
0.25162,12
0.50163,87
0.75171,40

















































ext3
Amount11
Minimum158,32
Maximum182,75
Median163,21
Mean168,98
Variance 89,91
Std. Deviation9,48
Quartiles
0.25161,07
0.50163,21
0.75180,64

















































ext4
Amount9
Minimum161,69
Maximum197,24
Median168,11
Mean173,12
Variance 153,64
Std. Deviation12,40
Quartiles
0.25163,80
0.50168,11
0.75175,42

















































btrfs
Amount9
Minimum161,25
Maximum196,55
Median166,97
Mean174,54
Variance 193,16
Std. Deviation13,90
Quartiles
0.25164,53
0.50166,97
0.75182,76



















































vfat
Amount8
Minimum162,35
Maximum188,24
Median175,49
Mean175,73
Variance 88,42
Std. Deviation9,40
Quartiles
0.25169,24
0.50180,65
0.75185,49

















































reiserfs
Amount11
Minimum161,45
Maximum208,08
Median167,18
Mean176,36
Variance 287,93
Std. Deviation16,97
Quartiles
0.25162,98
0.50167,18
0.75194,09

















































ntfs-3g
Amount9
Minimum163,00
Maximum230,73
Median171,93
Mean179,90
Variance 444,74
Std. Deviation21,09
Quartiles
0.25168,23
0.50171,93
0.75181,89

















































ext2
Amount8
Minimum166,92
Maximum212,21
Median172,38
Mean181,12
Variance 369,53
Std. Deviation19,22
Quartiles
0.25169,51
0.50174,76
0.75211,61


 


Фрагментация
















































ntfs-3g
Amount9
Minimum0,00
Maximum0,00
Median0,00
Mean0,00
Variance 0,00
Std. Deviation0,00
Quartiles
0.250,00
0.500,00
0.750,00

















































tmpfs
Amount9
Minimum0,00
Maximum0,00
Median0,00
Mean0,00
Variance 0,00
Std. Deviation0,00
Quartiles
0.250,00
0.500,00
0.750,00

















































vfat
Amount8
Minimum0,00
Maximum0,00
Median0,00
Mean0,00
Variance 0,00
Std. Deviation0,00
Quartiles
0.250,00
0.500,00
0.750,00

















































xfs
Amount11
Minimum0,00
Maximum0,00
Median0,00
Mean0,00
Variance 0,00
Std. Deviation0,00
Quartiles
0.250,00
0.500,00
0.750,00

















































ext4
Amount9
Minimum0,00
Maximum0,00
Median0,00
Mean0,00
Variance 0,00
Std. Deviation0,00
Quartiles
0.250,00
0.500,00
0.750,00

















































reiserfs
Amount11
Minimum0,25
Maximum0,35
Median0,28
Mean0,29
Variance 0,00
Std. Deviation0,03
Quartiles
0.250,26
0.500,28
0.750,29



















































btrfs
Amount9
Minimum0,00
Maximum0,52
Median0,49
Mean0,33
Variance 0,06
Std. Deviation0,25
Quartiles
0.250,00
0.500,49
0.750,49

















































ext2
Amount8
Minimum6,65
Maximum6,65
Median6,65
Mean6,65
Variance 0,00
Std. Deviation0,00
Quartiles
0.256,65
0.506,65
0.756,65

















































ext3
Amount11
Minimum6,65
Maximum6,65
Median6,65
Mean6,65
Variance 0,00
Std. Deviation0,00
Quartiles
0.256,65
0.506,65
0.756,65


 


Время удаления портежа по rm -rf:
















































tmpfs
Amount9
Minimum1,45
Maximum1,59
Median1,47
Mean1,48
Variance 0,00
Std. Deviation0,04
Quartiles
0.251,46
0.501,47
0.751,48

















































ext2
Amount8
Minimum13,01
Maximum15,88
Median14,08
Mean14,22
Variance 0,64
Std. Deviation0,80
Quartiles
0.2514,04
0.5014,11
0.7514,58

















































ext4
Amount9
Minimum12,32
Maximum18,86
Median14,75
Mean15,02
Variance 2,91
Std. Deviation1,71
Quartiles
0.2514,60
0.5014,75
0.7514,91

















































reiserfs
Amount11
Minimum16,14
Maximum23,08
Median19,58
Mean19,70
Variance 3,59
Std. Deviation1,90
Quartiles
0.2518,61
0.5019,58
0.7521,00

















































vfat
Amount8
Minimum26,92
Maximum32,12
Median28,23
Mean28,51
Variance 2,72
Std. Deviation1,65
Quartiles
0.2527,43
0.5028,35
0.7529,35

















































ext3
Amount11
Minimum26,42
Maximum32,30
Median29,24
Mean29,51
Variance 4,15
Std. Deviation2,04
Quartiles
0.2527,72
0.5029,24
0.7531,42

















































btrfs
Amount9
Minimum1,46
Maximum75,82
Median71,91
Mean49,33
Variance 1.285,94
Std. Deviation35,86
Quartiles
0.251,74
0.5071,91
0.7573,70



















































ntfs-3g
Amount8
Minimum1,46
Maximum157,38
Median145,92
Mean111,47
Variance 4.604,06
Std. Deviation67,85
Quartiles
0.25142,69
0.50146,21
0.75149,75

















































xfs
Amount11
Minimum453,08
Maximum549,99
Median517,82
Mean512,92
Variance 842,17
Std. Deviation29,02
Quartiles
0.25497,20
0.50517,82
0.75533,83


 


Общее время теста:
















































ext4
Amount9
Minimum554,00
Maximum643,00
Median566,00
Mean575,44
Variance 727,28
Std. Deviation26,97
Quartiles
0.25563,00
0.50566,00
0.75576,00

















































tmpfs
Amount9
Minimum551,00
Maximum661,00
Median569,00
Mean588,89
Variance 1.539,86
Std. Deviation39,24
Quartiles
0.25562,00
0.50569,00
0.75607,00

















































reiserfs
Amount11
Minimum562,00
Maximum670,00
Median574,00
Mean595,55
Variance 1.513,07
Std. Deviation38,90
Quartiles
0.25565,00
0.50574,00
0.75627,00

















































ext3
Amount11
Minimum604,00
Maximum729,00
Median620,00
Mean642,82
Variance 1.774,16
Std. Deviation42,12
Quartiles
0.25610,00
0.50620,00
0.75673,00

















































btrfs
Amount9
Minimum618,00
Maximum725,00
Median670,00
Mean667,33
Variance 936,00
Std. Deviation30,59
Quartiles
0.25667,00
0.50670,00
0.75678,00



















































ntfs-3g
Amount8
Minimum629,00
Maximum1.021,00
Median955,50
Mean912,88
Variance 15.552,98
Std. Deviation124,71
Quartiles
0.25948,00
0.50958,00
0.75977,00

















































xfs
Amount11
Minimum1.526,00
Maximum1.720,00
Median1.633,00
Mean1.629,91
Variance 2.585,49
Std. Deviation50,85
Quartiles
0.251.619,00
0.501.633,00
0.751.657,00

















































ext2
Amount8
Minimum2.244,00
Maximum2.522,00
Median2.277,00
Mean2.346,00
Variance 13.522,86
Std. Deviation116,29
Quartiles
0.252.272,00
0.502.281,00
0.752.478,00

















































vfat
Amount8
Minimum2.354,00
Maximum2.756,00
Median2.422,50
Mean2.490,50
Variance 20.064,29
Std. Deviation141,65
Quartiles
0.252.407,00
0.502.425,00
0.752.619,00


 
 
RU Balancer #01.02.2010 17:34
+
-
edit
 

Balancer

администратор
★★★★★
Скрипты теста положил в http://balancer.ru/files/1001/test-fs-usr-portage.tar.gz
 

в начало страницы | новое
старые » Наука и техника » Компьютерный » Linux и СПО » Тестирование различных файловых систем для использования…
Copyright © Balancer 1997..2018
Создано 30.01.2010
Связь с владельцами и администрацией сайта: anonisimov@gmail.com, rwasp1957@yandex.ru и admin@balancer.ru.
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru