Balancer.Ru » форумы » старые » Наука и техника » Компьютерный » Linux » Тестирование различных файловых систем для использования...

Тестирование различных файловых систем для использования под /usr/portage.

Тэги: компьютеры, Linux
Ответ в эту тему Создать новую тему
RU Balancer #30.01.2010 08:58
+
-
edit
 

Balancer

Администратор
Со времени последнего тестирования разных Linux-FS прошло уже больше года, появились новые фавориты (та же ext4), так что нужно проводить повторное тестирование.

Тест простой. Есть 20Гб раздел на LVM на старенькой машинке , выполняющей функции домашнего сервера. Делаем там раздел в различных FS, копируем текущий портеж, измеряем. Конфигурация железа:

CPU: P4-3000, prescott.
RAM: 2Гб DDR2
HDD: SATA на отдельных контроллерах с производительностью от 70 дл 100Мбайт/с
Раздел: stripe-lvm на трёх жёстких дисках
OS: Gentoo
Ядро: 2.6.32-zen5
Планировщик IO: BFQ
Планировщик процессов: BFS

Результаты основного теста. Холодное исполнение emerge -pe world. Результат в секундах:

tmpfs
Amount 9
Minimum 171,08
Maximum 197,56
Median 186,02
Mean 184,55
Variance 80,50
Std. Deviation 8,97
Quartiles
0.25 177,34
0.50 186,02
0.75 190,17
ext4
Amount 9
Minimum 189,14
Maximum 209,49
Median 193,33
Mean 195,17
Variance 36,64
Std. Deviation 6,05
Quartiles
0.25 191,80
0.50 193,33
0.75 195,74
xfs
Amount 11
Minimum 190,21
Maximum 218,13
Median 194,20
Mean 200,56
Variance 107,62
Std. Deviation 10,37
Quartiles
0.25 191,00
0.50 194,20
0.75 210,82
reiserfs
Amount 11
Minimum 191,30
Maximum 231,63
Median 196,83
Mean 202,57
Variance 173,86
Std. Deviation 13,19
Quartiles
0.25 192,34
0.50 196,83
0.75 208,11
btrfs
Amount 9
Minimum 182,36
Maximum 220,55
Median 205,16
Mean 202,88
Variance 132,83
Std. Deviation 11,53
Quartiles
0.25 196,48
0.50 205,16
0.75 208,66
ntfs-3g
Amount 9
Minimum 180,08
Maximum 241,59
Median 218,75
Mean 213,45
Variance 382,23
Std. Deviation 19,55
Quartiles
0.25 214,21
0.50 218,75
0.75 223,11
ext3
Amount 10
Minimum 212,32
Maximum 265,52
Median 216,77
Mean 224,47
Variance 289,62
Std. Deviation 17,02
Quartiles
0.25 213,79
0.50 217,94
0.75 235,25
 


Из диаграммы выброшены:
- ext2 со средним результатом более 2000 секунд
- vfat со средним результатом более 2000 секунд
- reiser4 - завешивал машину при распаковке портежа
- jfs - завешивала машину во время теста

Другие тесты, дабы не загромождать сообщение - ниже, в конце страницы.
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux
Это сообщение редактировалось 01.02.2010 в 01:39
RU Balancer #30.01.2010 08:59
+
-
edit
 

Balancer

Администратор
Итак, первые замечания.

На старом портеже (ext4 после нескольких месяцев эксплуатации на разделе в 50Гб) результат был около 6 минут (точнее измерю позже, пока только оценки).

Переходим к тестированию каждой FS отдельно. Для упрощения - в формате одна тема = одна FS.

Тест проводится по команде
sync && echo 3 > /proc/sys/vm/drop_caches && time emerge -pe world|wc -l
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux
RU Balancer #30.01.2010 08:59
+
-
edit
 

Balancer

Администратор
reiser4

Две попытки скопировать портеж на раздел с reiser4 (решил начать с него), смонтированный с gzip1 сжатием (наконец, решил проверить такой вариант) обломались. Первый раз почти сразу после начала копирования машина повисла насмерть . Помог только перезапуск по Alt-SysRq. Второй раз процесс пошёл, но когда я стал шарить в mc по целевому разделу, визуально рассматривая, когда же закончится процесс - всё опять повисло. В итоге reiser4 пока откладывается, хотя попозже попробую без сжатия.
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux
RU Balancer #30.01.2010 09:01
+
-
edit
 

Balancer

Администратор
xfs

Второй тест - xfs. Копирование портежа на новый раздел заняло, кажется (сразу не записал и уже забыл - отсюда эта тема) около 10 минут. Но результат тоже будет перепроверяться, так как в портеже оказался забитый каталог packages с 1,8Гб файлов, что на фоне общих 2,3Гб - очень заметно :)

В процессе копирования обнаружил интересную деталь на которую, не видел, чтобы раньше кто-то обращал внимания.

Система у меня работает в режиме гипертрейдинга, два виртуальных ядра. reiser4 загружал своим io-wait одно ядро. Почти под завязку. xfs при копировании грузит оба ядра, процентов до 60-70. Общая загрузка системы в случае reiser4 составляет ровно 50%, в случае xfs - 60-70%. Обязательно буду отмечать это и в будущем.

...

Собственно, предварительный тест портежа под xfs выдал 5 минут 34 секунды (334сек.). В процессе теста обнаружились некоторые неудовлетворённые зависимости, которые раньше (без "-e") оставались незаметными. Вряд ли их удовлетворение повлияет на результат, но, тем не менее, нужно будет повторить. Для того и все эти предварительные тесты :)

Тёплый запуск, без сброса кешей - 4 минуты, 5 сек. (245сек.) Зависимости всё ещё не удовлетворены.

...

Всё, 4м22с (262с, условно тёплый), зависимости разрулены, выхлоп команды насчитывает 2606 строк. Ещё раз тест со сбросом кеша... 5 мин, 7 сек. (307с).

...

Ну, вот, вроде, пока проводил предварительное тестирование, закончил скрипты теста автоматического. Сейчас займусь им.
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux
Это сообщение редактировалось 30.01.2010 в 09:36
RU Balancer #30.01.2010 10:11
+
-
edit
 

Balancer

Администратор
Вместо копирования портежа использую распаковку из архива. Меньше зависимость от исходной FS и просто быстрее.

Правда, таким образом, проверка на поддержку многоядерности уже отпадает.
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux
RU Balancer #30.01.2010 16:38
+
-
edit
 

Balancer

Администратор
Первый проход теста. К сожалению, протормозил и не запустил его в цикле, пока уезжал по делам, было бы больше отсчётов. Так что результаты во многом для ознакомления, репрезентативность их ещё неизвестна.

Распаковка архива:
Файловая системавремя, секунд
tmpfs5.34
ext414.23
ext216.09
ext319.17
reiserfs20.34
reiserfs32.41
jfs41.22
btrfs43.09
ntfs-3g66.65
vfat84.92
xfs509.30


Холодное выполнение emerge, с предварительным сбросом кешей.
Файловая системавремя, секунд
tmpfs178.82
ext4191.80
xfs210.82
jfs210.83
ntfs-3g214.21
ext3217.94
reiserfs220.37
btrfs220.55
ext22051.19
vfat2074.10


Тёплое выполнение emerge, непосредственно за холодным, то есть из кеша:
Файловая системавремя, секунд
xfs172.06
jfs175.60
tmpfs177.54
ext3180.64
vfat188.24
ext4189.46
ntfs-3g190.83
btrfs196.55
reiserfs208.08
ext2211.61


Общее время теста:
Файловая системавремя, секунд
ext4583
ext3637
tmpfs639
reiserfs646
jfs727
btrfs725
ntfs-3g970
xfs1526
ext22478
vfat2619


Фрагментация после распаковки:
Файловая системафрагментация
tmpfs0%
xfs0%
ntfs-3g0%
vfat0%
ext40.00176242509693338%
reiserfs0.284631653154741%
jfs0.292562566090941%
btrfs0.50052872752908%
ext36.64962989072964%
ext26.64962989072964%


Запустил зацикленный тест, со временем наберётся более репрезентативный набор :) Правда, так до сих пор и не нашёл простой инструмент, которым бы можно было построить графики для серии отсчётов с показом среднего и разброса.
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux
RU Balancer #30.01.2010 17:13
+
-
edit
 

Balancer

Администратор
jfs завесил на распаковке машину насмерть. Так, что даже Alt-SysRq не помогало. Так что из повторных тестов эта ФС пока выбывает.
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux
RU Balancer #01.02.2010 01:36
+
-
edit
 

Balancer

Администратор
Итак, результаты. Основной тест я с расшифровкой разместил в первом сообщении. Тут - все остальные со всеми подробностями и без усечений.

Время распаковки архива:

tmpfs
Amount 10
Minimum 5,25
Maximum 5,60
Median 5,32
Mean 5,36
Variance 0,01
Std. Deviation 0,12
Quartiles
0.25 5,28
0.50 5,34
0.75 5,40
ext4
Amount 9
Minimum 13,38
Maximum 16,64
Median 13,98
Mean 14,44
Variance 1,34
Std. Deviation 1,16
Quartiles
0.25 13,66
0.50 13,98
0.75 14,75
ext2
Amount 8
Minimum 13,39
Maximum 16,09
Median 14,84
Mean 14,92
Variance 0,61
Std. Deviation 0,78
Quartiles
0.25 14,76
0.50 14,87
0.75 15,60
ext3
Amount 11
Minimum 19,17
Maximum 27,82
Median 20,91
Mean 21,59
Variance 5,68
Std. Deviation 2,38
Quartiles
0.25 20,29
0.50 20,91
0.75 21,63
reiserfs
Amount 11
Minimum 19,78
Maximum 32,41
Median 20,54
Mean 21,66
Variance 13,11
Std. Deviation 3,62
Quartiles
0.25 20,31
0.50 20,54
0.75 21,53
btrfs
Amount 9
Minimum 6,00
Maximum 44,79
Median 43,53
Mean 31,48
Variance 360,23
Std. Deviation 18,98
Quartiles
0.25 6,52
0.50 43,53
0.75 44,34
ntfs-3g
Amount 9
Minimum 5,42
Maximum 66,65
Median 59,11
Mean 42,30
Variance 766,27
Std. Deviation 27,68
Quartiles
0.25 5,61
0.50 59,11
0.75 59,43
vfat
Amount 8
Minimum 83,64
Maximum 118,43
Median 84,83
Mean 89,65
Variance 138,66
Std. Deviation 11,78
Quartiles
0.25 84,53
0.50 84,92
0.75 89,32
xfs
Amount 11
Minimum 509,30
Maximum 588,88
Median 568,82
Mean 561,95
Variance 881,98
Std. Deviation 29,70
Quartiles
0.25 535,97
0.50 568,82
0.75 587,43
 


Время холодного emerge, полный график:

tmpfs
Amount 9
Minimum 171,08
Maximum 197,56
Median 186,02
Mean 184,55
Variance 80,50
Std. Deviation 8,97
Quartiles
0.25 177,34
0.50 186,02
0.75 190,17
ext4
Amount 9
Minimum 189,14
Maximum 209,49
Median 193,33
Mean 195,17
Variance 36,64
Std. Deviation 6,05
Quartiles
0.25 191,80
0.50 193,33
0.75 195,74
xfs
Amount 11
Minimum 190,21
Maximum 218,13
Median 194,20
Mean 200,56
Variance 107,62
Std. Deviation 10,37
Quartiles
0.25 191,00
0.50 194,20
0.75 210,82
reiserfs
Amount 11
Minimum 191,30
Maximum 231,63
Median 196,83
Mean 202,57
Variance 173,86
Std. Deviation 13,19
Quartiles
0.25 192,34
0.50 196,83
0.75 208,11
btrfs
Amount 9
Minimum 182,36
Maximum 220,55
Median 205,16
Mean 202,88
Variance 132,83
Std. Deviation 11,53
Quartiles
0.25 196,48
0.50 205,16
0.75 208,66
ntfs-3g
Amount 9
Minimum 180,08
Maximum 241,59
Median 218,75
Mean 213,45
Variance 382,23
Std. Deviation 19,55
Quartiles
0.25 214,21
0.50 218,75
0.75 223,11
ext3
Amount 10
Minimum 212,32
Maximum 265,52
Median 216,77
Mean 224,47
Variance 289,62
Std. Deviation 17,02
Quartiles
0.25 213,79
0.50 217,94
0.75 235,25
ext2
Amount 8
Minimum 1.872,02
Maximum 2.074,23
Median 1.904,34
Mean 1.955,54
Variance 8.197,31
Std. Deviation 90,54
Quartiles
0.25 1.897,80
0.50 1.905,84
0.75 2.065,49
vfat
Amount 8
Minimum 1.847,39
Maximum 2.158,16
Median 1.900,04
Mean 1.958,86
Variance 13.135,67
Std. Deviation 114,61
Quartiles
0.25 1.894,61
0.50 1.903,01
0.75 2.074,10
 


Время тёплого emerge:

tmpfs
Amount 9
Minimum 157,91
Maximum 177,54
Median 161,91
Mean 165,45
Variance 55,80
Std. Deviation 7,47
Quartiles
0.25 160,34
0.50 161,91
0.75 172,71
xfs
Amount 11
Minimum 157,17
Maximum 187,93
Median 163,87
Mean 166,92
Variance 70,97
Std. Deviation 8,42
Quartiles
0.25 162,12
0.50 163,87
0.75 171,40
ext3
Amount 11
Minimum 158,32
Maximum 182,75
Median 163,21
Mean 168,98
Variance 89,91
Std. Deviation 9,48
Quartiles
0.25 161,07
0.50 163,21
0.75 180,64
ext4
Amount 9
Minimum 161,69
Maximum 197,24
Median 168,11
Mean 173,12
Variance 153,64
Std. Deviation 12,40
Quartiles
0.25 163,80
0.50 168,11
0.75 175,42
btrfs
Amount 9
Minimum 161,25
Maximum 196,55
Median 166,97
Mean 174,54
Variance 193,16
Std. Deviation 13,90
Quartiles
0.25 164,53
0.50 166,97
0.75 182,76
vfat
Amount 8
Minimum 162,35
Maximum 188,24
Median 175,49
Mean 175,73
Variance 88,42
Std. Deviation 9,40
Quartiles
0.25 169,24
0.50 180,65
0.75 185,49
reiserfs
Amount 11
Minimum 161,45
Maximum 208,08
Median 167,18
Mean 176,36
Variance 287,93
Std. Deviation 16,97
Quartiles
0.25 162,98
0.50 167,18
0.75 194,09
ntfs-3g
Amount 9
Minimum 163,00
Maximum 230,73
Median 171,93
Mean 179,90
Variance 444,74
Std. Deviation 21,09
Quartiles
0.25 168,23
0.50 171,93
0.75 181,89
ext2
Amount 8
Minimum 166,92
Maximum 212,21
Median 172,38
Mean 181,12
Variance 369,53
Std. Deviation 19,22
Quartiles
0.25 169,51
0.50 174,76
0.75 211,61
 


Фрагментация

ntfs-3g
Amount 9
Minimum 0,00
Maximum 0,00
Median 0,00
Mean 0,00
Variance 0,00
Std. Deviation 0,00
Quartiles
0.25 0,00
0.50 0,00
0.75 0,00
tmpfs
Amount 9
Minimum 0,00
Maximum 0,00
Median 0,00
Mean 0,00
Variance 0,00
Std. Deviation 0,00
Quartiles
0.25 0,00
0.50 0,00
0.75 0,00
vfat
Amount 8
Minimum 0,00
Maximum 0,00
Median 0,00
Mean 0,00
Variance 0,00
Std. Deviation 0,00
Quartiles
0.25 0,00
0.50 0,00
0.75 0,00
xfs
Amount 11
Minimum 0,00
Maximum 0,00
Median 0,00
Mean 0,00
Variance 0,00
Std. Deviation 0,00
Quartiles
0.25 0,00
0.50 0,00
0.75 0,00
ext4
Amount 9
Minimum 0,00
Maximum 0,00
Median 0,00
Mean 0,00
Variance 0,00
Std. Deviation 0,00
Quartiles
0.25 0,00
0.50 0,00
0.75 0,00
reiserfs
Amount 11
Minimum 0,25
Maximum 0,35
Median 0,28
Mean 0,29
Variance 0,00
Std. Deviation 0,03
Quartiles
0.25 0,26
0.50 0,28
0.75 0,29
btrfs
Amount 9
Minimum 0,00
Maximum 0,52
Median 0,49
Mean 0,33
Variance 0,06
Std. Deviation 0,25
Quartiles
0.25 0,00
0.50 0,49
0.75 0,49
ext2
Amount 8
Minimum 6,65
Maximum 6,65
Median 6,65
Mean 6,65
Variance 0,00
Std. Deviation 0,00
Quartiles
0.25 6,65
0.50 6,65
0.75 6,65
ext3
Amount 11
Minimum 6,65
Maximum 6,65
Median 6,65
Mean 6,65
Variance 0,00
Std. Deviation 0,00
Quartiles
0.25 6,65
0.50 6,65
0.75 6,65
 


Время удаления портежа по rm -rf:

tmpfs
Amount 9
Minimum 1,45
Maximum 1,59
Median 1,47
Mean 1,48
Variance 0,00
Std. Deviation 0,04
Quartiles
0.25 1,46
0.50 1,47
0.75 1,48
ext2
Amount 8
Minimum 13,01
Maximum 15,88
Median 14,08
Mean 14,22
Variance 0,64
Std. Deviation 0,80
Quartiles
0.25 14,04
0.50 14,11
0.75 14,58
ext4
Amount 9
Minimum 12,32
Maximum 18,86
Median 14,75
Mean 15,02
Variance 2,91
Std. Deviation 1,71
Quartiles
0.25 14,60
0.50 14,75
0.75 14,91
reiserfs
Amount 11
Minimum 16,14
Maximum 23,08
Median 19,58
Mean 19,70
Variance 3,59
Std. Deviation 1,90
Quartiles
0.25 18,61
0.50 19,58
0.75 21,00
vfat
Amount 8
Minimum 26,92
Maximum 32,12
Median 28,23
Mean 28,51
Variance 2,72
Std. Deviation 1,65
Quartiles
0.25 27,43
0.50 28,35
0.75 29,35
ext3
Amount 11
Minimum 26,42
Maximum 32,30
Median 29,24
Mean 29,51
Variance 4,15
Std. Deviation 2,04
Quartiles
0.25 27,72
0.50 29,24
0.75 31,42
btrfs
Amount 9
Minimum 1,46
Maximum 75,82
Median 71,91
Mean 49,33
Variance 1.285,94
Std. Deviation 35,86
Quartiles
0.25 1,74
0.50 71,91
0.75 73,70
ntfs-3g
Amount 8
Minimum 1,46
Maximum 157,38
Median 145,92
Mean 111,47
Variance 4.604,06
Std. Deviation 67,85
Quartiles
0.25 142,69
0.50 146,21
0.75 149,75
xfs
Amount 11
Minimum 453,08
Maximum 549,99
Median 517,82
Mean 512,92
Variance 842,17
Std. Deviation 29,02
Quartiles
0.25 497,20
0.50 517,82
0.75 533,83
 


Общее время теста:

ext4
Amount 9
Minimum 554,00
Maximum 643,00
Median 566,00
Mean 575,44
Variance 727,28
Std. Deviation 26,97
Quartiles
0.25 563,00
0.50 566,00
0.75 576,00
tmpfs
Amount 9
Minimum 551,00
Maximum 661,00
Median 569,00
Mean 588,89
Variance 1.539,86
Std. Deviation 39,24
Quartiles
0.25 562,00
0.50 569,00
0.75 607,00
reiserfs
Amount 11
Minimum 562,00
Maximum 670,00
Median 574,00
Mean 595,55
Variance 1.513,07
Std. Deviation 38,90
Quartiles
0.25 565,00
0.50 574,00
0.75 627,00
ext3
Amount 11
Minimum 604,00
Maximum 729,00
Median 620,00
Mean 642,82
Variance 1.774,16
Std. Deviation 42,12
Quartiles
0.25 610,00
0.50 620,00
0.75 673,00
btrfs
Amount 9
Minimum 618,00
Maximum 725,00
Median 670,00
Mean 667,33
Variance 936,00
Std. Deviation 30,59
Quartiles
0.25 667,00
0.50 670,00
0.75 678,00
ntfs-3g
Amount 8
Minimum 629,00
Maximum 1.021,00
Median 955,50
Mean 912,88
Variance 15.552,98
Std. Deviation 124,71
Quartiles
0.25 948,00
0.50 958,00
0.75 977,00
xfs
Amount 11
Minimum 1.526,00
Maximum 1.720,00
Median 1.633,00
Mean 1.629,91
Variance 2.585,49
Std. Deviation 50,85
Quartiles
0.25 1.619,00
0.50 1.633,00
0.75 1.657,00
ext2
Amount 8
Minimum 2.244,00
Maximum 2.522,00
Median 2.277,00
Mean 2.346,00
Variance 13.522,86
Std. Deviation 116,29
Quartiles
0.25 2.272,00
0.50 2.281,00
0.75 2.478,00
vfat
Amount 8
Minimum 2.354,00
Maximum 2.756,00
Median 2.422,50
Mean 2.490,50
Variance 20.064,29
Std. Deviation 141,65
Quartiles
0.25 2.407,00
0.50 2.425,00
0.75 2.619,00
 
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux
RU Balancer #01.02.2010 17:34
+
-
edit
 

Balancer

Администратор
Скрипты теста положил в http://balancer.ru/files/1001/test-fs-usr-portage.tar.gz
... чтобы понять рекурсию, нужно сперва понять рекурсию ...  OperaLinux

| Добавить страницу в другие сервисы закладок и блоги...
Balancer.Ru » форумы » старые » Наука и техника » Компьютерный » Linux » Тестирование различных файловых систем для использования...
Copyright © Balancer 1997..2010
Создано 30.01.2010
Поиск
Настройки
Персональное
Новости сайта
Популярные темы
География форума



АвиаТОП

 
Сайт работает на сервере ETegro Technologies