Измерим результаты?
Ну что же, раз замерам на глаз доверия нет, надо использовать секундомер и различные программы, измеряющие скорость — не так ли? Казалось бы, чего проще: запустил тест, записал результаты, подкрутил настройки, еще раз запустил тест, сравнил результаты, и, вуаля, все ясно и очевидно — скорость либо увеличилась, либо уменьшилась, либо не изменилась.
Но не зря говорится, что дьявол кроется в деталях, и не зря приходят на ум слова Эйнштейна: «Здравый смысл — это набор предрассудков, накопленных человеком до достижения им 18 лет».
На самом деле все не так просто, ведь измерения никогда не дают абсолютно точный результат. В быту этой неточностью часто пренебрегают, что, впрочем, для бытовых целей вполне оправдано. Но, к сожалению, эту въевшуюся в плоть и кровь привычку нельзя механически переносить на все случаи измерений.
Комплекс из компьютера и современной операционной системы — это сложная система (прошу прощения за тавтологию), в которой одновременно происходит много процессов, и абсолютной повторяемости достичь невозможно. Например, во втором замере файлы могли расположиться на диске по-другому, что, конечно, хоть и в небольшой степени, но скажется на результатах.
Более того, даже такие тесты, как проверка быстродействия видеоадаптера, могут давать отличающиеся результаты, что называется, на ровном месте. В качестве примера можно привести это сообщение в форуме. Несмотря на то, что никаких реальных изменений в системе не произошло (напомню, Windows XP не использует изменявшийся параметр реестра), результаты измерений оказались различными.
В общем-то, ни для кого не секрет, что внутренние процессы, происходящие в Windows, могут повлиять на результаты других тестов, увеличив разброс результатов и, тем самым, снизив их достоверность. И корпорация «Майкрософт», лучше других зная свои ОС, публикует рекомендации, как добиться уменьшения разброса результатов измерений, см., например,
http://www.microsoft.com/whdc/archive/benchmark.mspx и
http://www.microsoft.com/whdc/system/sy ... 7Perf.mspx.
Так что в обычных условиях выполнить только два замера и делать на их основании выводы может оказаться несколько опрометчивым поступком. Конечно, в ряде случаев это может быть вполне допустимым, но мы-то здесь обсуждаем случаи, когда разница в замерах ожидается достаточно малой. Автор, конечно, имеет в виду не ожидания энтузиастов «со взором горящим», а ожидания специалистов.
Например, десять лет назад я изучал влияние параметра ConservativeSwapfileUsage на работу Windows 98 и в ходе экспериментов выполнил 12 замеров. После обработки результатов стало ясно, что изменения, происшедшие в системе, невелики и сопоставимы с разбросами результатов, полученных в одинаковых условиях. Привлечение методов статистической обработки результатов экспериментов показало, что для определения того, насколько изменилось быстродействие системы, понадобится провести как минимум несколько сотен замеров. Естественно, пришлось ограничиться качественными выводами, а не количественными.
Есть две бесконечности - Вселенная и глупость. Впрочем, я не уверен насчет Вселенной (с) Эйнштейн