生産性を高めるための有意義なコンピュータベンチマークテストの手引き

ベンチマークプログラムは、明確に定義されたテストベッド（通常、コンピュータの最終的な構成とは程遠いもの）に基づいて、コンピュータの「性能」を分析しようとします。ベンチマークの実行者は、システムリソース、仮想ソフトウェア環境、アプリケーション、処理負荷シミュレーション、ユーザー負荷シミュレーション、システム利用シミュレーションなど、直面する限界を逆手に取ることができます。そして、そうした限界を乗り越えて、疑問の残る結果を導き出すために必要なことは何でも行います。「業界標準のベンチマークを持つことは、そのベンチマークが操作されていない限り、常に良いことです。残念なことに、多くの業界ベンチマークは操作されています。（中略）それにもかかわらず、多くの組織が、自身のワークロードを理解し、要件や予算に基づいてハードウェアを購入するのではなく、ベンチマークに基づいてハードウェアを購入しているようです。」（Newman, 2015）。これが、顧客が何を測定しようとしているのかを正確に知る必要がある理由です。ベンチマークプログラムは、いわゆる実世界の体験を反映することは決してできません。ただ、そのプログラムが意図されたコンピュータでどれだけうまく動作するかを反映するだけです。したがって、結果が生産環境でどのように適用されるかを判断するのは顧客の責任です。

驚くべきことに、ベンチマークを正しく行うことは非常に困難です。悪い結果や誤解を招く結果をもたらしたり、重要なことを省略したりする可能性があるためです。ホワイトペーパー「A Nine Year Study of File System and Storage Benchmarking（ファイルシステムおよびストレージのベンチマークに関する9年間の研究）」は、これを次のように要約しています。

本稿では、最近の論文106本から415のファイルシステムとストレージのベンチマークを調査した。その結果、最も普及しているベンチマークには欠陥があり、多くの研究論文が真の性能を明確に示していないことが判明した。（Traeger, Zadok, Joukov, & Wright, 2008）

このホワイトペーパーでは、ベンチマークは何をテストしようとしているのか、なぜそうするのかを説明し、期待されるシステム性能の分析を行う（または容易にする）べきであるという記述が見られます。

「Performance Anti-Patterns（性能のアンチパターン）」という記事では、このケースにおいて、何のために、どのようにベンチマークを実行すべきかを判断するための重要なポイントがいくつか挙げられています。したがって、優れたベンチマークとは以下のようなものであるべきです。

• 再現性がある: 比較実験を比較的容易に、かつ妥当な精度で行えること。
• 観測可能である: 性能が低い場合、開発者が調査を開始する足掛かりとなる情報があること。単一の数値を提示するだけで、問題がどこにあるのかについての補足情報を提供しない複雑なベンチマークほど、開発者にとってフラストレーションがたまるものはありません。
• 移植性がある: 主要な競合製品（たとえそれが自社の過去のリリースであっても）と比較が可能であること。過去のリリースの性能履歴を維持することは、自社の開発プロセスを理解する上で貴重な助けとなります。
• 提示が容易である: 短いプレゼンテーションで誰でも比較内容を理解できること。
• 現実的である: 測定結果が顧客が体験する現実に反映されていること。
• 実行可能である: すべての開発者が変更の影響を迅速に確認できること。性能結果を得るのに何日もかかるようでは、頻繁に実施することはできません。

選択されたすべてのベンチマークがこれらの基準をすべて満たすわけではありませんが、その一部が満たしていることが重要です。Smaalders氏は、顧客のニーズを真に反映したベンチマークを選択するよう推奨しています。さもなければ、すべての努力が間違った動作の最適化に行き着いてしまうからです。また、何としてもコンテストに勝つことを目的に、ベンチマークのために最適化したいという誘惑に抵抗するよう促しています。そのような行動は、ブランドやプロバイダーに対する信頼の欠如を招くような偽の結果を提供することになります。一般的に、ベンチマークは最適化された側面を強調しますが、測定されていない（そして顧客にとって重要である可能性がある）他の側面を犠牲にします。（Smaalders, 2006）

購入を目的として様々なシステムを比較する際には、もう一つ考慮すべき点があります。価格性能比です。この比率は、機器の5年間の資本コストを含めて定量化することができます。（Anon & Gray, 1985）

ベンチマークソフトウェアによる単純なテストは、完全な性能分析ではありません。ベンチマークプログラムは通常、制御された環境で動作するため、望ましい評価（可能な限り高い数値）を得るように操作される可能性があります。それにもかかわらず、そのような評価は、実際の顧客体験との適切な相関関係を提示することは決してありません。むしろ、提供される指標は、その特定のベンチマークでどれだけうまく動作するかを示すスコアに過ぎません。大きな問題は、ユーザーが何をテストしているのか、ベンチマークスコアの各側面がどのように測定されているのか、コンパイラでどのフラグが設定されているのか、プログラムの背後にあるコードやライブラリは何か、そしてさらに重要なことに、プログラムがテストしている内容がコンピュータの実際の使用目的を反映しているのかを、決して正確には知らないということです。したがって、指摘すべき点がいくつかあります。

• ベンチマークは実世界の用途を反映しない: 全自動プログラムであるベンチマークは、完全に自動化された方法で、開く、書き込む、設定する、読み取る、保存する、表示する、検索する、ナビゲートする、移動する、計算する、割り当てるなど、多くのタスクを行います。このような方法は、人間が自分の仕事を行うペースを反映することは決してありません。したがって、実世界の用途に基づく結果を約束するベンチマークプログラムは、嘘をついています。
• すべてのベンチマークがマルチタスク性能を評価するわけではない: 大多数のベンチマークは、連続して実行されるタスクのみを評価します。一つのことをテストしてから、次のことを行います。あるアプリケーションが何かをしている間に別のアプリケーションに別のことをさせることは決してありません（もしそうであっても、通常は2つ、せいぜい3つのインスタンスを試す程度です）。現実の生活では、ユーザーは複数のアプリケーションを同時に実行します。ほとんどのユーザーは一度に多くのアプリケーションを開きます（オペレーションシステムも私たちが日常のタスクを行う間、多くのタスクを実行します）。一つのプロセスやアプリケーションのみを反映するベンチマークは、2番目、3番目、そしてその他のプロセスやアプリケーションと線形にスケールするわけではないという点に言及しておく価値があります。したがって、現代のマルチコア技術において、ベンチマークプログラムの結果は鵜呑みにしないことが重要です。
• 「評価」は「性能」と同じではない: 評価はプログラムによって与えられた単なる数値です。性能はもっと複雑なものです。評価の数値は、ベンチマークプログラムとその開発者が定めた尺度に依存します。性能とは、事前に設定された既知の精度、完全性、コスト、および速度の基準に照らして測定された、特定のタスクの達成度です（The Business Dictionary, 2017）。したがって、いかなるベンチマークプログラムの評価も、性能指数を反映するものではありません。
• ベンチマークは不正確である: ベンチマークプログラムの評価における変動は、最大10%（時にはそれ以上）になることがあります。これらのベンチマーク評価は常に主観的であり、科学技術の客観的な原則に反します。そのため、ベンチマークプログラムは少なくとも3回実行して評価の平均値を算出する必要があります。平均値を決定した後、少なくとも+/-3%の結果の変動が予想されます（このような変動は、収集された結果に基づいて算出できます）。
• ベンチマークの結果は操作できる: ベンチマークプログラムの結果を操作し、ユーザーに印象付けるためだけに人為的に高い評価を提示する方法が存在します。これは、過度な調整、BIOSの設定、ハードウェアの変更、特別なドライバーの使用、コードの操作など、多くの技術を通じて行われる可能性があります。ベンチマークの評価は、コンピュータが実際にどのように使用されるかと比較して、非現実的な設定で取得される可能性があります。システムはプログラムやプロセスから解放され、特定のベンチマークに依存する特定の値を持つことが求められますが、これはコンピュータが生産性向上のために使用される方法を反映していません。Henry Newman氏が述べたように、「ベンチマークが我々に告げるのは、1）ベンダーが箱の中にどれだけのハードウェアを詰め込めるか、2）ベンダーチームが（ベンチマークのために）ソフトウェアをどれだけうまく最適化できるか、そして、3）ベンダーがどれだけ必死に取引を成立させたいか、ということである。」（Olds & OrionX, 2011）。顧客によって明確に規定されたベンチマークプロトコルが存在しない場合、ベンチマークの実行者が結果を達成（または上回）し、顧客に印象付けるために行えるあらゆるトリックに対して扉が開かれることになります。

結局のところ、ベンチマークプログラムは精密なツールではなく、注意して使用する必要があります。Henry Newman氏が個人的なやり取りの中で引用したように、「システム性能ツールをベンチマークで比較することは、リンゴと空飛ぶ豚を比較するようなものである。」（Carrier, 2012）

ベンチマークによって提供されるスコアは、システム全体の性能を完全に理解するために、他のベンチマークや追加の詳細情報と組み合わせて使用する必要があります。ベンチマークは、せいぜいコンピュータの「速度を測定する」ものに過ぎませんが、考慮すべき点は他にもたくさんあります。商業基準、軍事基準、機能性、特徴、認証、価格などがその例です。

購入を検討しているコンピュータが様々なユーザー要件を満たす必要がある場合は、意図された使用ケースをあらかじめ決定し、詳細な適切な資格基準セットを確立するのが最善です。多くの場合、コンピュータは以下のコンテキストの1つ以上で使用される可能性が高いです。

• 現在のグラフィカルなオペレーション環境（少なくともWindows 10またはGNU/Linuxディストリビューション）で使用される
  • または、Windows 7やWindows 8.1、あるいは以前のGNU/Linuxディストリビューションのような旧バージョンのオペレーションシステムで使用される場合。
• 基本的な生産性（実行中のアプリケーションが5つ以下）：
  • アンチウイルス
  • ワードプロセッシング
  • 電子メール
  • スプレッドシートの軽微な使用
  • Webベースのアプリケーション
  • Webブラウジング（タブを6つまで開く）
• 標準的な生産性（実行中のアプリケーションが5〜10）：
  • 基本的な生産性と同様、さらに…
  • オフィスアプリケーション（画像操作を伴うワードプロセッシング、数式とスクリプトを用いたスプレッドシート、プレゼンテーション、基本的なデータベース管理）
  • Webブラウジング（タブを最大15まで開く）
  • Web会議
  • 画像や動画の表示と簡単な編集
  • 教育
  • ビデオ、画像、アニメーション、Webアクセス、および現在アクセラレーションコンピューティングを使用するアプリケーションを多用することを想定
• パワーユーザー（実行中のアプリケーションが10以上）：
  • 標準的な生産性と同様、さらに…
  • アプリケーション開発
    • プログラミング言語と環境の使用
    • データベースの作成、管理、テスト
    • バーチャルマシーンを使用したテストベッド
    • 制御されたテスト環境
  • 科学研究用プログラム
    • 特化されたアプリケーション
    • エンジニアリングおよび科学アプリケーション
    • バーチャルリアリティ
• 一般知識として、ゲームは現在、ハイパフォーマンスコンピューティングと見なされています（Stevenson, Le Du, & El Afrit, 2011）
• その他の基準
  • 低消費電力が求められるか？
  • コンピュータが占めるスペースは重要か、あるいは限られているか？
  • モビリティが必要か？
  • バッテリー駆動時間は重要か？
  • 重量は重要か？
  • 過酷、埃っぽい、または騒がしい環境でのポータブルな使用を伴うその他の用途

このセクションのタイトルの用語は奇妙に見えるかもしれませんが、実際には一般的に無視または軽視されている問題です。これは次の質問を指します。「ユーザーにとって本当に重要な応答時間はどれくらいか？」速度と性能は、実際には相対的な用語です。Ilya Grigorik氏は、「性能」という言葉が何を意味するかについて興味深い概念を提案しています。

「性能は単なるミリ秒、フレーム、メガバイトではない。これらミリ秒、フレーム、メガバイトが、ユーザーがアプリケーションをどう知覚するかにどう変換されるかということでもある。」（Grigorik, 2014）

各アプリケーションは、ビジネス基準、コンテキスト、ユーザーの期待、そして完全にユーザーに向けられた知覚的な処理時間の定数に従って、独自の要件セットを規定しています。繰り返しになりますが、ユーザーの期待はMaisterの第一法則と関係があります。「満足度＝知覚マイナス期待値」（Maister, 1985）。人生がどれだけ加速しようとも、あるいは少なくとも加速しているように感じられようとも（66msごとに1フレーム）、私たちの反応時間は一定のままです。従来の研究（Thorpe, Fize, & Marlot, 1996）によると、ユーザーは約15フレーム/秒を見ることができると考えると、以下の表（ミリタリースタンダード1472Gに基づく）は、ユーザーが通常期待する応答時間を明確に示しています。これは、アプリケーションの種類（コンピュータにインストールされているかオンラインか）やデバイス（ノートパソコン、デスクトップ、モバイルデバイス）に関係ありません。

実際の時間とユーザーの知覚（Seow, 2008）

• 0 – 100 ms: 即時
• 100 – 500 ms: 直感的
• 500 – 1000 ms: 高速
• 1 – 10 s: ラグは知覚されるが、ユーザーは集中力を失わない。
• +10 s: コンピュータの動作が遅すぎて、ユーザーの注意を引き留めておけない。

ユーザーの要求に対する応答が高速であると知覚されるためには、1秒以内に届く必要があります。1秒以上かかると、ユーザーはある種のラグを知覚する可能性がありますが、タスクから注意が逸れることはありません。10秒経過してもプログラムがユーザーに何らかの情報を提示しない場合、通常、タスクは放棄され、ユーザーは不快感を覚えます。評価対象のコンピュータがそれと同等の時間内、あるいは10秒以内に応答を提供できれば、ユーザーはそのコンピュータからより多くの利益を得ることができます。これらの閾値は、その意味が明確でないベンチマークプログラムの結果よりも、現実世界ではるかに有用です。

とはいえ、効果的なベンチマークでは、顧客はそれがどのように適用され、そこからどのような分析や結論が得られるかを知っておく必要があります。分析においては、以下を理解し、提示することが重要です。

• 最小期待結果の閾値または参照値
• 何をテストしようとしているのか
• 制限要因は何か
• 結果に影響を与える可能性のあるあらゆる攪乱要因
• テストされたシステムの詳細
• テストされたシステムの価格（少なくとも平均価格）
• 結果からどのような結論を導き出そうとしているのか

閾値は公開サイト（Futuremarkなど）から取得することも、現在使用されており、優れた構成を持つコンピュータからローカルで作成し、これから提供されるコンピュータごとのベンチマークのベースラインを設定することもできます。ベースラインとして使用されたこのコンピュータの構成の詳細（プロセッサ、メモリ［容量、速度、構成、タイミング］、ストレージ、グラフィックカード、モニター）をメモしておき、明確なイメージを持ってください。

ベンチマークの分析を正しく行うには時間と経験が必要です。前述の通り、最も重要なのは、何を測定しようとしているのか、そして得られた結果がコンピュータの意図された使用目的において有意義であるかどうかを判断することです。

以下は、選択または適用されたベンチマークの結果を、可能な限り公平かつ現実的にするための推奨ベンチマークプロトコルです。

構成およびベンチマークのプロセスにおいて、特にベンチマーク実行者がサードパーティである場合、その担当者を一人にしないことを推奨します。顧客は、ベンチマークプロセスのために機械を構成する際に実行者が行うあらゆることを書き留める立会人を割り当てる必要があります。さらに、立会人は、各タイプのベンチマークテストの後に実行者が行うあらゆる変更や修正も記録する必要があります。顧客として明確なプロトコルを持っている場合、実行者はベンチマークプロセスで勝つためだけにそのプロトコルを侵害してはなりません。ベンチマークの実行者と立会人は、特に実行者がサードパーティである場合、同一人物であってはなりません。

ブランドや提供されるハードウェアに関係なく、すべてのコンピュータは以下の構成基準を満たす必要があります。

• 物理クアッドコアプロセッサを要求した場合、すべてが4つの物理コアを持っている必要があります。
• 特定の容量、速度、構成のRAMを要求した場合、すべてのコンピュータが同じ構成であることを確認してください。相違点はすべて記録してください：
  • サイズ
  • 速度（MT/s）
  • タイミングとレイテンシ（CAS, RAS, tRAS, tRC, 周波数）
  • シングルチャネル vs デュアルチャネル
• 特定のタイプのストレージを要求した場合、すべてのコンピュータがそのタイプのストレージを含んでいることを確認してください。見つかった相違点はすべて記録してください（スループット、シークタイム、書き込み時間）：
  • 標準的な回転式ハードディスク（5400RPM, 7200RPM, 10000RPM, SSHD）
  • SSD
• ビデオカードは、Windows 10の場合はShader Model 6.1 (DirectX 12.1)、以前のバージョンのWindowsの場合はShader Model 5 (DirectX 11)を満たす必要があります。
• モニターは、すべてのコンピュータで同じ特徴を満たす必要があります
  • リフレッシュレート
  • 応答時間（ms）
  • 解像度（解像度が高いと、ベンチマーク数値が低くなる可能性がある）
  • 色深度
• オペレーションシステムは、同じバージョンおよびコンパイルである必要があります。
  • Windowsでは、Cortanaボックスに「winver」と入力してEnterキーを押すか、Windows+Rを押して「ファイル名を指定して実行」ウィンドウを表示することで、バージョンとコンパイルを確認できます。
• すべてのコンピュータには、コンピュータメーカーが承認した現在のドライバーのみがインストールされている必要があります。注：コンポーネントメーカーが提供する特別なドライバーや調整されたドライバーの使用は、偽の結果をもたらす可能性があるため許可しないでください。コンピュータメーカーのWebサイトやセットアップツールで検証され、公開されている以外のドライバーの使用は避けてください。
• コンピュータを「バランス」モードに設定します。これが、顧客がコンピュータを使用することを意図している方法であり、ベンチマークから結果を得るために最も忠実な方法です。
• 顧客が一般的に使用するアプリケーションをインストールします。テストで使用されないとしても、それがコンピュータが実際に使用される方法だからです。
• 顧客が必要とするその他のソフトウェア（アンチウイルスやツールなど）をインストールします。これにより、エンドユーザーが使用する構成に限りなく近い設定になります。
• ベンチマークプログラムをインストールします。

コンピュータのインストールが完了したら、ホットベンチマーキングを行うことを推奨します。ホットベンチマーキングでは、ベンチマークプロセス中に起こるすべて（テストのスキップされた部分、抜けている手順、画面の不具合、奇妙に描画された図や画像など）を記録するエンジニア（技術者ではなくエンジニア）が必要です。そのような異常は記録し、報告する必要があります。コールドベンチマーキング（ベンチマークを実行してコンピュータから離れ、結果を書き留めるためだけに戻る）は、ベンチマーク中の奇妙な動作の証拠が記録されないため、避けるのが賢明です。前述の通り、ベンチマークの評価を操作する方法は存在し、コールドベンチマークを行うことは、この種の慣行を見逃す最善の方法です。

ベンチマークの評価は5〜15%の変動をもたらす可能性があるため、各テストを少なくとも3回実行することを推奨します。実行するたびにコンピュータの再起動が必要となり、デスクトップが表示されてから約5分間待ち、それからベンチマークを再実行してください。各ベンチマークの実行後、結果の証拠を保存するためにスクリーンショットを撮ることを推奨します。これは、選択した各ベンチマークプログラムで行う必要があります。

各ベンチマークの実行を通じて得られた異なる評価を平均するか、最も高い値または最も低い値を取るかは、顧客の判断に委ねられています。どのような決定を下すにせよ、使用するすべての異なるベンチマークにそれを適用することを推奨します。提案としては、平均値を使用することです。

そのような結果を得た後、それらを正規化し（本ドキュメントの本文のように）、線形的に時間に変換することができます。コンピュータの価格と合わせることで、どのシステムが最高の価格性能比を提供するかを評価することもできます。

ベンチマークプロセスには、時間、経験、忍耐が必要です。適切に行われれば、ベンチマークプログラムはコンピュータの期待される性能について良い考えを与えてくれます。立会人が記録したすべては、もし選定された場合にコンテスタントが何を提供する必要があるかを判断するために役立ちます。ベンチマークプロセス中に記録された構成（プロセッサ、RAM［容量、速度、タイミング、チャネルモード］、ストレージ［タイプ、スループット、容量］、モニター、フォームファクタなど）は、納品されるコンピュータがテストされた通りに正確に構成されていることを確認するために役立ちます。これは、一部の悪質なプロバイダーがテストプロセスのためだけに特別な構成のコンピュータを提供し、最終的にはまったく異なるコンピュータを提供する場合があるため、重要です。したがって、これは顧客がテストされたものを正確に受け取るのに役立ちます。

以上の議論から、以下のように結論付けることができます。

• 顧客が購入しているのはコンピュータであり、プロセッサや特定のコンポーネントだけではありません。したがって、購入を決定する際にはシステム全体（全体論的）に考慮することが必要です。
• コンピュータの性能はそのすべての要素から導かれます。これにはハードウェアとソフトウェアが含まれます。コンピュータの全体的な性能は、常にその最も遅い要素の性能と等しくなります。
• 省エネ対策、熱生成、コンピュータの安定性、ビジネス利用のための認証、および提供されるセキュリティサービスを考慮に入れる必要があります。単なるベンチマークベースの速度以上に、現在の技術では低消費電力と提供されるセキュリティサービスが求められています。
• アプリケーションやオペレーションシステムに統合された新しい技術は、プロセッサ以上のものを活用していることを認識することが重要です。むしろ、CPU、GPGPU、バス、RAM速度、ディスク転送レートなどの他のコンポーネントにより重点が置かれています。
• コンピューティングパワーの真の測定は、直列処理やCPUの分野だけでなく、コンピュータが全体として測定されたときに得られます。オフィスツール、Webブラウザ、ファイル圧縮、ビデオプレイヤー、テレコンファレンスツール、Webベースのアプリケーションなどを使用する顧客は、これらの新しい技術のすべての機能を異種アーキテクチャで活用することになります。

これに関する最後の注意点として、これから受けるであろう性能向上についてより良い考えを得るためには、常に閾値または参照値が必要です。現在までの「リファレンスオフィスPC」の基準としてFutureMarkが提供するベース測定値を使用したくない場合は、オフィスのベースコンピュータを独自の基準に基づいて測定することもできます（おそらく、その標準的な性能に満足しているコンピュータ）。ベンチマークを実行して結果を得たら、その結果を閾値として使用し、提供されるソリューションに対する最低限の期待評価を持つことができます。もう一つ注意すべきことは、「評価」は「性能」と同じではないということです。 「評価」はベンチマークプログラムによって実行されたプロセスに資格を与えるだけです。「性能」は、そのコンピュータを自身のタスクで使用する際に得られる真の結果です。

Anon, E. A., & Gray, J. (February, 1985). A Measure of Transaction Processing Power. Retrieved March 22, 2015, from Internet Archive: https://archive.org/details/bitsavers_ta...

Carrier, J. (April 24, 2012). HPCS I/O Scenarios. Retrieved from OpenSFS: http://cdn.opensfs.org/wp-content/upload...

Computerhope. (March 15, 2015). Thrashing. Retrieved from Computer hope: http://www.computerhope.com/jargon/t/thr...

Gregg, B. (2014). Systems Performance Enterprise and the Cloud (1 ed.). USA: Pearson Education.

Grigorik, I. (March 12, 2014). Speed, Performance, and Human Perception. (Fluent, Ed.) San Francisco, CA, USA. Retrieved March 22, 2015, from https://www.youtube.com/watch?v=7ubJzEi3...

Hoff. (December 30, 2006). Multicore, SMP and SMT Processors. Retrieved 22 de March de 2015, from HoffmanLabs: http://labs.hoffmanlabs.com/node/13

Maister, D. (1985). The Psychology of Waiting Lines. (T. S. Encounter, Ed.) Retrieved March 22, 2015, from David Maister: Professional Business, Professional Life: http://davidmaister.com/wp-content/theme...

Mallik, A. (2007). Hollistic Computer Architectures based on Application, User, and Process Characteristics. Evanston, Illinois, USA: UMI.

Newman, H. (2015). Data Storage Issues: Big Data Benchmarking. Retrieved from InfoStor: http://www.infostor.com/index/blogs_new/...

Olds, D., & OrionX. (December 19, 2011). Benchmarks are $%#&@!! Retrieved from The Register: http://www.theregister.co.uk/2011/12/19/...

Osterhage, W. (2013). Computer Performance Optimization (1 ed.). (Springer-Verlag, Trans.) Niederbachem, Germany: Springer-Verlag Berlin Heidelberg.

Seow, S. (2008). Designing and Engineering Time. Boston, USA: Prentice Hall.

Smaalders, B. (February 23, 2006). Performance Anti-Patterns. doi:1542-7790/06/0200

Stevenson, A., Le Du, Y., & El Afrit, M. (March, 2011). High Performance Computing on Gamer PCs. Retrieved from ArsTechnica: http://arstechnica.com/science/2011/03/h...

The Business Dictionary. (2017). Performance. Retrieved from The Business Dictionary: http://www.businessdictionary.com/defini...

Thorpe, S., Fize, D., & Marlot, C. (June 6, 1996). Speed of processing in the human visual system. Nature, 381, 520-522. Retrieved from Quora: http://cns.bu.edu/Profiles/Mingolla.html...

Traeger, A., Zadok, E., Joukov, N., & Wright, C. (2008, May). A Nine Year Study of File System and Storage Benchmarking. Retrieved March 22, 2015, from File systems and Storage Lab (FSL): http://www.fsl.cs.sunysb.edu/docs/fsbenc...

Vieira, L. (October 3, 2011). The Perception of Performance. Retrieved March 22, 2015, from Sitepoint: http://www.sitepoint.com/the-perception-...