PCゲームを動作させるPC環境の3Dグラフィックス性能を評価する上で重要となるベンチマークテスト。
最近ではベンチマークテストの結果を掲載するWEBメディアの多くは、平均フレームレートだけでなく「1パーセンタイルフレームレート」や「1% Low fps」も併記している。
また、各メーカーが配布している計測ソフトも1% Lowを表示する機能を搭載しているものが多い。
ベンチマーク結果の「平均フレームレート」だけ見てませんか？
多くのベンチマークテスト結果には「1パーセンタイル」や「1% Low」も併記されている
1パーセンタイルfpsとは？
1パーセンタイルfps：
サンプリング(ベンチマークテスト)で得られたデータを小さい順に並べ替えた際、最小値から数えた時に1%に位置するフレームレートの値。
1% Low fps：
サンプリング(ベンチマークテスト)で得られたデータを小さい順に並べ替えた際の、下位1%の平均値。(NVIDIA Frame View)
※NVIDIAによると、1パーセンタイルではスタッタリングを見逃してしまう可能性があるため、下位1%の平均値を使っているとのこと。
呼び方は色々
ベンチマークソフトや掲載サイトによって呼び方は異なる。
「1パーセンタイル fps」
「99%th fps」
「99% fps」
「1% Low fps」
「下位1% fps」
など
何がわかる？
- 高負荷時にフレームレートがどの程度まで低下しているのかがわかる
- 平均フレームレートに反映されない瞬間的な遅延の有無を把握しやすい
- フレームの描画間隔に一貫性があるかどうか
言い換えると、「ゲームの大部分ではこの値より高いフレームレートでプレイすることができる」ということになる。
「平均フレームレート」と「1パーセンタイルフレームレート」の値が近ければ、パフォーマンスが安定している可能性が高い。
なぜ1パーセンタイルfps（1% Low fps）が重要？
平均値だけでは本当の快適さはわからないから
平均フレームレートは100fpsです
という情報と
平均フレームレートは100fps
ですが
50fps前後まで低下する場面もありました
という2つの指標があった場合、前者と後者では印象が異なる。
「平均」は悪い部分も含んだ上での数値である。平均フレームレートだけでは一貫して快適なのかどうかはわかりづらいため、ベンチマークテストの結果に1パーセンタイルのフレームレートを併記しているウェブサイトが多い。
ゲームを遊んでいて本当に気になるのは「フレームレートが低下した時」だから
オンラインゲーム等、マルチプレイのゲームをプレイする際は特に「状況に応じて負荷が大きく異なる」
- 周囲にプレイヤーが少なく、戦闘もしていない状況
- 敵と戦っている状況
- 周囲に大勢のプレイヤーがおり、激しい戦闘が行われている状況
- インスタンスダンジョン内で数人のパーティを組んで戦闘をしている状況
- 街
- フィールド
「今144fpsで動作している！ぬるぬるだ！」と感動する時よりも「なんだかカクカクしている。遅延があるように感じる・・・」と不快さを感じる事の方がユーザーにとってはより大きな問題になる。
隠れ遅延：「60fps」なのにぎこちない？
ゲームを遊んでいて、「フレームレートのカウンターは60fpsで安定しているのに、なぜかカクカクしているような、もっさりしているような、スムーズではないように感じる」という経験をしたことがある人もいるかもしれない。
その場合、おそらく1パーセンタイルフレームレートの数値が落ちていることを確認できるはずだ。
各フレームの描画間隔が不規則であるために、リアルタイムのフレームレートが高くても、なぜかカクつき（スタッタリング）を感じ、操作にぎこちなさを感じる。
下のグラフは青もオレンジも「平均60fps」である。しかし、青のグラフの方が遥かに「快適」なプレイ感覚を得ることができる。この点は見過ごされやすい。
フレームの描画間隔の一貫性のことは「frame pacing」などと呼ばれており、海外メディアのDigital FoundryがYouTubeでそのことについて議論しているので、マニアックな話題に興味がある人は見てみるのも良いだろう。（Why Do So Many Games Have Frame-Pacing Problems?）
どんな結果なら良いと言える？
平均フレームレートが高く、なおかつ、1パーセンタイルフレームレート(1% Low fps)が平均フレームレートから大きく離れていない
のであれば、その環境では深刻な問題なく快適にゲームを遊ぶことが可能と考えられる。
1パーセンタイル（1% Low）のフレームレートが許容範囲内であれば、ほとんどの場面で快適にプレイできると判断することもできる。
「平均フレームレート」と「1パーセンタイルフレームレート(1% Low fps)」の両方を調べることで、そのゲームをプレイする上で、今の環境が快適なのかどうかをより正確に知ることができる。
例
以上のことを理解した上で、下の2種類のPCのベンチマーク結果を比較すると、どちらがより「快適」なのか判断することができる。
PC1は高い平均フレームレートだが1% Lowも0.1% Lowも非常に低く、PC2は平均フレームレートこそPC1より低いが、1％ LowはPC1より遥かに高い数値となっている。
この場合、PC1は大幅にフレームレートが低下する場面があるか、スタッタリングのような現象が起こっていると推測することができ、PC2は全体的によりスムーズな体験が得られると考えられる。
平均フレームレートだけだと何がわかる？
平均フレームレートだけだと、テスト環境が目標とするフレームレートに到達できるかどうか、ゲームの要件を満たせているかどうかを判断できる。
また、単純にPCの性能を評価することができる。
一方で、平均フレームレートのみだと実際にプレイした時に「快適かどうか」を正確に判断することが難しくなる。
なぜ「最小」ではなく「下位1％」を使う？
「最小フレームレート」は役に立たない
下位1%を使うのは「最小フレームレート」が外れ値であることが多く、実際にゲームをプレイする際の快適さを測る上では役に立たないことが多いためである。
一方で、1パーセンタイルのフレームレートは再現性が高く、実際にプレイして気になる部分を反映することができる。
※ウェブサイトによっては、最小と表記しつつも、実は1パーセンタイルの数値を使っている場合もある。
0.1パーセンタイル（0.1％ Low fps）
1パーセンタイルよりもさらに低い、0.1パーセンタイルの指標もあり、スタッタリングのような一瞬だけカクカクするようなフレームレートの急激な低下があるかどうかを調べる上で役立つことがある。
0.1パーセンタイルfpsが1パーセンタイルfpsよりも大きく離れている場合、対象のゲームをプレイする際に、スタッタリングあるいはプチフリーズのような現象に見舞われる可能性が高い。
平均フレームレートが安定して高いのに1パーセンタイルfpsが少し低い理由
平均フレームレートと1パーセンタイルフレームレートが一致するということはまず起こらない。
上限を60fpsで固定し、フレームレートカウンターに常に60が表示されている場合であっても、全てのフレームが60fps相当の16.6666666666667ミリ秒で均一に描画されているわけではなく、多少ばらつきがある。
下のグラフは、60fpsで安定して動作しているゲームのフレーム時間を示したもの。
赤丸で囲った部分はほんの数ミリ秒だが描画が遅れていることがわかる。
しかし、これはほんの1フレーム単位での遅延のため、平均フレームレートの数字を見ただけではこういった遅延があることはわからない。
この遅延が大きかったり、より頻繁に発生している場合、1% Low fpsの数字に反映され、快適とは呼べない動作をしていることを知ることができる。
フレームレートとフレーム時間
1秒間に描画されたフレームの数を「フレームレート」と呼ぶのに対し、1フレームを処理するのにかかった時間を「フレーム時間（フレームタイム）」と呼ぶ。
本来、快適かどうか、問題があるかどうかを知る上ではフレーム時間を見るのが適切だが、「20ms」と書かれても、開発者や専門家でないと数値が良いのか悪いのかが直感的にわかりづらいため、フレーム時間をフレームレートに変換してベンチマークテストの結果として掲載していることが多い。
1パーセンタイル/1% Low fpsどうやって測る？
最近では多くのパフォーマンス計測アプリケーションやユーティリティソフトにこの数値を表示したり、ベンチマークテストの結果に表示する機能が搭載されている。
NVIDIAの「FrameView」はデフォルトで1% Lowを表示する機能があり、計測結果を出力することもできる。また、FrameViewはGPUのメーカー問わず利用することができる。
MSI Afterburnerにも1% Lowや0.1% Lowを計測する機能が搭載されている。
なお、フレームレートが極端な値を取る読み込み中（ロード中）を計測に含めると台無しになるので注意。
参考：Gamers Nexus “What Are 1% & 0.1% Lows”, Inside the second: A new look at game benchmarking
コメント