最近の記事ではないが、海外Kotakuでメタスコアに関する記事があったので参照しつつ適当にまとめ。基本的な情報から、メタスコアにまつわる噂やユーザースコアの問題点などを取り上げる。
基本情報
メタスコアとは、世界的に有名な複数の批評家(批評サイト)のレビューを数値化し、加重平均を出して1つの数値としてまとめたもの。「レビューを数値化」するとは、例えば2つ星を50点として換算したり、B+を83点として計算したりするということ。「加重平均」をとるということはつまり、批評全体の質や評価に基づいて、重要度に優劣をつけた上で計算するということである。平たく言えば「有名サイトが出した点数まとめました点」だ。最低点は0点、最高点は100点。元になるレビューが4つ以上ないと算出されない。また、メタスコアとは別にユーザースコア(一般のユーザー投票によるスコア)もある。
参考にしたページ Metacritic - How We Create the Metascore Magic
http://www.metacritic.com/about-metascores
そもそもメタスコアのシステムは信頼できるのか
メタスコア算出には加重平均の考え方を取り入れているが、そのためのランク付けのシステムが間違っている、と指摘する声がある(システムの詳細は公には明らかにされていないのだが、フル・セイル大学の教授が既に解明したとのこと。ただMetacritic側は「完全なデタラメだ」と否定している)。また、スコア算出の対象となるレビューサイト一覧を見ても、正直ほとんど聞いたこともないようなサイトばかりで、いわゆる「外れ値」がどう処理されているかも謎だ。
さらには大手レビューサイトがレビュースコアを取り消す事態も発生している。GameSpotは、フリーランスの記者が書いたレビューが不正確だったとして、Natural Selection 2のレビューを取り消した。PolygonはSimCity発売直後のサーバーダウン問題などを受けてスコアをコロコロと変更。しかしMetacritic側は変更を受け付けず、該当ページでは未だに高得点が並んでいる状態である。メタスコアのシステムも改良の余地があるといえそうだ。
販売元・開発元の事情
一介のユーザーなら「メタスコなんて全然参考にならないでしょ。あんなの信じてる奴いるの？」で一蹴できるかもしれないが、販売元・開発元はそうはいかない。売り上げ予測や実売への影響を考慮することはもちろん、販売元は開発担当の企業やスタッフを、これまで携わったゲームの評価＝メタスコアによって判断する。数百万ドル、数千万ドル単位の契約金が動く以上、少しでも「ハズレ」をひくリスクを減らすための指標にするわけだ。ディベロッパーにとっては、まるで『緋文字』のように一生背負うことになる数字となる。
メタスコアによってボーナスが支払われることもよくあるそうだ。「パブリッシャーが提示した額が100万ドルだとして、仮にディベロッパー側が120万ドルを要求してきたとする。その場合、メタスコアが一定水準以上なら追加のボーナスとして20万ドルを支払う、という契約にする。」と販売会社の社員が匿名で明かしている。Fallout: New Vegasに関して、デザイナーのChris Avellone氏が「メタスコア85点以上でBethesdaからボーナスが出るはずだった」などとツイッターで発言し物議を醸したところを見ても、こういった利用のされ方は当たり前になっているようだ。
そうなると当然、開発側のゲーム製作に対するスタンスも違ってくる。「クリアまでのプレイ時間は長いほうが評価が下がりにくい」「マルチ要素を入れておかないとマイナス評価につながる」などの理由でゲームのシステムが実際に追加・変更になったりすることもよくあるそうだ。そういえば初代バイオショックのマルチエンドは、販売元からの要請があったために無理やり追加されたという話を聞いたことがあるが、おそらくそれも、とりあえずプレイヤーの選択やストーリー分岐といった要素を入れておいたほうが評価が下がりにくいだろう、という安易な考えによるものかもしれない。
メタスコアをアップさせるあの手この手
販売会社が、ゲーム発売前に大手批評サイトの記者を雇って、「擬似レビュー」を書かせる場合がよくある。この擬似レビューの内容を元に、開発者はゲームを改良して実際のスコアをアップさせるわけだ。ただ、もっと露骨な方法もある。擬似レビューを書かせるという名目で、低い点数をつけがちな記者を雇ってしまうのだ。擬似レビューの内容はどうでもいい。実際のレビュー掲載時に、この記者がこのディベロッパーのゲームの担当から外されるということが重要なのである。
さらには、広報から「レビュースコアを8.0以上にしてくれればサイト上で独占記事扱いにしてやる」と言われた、というレビュアーの体験談もあげられている。ゲームの出来やレビューサイトの傾向によって、レビュー用のソフトを配布する時期を早めたり遅らせたりしている、なんていう噂さえ囁かれている。
参考にした記事 Metacritic Matters: How Review Scores Hurt Video Games
http://kotaku.com/metacritic-matters-how-review-scores-hurt-video-games-472462218
ではユーザースコアは？
ユーザースコアはメタスコアよりも信頼できるという意見は多いが、いくつか注意すべき点がある。
1. ある程度のレビュー数がないと質が保てない
例えば、わざわざそのゲームを予約して、発売直後にレビューするようなプレイヤーは、その時点で多少バイアスがかかった見方をしているかもしれない。カルト的なマイナーゲームだと、やたらと高評価が並ぶ場合すらある(いわゆる信者)。
2. ゲーム内容とは直接関係のない事柄や「ノリ」に影響されかねない
開発者や企業が気に入らないという理由で低評価にする人もいる。掲示板などのノリを引っ張ってきてボロカス書かれる可能性も(いわゆる炎上)。
3. ジャンルやゲームの種類によって基準に多少の偏りがある
そこまで酷い出来でないかぎり、海外のビッグタイトルならたいてい8点前半あたりの無難な点数に収束して差がでない。ハードコアゲーマー向けのゲームや難易度の高いゲームなどは下駄を履かせられやすい印象。
4. 点数の理由が明確でない
特に批判的なレビューでは「つまらない」「値段に見合う価値がない」などの主観的で参考にならない意見も多くなる。
結局のところ、多くの雑多な意見を寄せ集めて算出した数値でしかなく、全体的な印象や傾向しかわからない。判断の基準も価値観もバラバラな意見を数の力で無理やりまとめあげたものだ。もちろん、数の力は客観性を担保する要素のひとつであり、ほとんどの場合で「地雷ゲー」を踏まない程度には役に立つことだろう。ただ、完全に信頼できるか、と言われれば微妙である。
あるいはここで、「平均によって得られた点数」が一体どういう意味を持つのかを、もう一度問い直してみるべきなのかもしれない。こちらの記事でも指摘されているように、60点のレビューと90点のレビューの平均値75点には「すべての人間にとってまあまあの佳作」などという意味は全く込められていないはずだからだ。
まとめ
メタスコアの集計システム自体に懐疑的な意見があるにも関わらず、販売会社はそのスコアにこだわり続けている。スコアが指標となってしまうことで、ゲーム開発そのものにも影響が出たり、スコア操作が行われるようになったりして、結果としてさらにメタスコアが信頼できなくなる。ユーザースコアも、ゲームによっては内容から離れた主観的意見ばかりになることがあるので注意すべである。
ゲーム同士で数点の差を競うのも無意味だ。そして何よりゲームの好みは人それぞれ。おおよその評価を眺めつつ、極端に低いスコアのゲームを買わないよう(あるいはあえて買うよう)多少の参考にするぐらいに留めるのが賢明な使い方ではないだろうか。
0 件のコメント:
コメントを投稿