審査基準等の公開にあたって - みんなの声で選ぼう! だれもが使えるウェブコンクール
公開日 : 2009-10-25 16:35:54
既に公式サイトに審査についての考え方を掲載しています。また公表にあたってのコメントについても週明け早々に掲載させていただく予定です。
よって、ここ(私のブログ)に書いている文章については、私個人の考え方に基づく見解が含まれることについてあらかじめご了承ください。
一次審査基準について
今回、まず第一弾として「一次審査基準 - PC版ウェブサイト(案)」を作成、公開いたしました。
最初にお伝えしたいことは、今回公開したのは審査委員で考えた「案」であることです。
10月7日に行われた公開討論会 "だれもが使えるウェブサイト" の際に今回の審査に関する考え方をお話させていただいた通り「公平でオープン」に進めていきたいという思いから「案」の段階で公開しました。最終形ではありません。近日中に皆さまのご意見をいただく窓口についてお知らせする予定です。ご意見、ツッコミ歓迎です。よろしくお願いします。
もう一点、このコンクールは、標題にもある通り「みんなの声で選ぶ」コンクールであり実際にウェブサイトを利用する利用者(市民モニター)の方に評価していただくことが最大の特徴であると考えています。ですので、本来はこの審査基準に基づいた一次審査なるものは必要ないと思っています。
一次審査はあくまでも審査サイト数が多く、評価していただく市民モニターの数が不足することを前提として設けているものです。
よって、審査サイト数と市民モニターの数を勘案して、第一次審査は行わないことがあります。この点を特にお伝えしておきたいと思います。最終的な評価はあくまでもサイトを利用する利用者の方々が行います。
また、一次審査が行われた場合、一次審査の点数は二次審査には引き継がれません(現段階ではそう考えています)。JISと審査基準について
項目のリストアップについてはJIS X8341-3(2004年度版)をベースにしています。JIS X 8341-3:2009原案ではありません。このことについては議論がありましたが以下の2点により2004年度版をベースにしました。
- 2009年版はまだ原案段階であること
- チェックツールが2004年度版をベースに作られていること
但し、一次審査対象ページの抽出についてはJIS X 8341-3:2009原案にある「8.1.2 ウェブページ一式単位 c) ヒューリスティックに選択する場合」を参考にしています。
一次審査基準について
客観的に評価する
一次審査基準の最後のツメ(配点あたり)を行っている時にTwitterでつぶやきながら作業進めていたので、そのあたり少し引用しながら紹介していきたいと思います。
Twitter / Junnama Noda:二次がメイン(人によるチェック)ってのが今回の特徴だから、一次は逆に人の評価をあまり入れたくないのです。二次審査の人が充分確保できたら一次はいらん、っていうのが基本スタンス。
Twitter / Junnama Noda:title要素は機械チェックで済ましたくないけど適切なものかどうかは主観だし。
Twitter / Junnama Noda:ボタン画像にボタンクリックで起こるアクションを表すテキストが指定されていればOK。テキストの妥当性はチェックしない。
代替テキストが指定されているかどうか、フォームのラベルとコントロールが紐付けられているかどうかというのはツールでチェックできます。但し当然ですがそれが適切か、妥当なものかについては(現時点では)機械では検証できません。
適切、妥当でないものは当然役に立たないかかえって理解の妨げになります。でも、今回は配慮しません。適切か妥当かってのには主観が入るからです。
ここでは「大切かどうか」は切り捨てる、ということです。例えばタイトル要素は大切。「例えば他のページ(HTMLファイル)をコピーして違う内容のページを作った」「タイトルの変更を忘れて内容が全然ページの内容と違う」。これは致命的だと思います。 でも、そこは評価しないのです。
ここ評価しようと思ったら国語のテスト、読解力を問われることになるかと思うのです。審査員を読解力で選んでいないから、ここに点数はつけられません。だからつけない。
この考えは採点は1/0(イチかゼロ)。という考えにも繋がります。配点5点のものは5点か0点。2点や1点はない、ということにしました。
配点のバランスをどうするか
主観を排除するということから「機械的にチェックできる」「人によって違う評価にならない」ものを中心に据えることになります。ただしそれだとJISの項目(満たさなければならないことが明示されている項目)が網羅できません。
どうしても審査員が判断していかなければならないことがあるからです。
一次審査基準(案)26.省略語、専門用語、流行語、俗語などの想定する利用者にとって理解しにくいと考えられる用語に解説があるか（5.9.c）。
そこで、その部分によって配点に差をつけました。主観的な評価は配点を低く[3点]。そして、審査はサイトにつき3名。平均ではなく、2人以上がつけた点を採用。採点は1/0(イチかゼロ)なので、5点、-5点、3点、-3点、0点のいずれかになります。
今回の項目はすべてJISの満たさなければならないことが明示されている項目で構成されています。配点の3点、5点については項目の重要度ではなく、この考え方に拠ります。
加点か減点か
加点か減点か。メーリングリストではFlashやPDFの話が出た時に議論になりました。
例えばPDFがアクセシブルもしくはアクセシブルな代替コンテンツがあれば[5点]とした場合(当初案ではそうなっていました)、PDFのあるコンテンツの方が有利になります。Flashも同じ。
なので、減点としました。じゃぁ、Flash使わない方が有利じゃないか。それは現時点ではその通りです。
でも分かった上でチャレンジはしてほしいと思っています。一般的でない技術(「一般的」の定義は? ってツッコミは当然あると分かった上で)、もしくは「アクセシビリティを確保することに対して敷居の高い技術を敢えて使うからには、そこはクリアして欲しい、でいいじゃない」というのが今回の考えなのです。
Twitter / Junnama Noda:title要素は加点じゃなくて減点にしたいところとか。でもそうすると矛盾が出る。いや、出ないか。これ感覚てか主観だな。
これは僕の感覚的なものですが、TITLE要素なかったら減点! 論外って思うわけです。感覚的には。
でも今回は一般的な技術(X)HTMLやCSSに関わる部分はクリア出来ればすべて加点、です。
ちなみに、TITLE要素がページの内容を適切に判断しているものはを主観的に審査員が判断して[3点]、とすることも検討しました。でもそこは「我慢」。限られた審査員のリソースでっていう前提もあるので、ツールでチェックできるものはそこで判断します。
Twitter / Junnama Noda:画像に代替テキストを提供しているか、ってのは、加点? 減点? だって、画像のないページもあるでしょ?
Flash/PDFは減点方式。であれば「画像」はどうなんだ、っていうつぶやきですね。もちろん画像のないページもあるかもしれませんが今回は「一般的」な技術として評価します。よって画像は評価対象で加点。
「[配点]（すべて）提供している場合[5点] 」としています。(他の項目もそうですが)画像が何点あるかは考慮しません。1点でも100点でも「すべて」満たしていたら5点。ということは、画像が0点であれば無条件で5点となります。
そして、画像を使っているかどうかに限らず、ページ全体の背景色と前景色のコントラストについてチェック項目を入れました(加点対象)。
尚、この項目については aDesignerでチェックすることで客観的判断が可能ということで[5点]にしています。
一次審査基準(案)20.画像やページのデザインにおいて背景色と前景色に充分なコントラストが確保されているか（5.5.c）。
配点に関する各項目の考え方の例
各々の項目は審査基準のページを参照いただければと思いますが、配点に関する検討のプロセス(考え方)についていくつか例をあげます。
- 一般的なページで利用される技術であることから[加点]
- 機械的なチェックを行うことにより客観的な評価が可能[5点]
- よって、+5点
- フォームが使われていないケースも想定されることから[減点]
- 機械的なチェックに加え、審査員の判断でチェックしなければならないので[3点]
- よって、-3点
また、同様に「フォーム」を含む項目ですが、
- キーボード操作対象となるハイパーリンクは一般的な技術につき[加点]
- ツールに拠るチェックだけではチェックしきれないが、審査員によって審査結果に差が生じないと考えられるため[5点]
- よって、+5点
といった考えで配点を決めていきました。
もちろん「どっちともとれる」項目があることは否定できません。
ツールによるチェックの限界
今回の審査には、Web Inspector 5.11 と aDesinerを活用します。当然ですがツールによるチェックには限界があると考えています。
JIS X 8341-3 5.5.b ウェブコンテンツの内容を理解・操作するのに必要な情報は、形又は位置だけに依存して提供してはならない。
これに対してWeb Inspector 5.11のチェック項目は以下の通りです。
- 取消し線(<del>）を使用していないか?
- 取消し線(<s>）を使用していないか?
- 取消し線(<strike>）を使用していないか?
- 「yy/mm/dd」という文字列で、日付を表現していないか?
- 全角の￥と全角の＄を使用していないか?
- 全角の「ｙｙ／ｍｍ／ｄｄ」という文字列で、日付を表現していないか?
- 「※」という文字列を、「注釈」の意味で使用していないか?
個人的には<s><strike>はともかく、<del>はいけないのか? と思います。但し現実的に例えば「イベントの中止」を取り消し(<del>)で表現したとして、取り消されたことが読み上げで伝わらないことがあります。それでも前後の文脈等によって取り消されたことが伝われば良いと思うのですが、そこまではチェックできません。そのあたりは常に悩ましいところです。
Twitter / Junnama Noda:「だって、形や位置に依存した情報提供をしていない」に対して「yy/mm/dd」が駄目? これって形なのか?
「yy/mm/dd」というのが(分数のように読み上げるブラウザがある)環境や文脈によっては理解しにくいというのは事実でしょうが、これが「5.5.b」に該当するかどうかは僕には疑問でした。
もちろん、画像や実際のレイアウト等を含めて判断しなければならないわけですが。 いずれにしても、各所で既に指摘されている通りツールによるチェックには限界がある、ということをいつも意識しておきたいと思います。
終わりに - まだ終わりじゃないけど
コンクールはこれからですが、本エントリの終わりに。基本的に今回の審査委員はボランティア参加です。審査基準についても時間やリソースに限りがある中での作成作業でした。ということを言い訳にするつもりはありませんが、私たち自身も色んな味方があるだろうし、ツッコミどころもあるだろうな、という点は分かった上で「案」として公開しました。ですので、是非建設的なツッコミをください。ツッコミ歓迎します。
それと、最後にひとつ。たくさんのご応募お待ちしています。
