大学入試センター試験に代わる新しい試験が平成32年から実施されますが、そこで目玉になっているのが、自由記述式試験の導入です。今回は、そのコンピュータを使った採点システムに関してお話しいたします。また、大学入試センターでは、人工知能を利用した採点技術の支援についても研究を進めていますので、そちらについてもお話しします。

さらに、全米学力調査(NAEP:The National Assessment of Educational Progress)では、記述式試験がコンピュータで実施されています。その解説をいたします。

記述試験には、大きく分けて二つのタイプがあります。一つはエッセイ(小論文)タイプと呼ばれる、与えられたトピックに沿って自由に書くもので、日本語で800字から1600程度、英語では500ワードから600ワード程度のものです。

エッセイには正解がないので、次のような観点で評価します。一つ目が修辞、これは文章巧さや語法の使い方です。二つ目が論理の進め方や掘り下げが十分できているか、例示がきちんとできているかといったこと。三番目が内容で、質問文に十分に答えられているかどうかということを評価します。

エッセイの採点については、欧米では現在E-raterやIntelliMetricというシステムが、実際に公的な試験の採点で使われています。これらは、人の評価に十分に近いという多くの実証があります。

記述試験のもう一つのタイプが短答式(Short Answer)と呼ばれるもので、こちらは望ましい正解があるものです。したがって採点は、正解文と実際に書かれた文が同義であるかを判定することになります。分量は、1～2文です。

TOEICやTOFEL、アメリカの大学入試のための共通テストであるSATなどの試験を行っているETS(Educational Testing Service)という世界最大のテスト機関が、c-raterという採点システムを作っていますが、実際の試験ではまだ使われていません。

正解文と同義かどうかを判定する技術は、含意関係認識(Recognizing Textual Entailment)といって、現在、自然言語処理の分野で最も熱いトピックとして、研究が急速に進んでいる分野です。

Jessの評価基準自体は、ETSのE-raterを参考にして三つの観点から採点しています。

一つ目が修辞、文章が読みやすいか、様々な語彙が使われているかなど、文章がよく書けているかということです。エッセイであれば、ある程度専門用語のような難しい言葉が入っていないと評価が低くなります。欧米語の場合は、こういった長くて難しい単語をビッグ・ワードと言いますが、日本語では漢字にするとかえって言葉が短くなるので、単に長さだけでなく、読みの長さでそれなりに難しい単語かどうかを判定しています。その他に、受動態の文が多すぎるのはよくないといった、一般に言われる「良い文章の書き方」なども指標に入れて評価します。

二番目が論理構成です。例えば、接続表現で言えば、ある文章に対して逆接が2回も3回も続くような文書は、論理の進め方としては良くないわけで、自然な流れのわかりやすい構成になっているかということも見ていきます。

三番目が内容です。問題文に関連した語彙が用いられているかを見るために、当時のWeb検索技術LSIを実装しました。プロの書いた文章を見て手本として、それと比較して書き方がおかしくないかということを見るという手法を取りました。

手本としたものは、当時電子媒体で公開されておりました毎日新聞の社説やコラムを使って学習しました。語彙については、新聞の数年分の全記事を入れて、統計学的な異常値検知でデータを見ました。

以前は、入試センターが自前でサーバーを立ち上げて、そこに採点システムを載せていましたが、万一これがウイルスなどで攻撃されたりすると大変なことになりますので、セキュリティを考えてレンタルサーバーに移行しました。ただ、公的機関のサーバーの記事は、Google検索でランクが上に出ますが、レンタルサーバーはランクが下になるため、移行後利用者が多少減ってしまったということはありました。

Jessの実証実験が、民間会社や大学に協力いただいて、実証実験が行われています。実験結果から、採点のバラつきがかなり圧縮されるということが明らかになりました。専門家同士でも当然採点はバラつきます。専門家同士のバラつきより、採点システムと専門家の間のほうがバラつきが小さく、その点では採点システムもそれなりに使えると思われます。ただ、問題や選んだトピックによっても一致度合いは異なるようです。

残念ながら、現時点では大学入試ではまだ使われておりませんが、平成32年には某国立大学のAO入試試験で導入することになっており、開発もいろいろ進んでいます。

さて、新テストで問題になると思われるのが短答式記述試験で、ここで使われているのが、含意関係認識です。これは、簡単に言えばt1、t2という2つの文章を与えて、t1が成り立ったときにt2が成り立つかを判定する技術です。

例えば、t1として「鎌倉幕府は1192年に始まったとされていたが、現在では実質的な成立は1185年とする説が支配的だ」という文章があります。これは教科書に書かれている文章です。一方、t2として「12世紀に日本では鎌倉幕府が開かれた」という文があります。これは、センター試験の世界史や日本史で大半を占める、正誤問題の選択肢に相当する文章です。我々なら、t1ならばt2が成り立つことはわかりますが、機械でやらせようとすると、実は結構大変です。

まず、t1から「鎌倉幕府が1185年に成立した」ということを読み取る必要があります。この文章は複文になっていて、後ろの文章の実質的な主語は、前の文章に出てくる「鎌倉幕府」です。一般に複文だからといって、後ろの文章の主語が前の文章の主語をそのまま継承するとは限りませんので、個別に判断する必要があります。さらに、1185年というのが12世紀であること、「成立」と「開かれた」が同じ意味だということが理解できなければなりません。

このように、こんな単純な文章でも、人工知能にとっては結構難しいわけです。国立情報学研究所が平成28年度まで行っていた、有名な「ロボットは東大に入れるか」プロジェクト(東ロボプロジェクト)でも、この含意関係認識技術を使って問題を解こうというアプローチを試みていましたが、実はなかなか苦戦していたのです。

では、どんな解き方ならうまくいくのでしょうか。3年前まで、一番有効とされていた方法が、「うそキーワード」方式です。これは私が名付けたものですが、選択肢の中のうそのキーワードを見つけ、それによって間違った文章を見つけるというアプローチです。

その次の年は、さらに賢い方法が考案されました。海外の大学も参加してコンペを行った中で、日本ユニシスが作ったアプローチで、世界史は100点満点中76点と、非常に良い成績を収めました。これは、まず前提として固有表現の辞書や、単語の上位・下位の認識技術を踏まえた上で、次の三つの手法を組み合わせるものです。

一つは、質問応答で解くものです。自然言語の世界では、質問応答システムの研究はかなり進んでいるのですが、これは間違った文章を見つけるのに有効だということがわかりました。

二つ目が構文木のマッチングで解く方法です。これは言語処理の文法を考えた非常にオーソドックスな方法ですが、これは正しい文章をきちんと見つけるときに適用できます。もちろん、適用できないこともありますが、うまくいくときには100％正しいものがわかるという方法です。

三つ目が、単語の共起確率で解くものです。一まとまりの記事の中で、二つの単語が同時に出現することを共起効果と言い、それらの単語が意味的に非常に似た概念、あるいは近い関係にあることがわかります。その共起が起こる確率で解くという方法です。この共起確率は二つの単語のペアしか見ていないですが、非常に適用範囲が広いので、ベースラインを保証するという意味ではうまく使えます。

これらを併用すると実際かなりいい成績が取れているのです。

それぞれの解き方を具体的に説明しましょう。

一つ目の質問応答で解くというのは、例えば「15世紀、ヘンリ7世がテューダー朝を開いた」という文章があった場合に、固有名詞を隠して、

1. ヘンリ7世がテューダー朝を開いたのは『いつ』ですか。

2. 15世紀ヘンリ7世は『どういうNation』を開きましたか。

3. 15世紀に『誰が』テューダー朝を開きましたか。

という質問応答にかけて、隠した部分が正しく出ているかを判断して誤文を見つけます。

三つ目の共起確率では、例えば「第一次大戦中にロシア革命が起こって、ニコライ2世が退位した」といった固有表現や年代などをピックアップして、例えば「起こり」という動詞を「生じる」「始まる」といった同義語表現に置き換えても共起しているか、また「退位」はどうか、「第一次大戦中」はどうか…と、キーワードがうまく共起しているかどうかを調べます。そして、共起しないものが出ていると、この文章は間違いとわかるというものです。

二つ目の構文木のマッチングで解くというのは、自然言語の世界では「格文法」と呼ばれているものです。意味解釈の中心に述語を据えるというものです。

例えば、「クシャーナ朝はパ－タリプトラに都をおいた。」という文の場合、「置く」という動詞が述語に相当し、「クシャーナ朝」が主語(主格：「ガ格」)に相当します。「都」は日本語の場合で「ヲ格」、また、場所は「ニ格」となります。このように、動詞を中心に据えてガ格・ヲ格・ニ格に相当するものを選ぶわけです。

もっと難しいのが、短答式記述式試験の採点です。大学入試センターではJS⁴という採点支援システムを作っており、これは国語や社会などの、30～60字程度の文章で書くものを想定しています。

GoogleやMicrosoftなどが莫大なお金をかけて精度の高い質問応答システムを作ろうとしていますが、なかなかうまくいっていません。コンピュータの限界としてよく例に出るのが、スマホアプリのSiriに「この辺りでおいしいイタリアンレストランは何？」と聞いても、「この辺りでまずいイタリアンレストランは何？」と聞いても、同じお店が出てくるというものです。質問の意味を正しく理解しているのではなくて、キーワードだけをぴぴっと選んで、膨大な検索技術で取ってきているからです。

したがって、たくさんの優秀な方が同義や含意、推論などの正確な判断の研究を進めているのは事実ですが、試験の採点に使うには、ここ数年では無理だろうと考えています。ですから、自動採点を導入するのであれば、まず基本的な採点基準をベースにして、その適合をシステムがある程度自動判断する。また、機械学習もかけて、推奨値といったものを提案する。人間はその数値を確認し、ズレが出たら適宜修正して、最終的に人間が確定点を与えるといった使い方が、現実的な落としどころではないかと思います。

下図は、今、我々が作っている採点システムの画面です。世界史のアッバース朝の税に関する問題で具体的に解説します。解答者の記述「シズヤとハラージュを両方とも収めなければならなかったのが、アラブ人と同じでハラージュだけ収めればよくなった。」に対して採点基準に合わせて採点していきます。

上記の8つの例題で、予測が正解の1点差に収まる確率がこちらです。アッバース朝の税の問題はかなり難しく、0.48でした。しかし、それほど複雑でなければ、そこそこの予測をできるデータのレベルにはなっています。

機械学習には、ここではいろいろなアプローチがありますが、ランダムフォレストと呼ばれている方法を用いています。このあたりは少し専門的なお話になりますが、2/3のブートストラップ標本を使って500回繰り返し、最大投票によるクラス分類を行っています。

ランダムフォレストを使うのは、採点がブラックボックスにならないようにするためです。今はやりのディープラーニングで採点すると、なぜその採点になったのか説明がつきません。ランダムフォレストは、いわゆる分類比による判定ですから、クラス分類するのに、どの変数がどのくらい利いているかということが定量的にわかります。分類の影響度を示す指標として、よく経済学で使うジニ係数を使います。

今年12月に国立情報学研究所で、NTCIR13(※)という国際会議があり、今回は9つのタスク(研究分野)でコンペ型の発表が行われます。我々大学入試センターチームは、実世界質問応答を目指すQA-Labタスクというところに参加します。国内外合わせて9団体が参加することになっています。テーマは、今お話しした世界史の大学入試問題のような、長い分量である程度の正解のある記述です。

我々のチームのシステムは、今のところ20問中16問が、20点満点の3点以内という成績です。ただ今の時点では、得点が低いのでまだ妥当性の評価はできていない、というところです。

※　NTCIR13(NII Testbeds and Community for Information access Research)

http://research.nii.ac.jp/ntcir/ntcir-13/conference-ja.html

NAEPは、全米約2000の学校から10万人に対して行われるサンプリング調査です。日本の学年で言えば、小学校4年、中学校2年、高校3年で実施されます。

NAEPは大きく二つに分かれます。一つは、社会や時代の変化に合わせて、その時々の教育課題に応じて行うMain NAEP。作文のようなマイナーな科目は6～7年おきくらいです。2017年には実施していますが、結果はまだ出ていないので、直近が2011年実施のものです。

もう一つが、四則演算やスペルなど、時代の変化にかかわらず必要な基礎学力を問うLong-term Trend NAEP。この二つを組み合わせて実施しますが、希望する州があれば、Main NAEPをサンプリングではなく、もっと大規模に行うこともできる仕組みになっています(State NAEP)。

基本的には、紙と鉛筆によって行う試験ですが、実施団体のNAGP(National Assessment Governing Board)はコンピュータによる評価を指向しています。2011年には完全な形でコンピュータによる作文試験が行われました。数学の問題ではいわゆる適合型テストが採用されました。適合型テストとは、正解か不正解かによって、次に出てくる問題が変わるタイプのテストで、これによって時間を短縮するとともに、ある程度の推定精度を得ることができます。

NAEPの作文のチュートリアル・ビデオは以下をご覧ください。

https://www.youtube.com/watch?v=NEhS2x2pvB4

注目されるのがユニバーサルデザイン、障害者に対する配慮です。出題文の音声読み上げやフォントサイズの変更、マーカーボタンで地色を変えるということもできます。NAEPは、障害者に対しても代替問題を使用せず、同じ問題を解答させることを基本としています。公平性を担保するとともに障害者の尊厳を損なわないという考え方からです。

また、コンピュータを使うことによって、作題や採点の手間を大幅に軽減することができています。

コンピュータ化というのは、当然のことながら時代の趨勢で、今回の新テストの記述試験もコンピュータによる自動採点の導入は避けられない課題であると思っています。

今日お話ししたことを含めて、電子情報通信学会誌vol99(2016年(※))に詳しい内容を掲載しています。オープンアクセスですので、ぜひご覧ください。

※　http://www.journal.ieice.org/summary.php?id=k99_10_1005&year=2016&lang=J