情報処理学会第80回全国大会イベント企画
文部科学省 大学入学者選抜改革推進委託事業 「情報学的アプローチによる「情報科」大学入学者選抜における評価手法の研究開発」シンポジウム
模擬試験の実施と結果分析／本格的？CBTシステム
東京大学情報理工学系研究科 角谷良彦先生
思考力、判断力、表現力を測るCBTシステムの研究開発
タイトルに「本格的」と入れましたが、これには、「我々がこの事業で目指している問題を実現するにあたって、重要と考えられるものを作っている」という意味が込められています。このままセンター試験で使えるようなレベルの「本格的」ではないということを初めに補足しておきます。
最初に情報入試におけるCBT(Computer Based Testing)の研究と開発の内容を簡単に説明します。
我々は思考力(Thinking)・判断力Judgement)・表現力(Expression)を測るための問題を作成しています。そして、それを実際に試験として実施するためにCBTの開発を行っています。CBTの研究開発に必要なことは、思考力・判断力・表現力を評価するための機能を検討することです。それに合わせて、様々な機能を実装することで、実際に実証実験が可能なプロトタイプを作成しました。
機能としてはまだ不十分なところもありますが、最低限必要と思われるものは実装しました。選択式の問題では、プルダウンメニューから選択させたり、穴埋めになっている部分を埋めさせたりすることができます。短冊式というのは、幾つかの短冊に短い文が書いてあり、その文を並び替えることで、長い文章を完成させるものです。通常の記述式では、普通にテキストボックスがあり、その中にテキストを書き込めるようになっています。2016年度は、こういった機能を持ったプロトタイプを作成しました。
このプロトタイプには実装できなかったのですが、CBTならではの問題として「インタラクティブな問題」が挙げられると思います。我々は、PBT(Paper Based Testing)とCBTとの大きな違いは、このインタラクティブ性にあるのでないかと考え、そのあたりにフォーカスした問題をいくつか考案してきました。
来年度の実験でこのような新しいタイプの問題が使えるように、システムの仕様策定を行っています。詳しくは後ほど説明しますが、紙では実現できないインタラクティブな問題に対応できるような仕様となっています。
模擬試験による実証実験
開発したプロトタイプを利用して、昨年(2017年)の夏にCBTの実証実験としての模擬試験を実施しました。この実証実験について紹介していきます。
一つ目は、昨年の夏、大学生を対象に行った模擬試験です。情報の入門の授業を受講した1年生のうち176人が受験しました。
大学1年生を対象にしているのは、新しいカリキュラムで学ぶ高校生に、より状況が近いと思われるからです。情報の入門科目を受講した学生に受験してもらい、将来の高校生が受験する際の状況に近い形を想定して実験を行いました。
次に、高校生を対象にした模擬試験も行いました。実は、これはまだ終わっていないところもあり、集計ができていないので、データとしての正確さに欠けるところはありますが、全国から10校の高校が参加し、1500人近くの生徒が参加してくださり、大変ありがたい状況と言えます。
ただし、高校と大学とでは、授業時間などによる制約が異なるため、高校生に対しては、大学生が受験したものより少し問題数を削減して、やや小さい規模で行いました。
1.どのような試験問題を出題したのか
大学生を対象にした試験問題では、60分で以下の4つの大問を解いてもらいました。
・小問を積み重ねたオムニバス形式の問題。
・アルゴリズム、その中でも特にアルゴリズムをどのように表現するかを問う問題。
・情報倫理や、「社会と情報」に関わる問題。中でも特に著作権について。
・プログラミングの問題。
大学生では文系と理系、別々に試験結果を集計したところ、全体的に理系がやや優位になりました。特に、プログラミングの得点にはかなりの差があり、そのことが全体の成績に影響したのではないかと考えられます。試験全体の得点とプログラミングの得点との間には、高い相関が見られました。
一方で、情報倫理に関する問題は、ほかの問題の得点との相関が非常に低くなっていました。この結果から、情報倫理の問題が、ほかの問題に比べて違う系統の能力を問うている可能性が示唆されます。
まとめると、全体としては、主にプログラミングに近い能力を識別している試験だったと言えると思います。
2.開発したCBTシステムは使いやすかったか
(1)システム全体の使い勝手
次に、CBTシステムの操作性についてですが、受験者に4段階で評価してもらったところ、大学生・高校生ともに90パーセントの受験生がポジティブな意見でした。このアンケート結果を見ると、CBTシステムに大きな問題はなかったと思われます。
もちろん、使用するマシンは会場によって違うわけですが、ウェブブラウザで問題を作っておけば、その操作性に大きな違いは出ないだろうということがわかりました。
(2)答案見直しのためのチェックボタン
CBTに特有の機能として、答案見直しのためのチェックボタンを用意しておきました。これについては、大学生の方は50パーセント程度が、試験中に利用していました。一方、高校生の利用は30パーセント程度でした。
ただ、会場ごとにチェックボタンについての説明をする時間が異なっており、特に高校生の方は、授業時間内に試験を行ったので、説明の時間が足りなかったのかもしれません。高校生の中には「そもそもそのボタンに気付かなかった」と答える割合が高かったことからも、説明に時間をかけられなかったことがうかがえます。その意味で、単純に高校生と大学生を比べるのはフェアではないかも知れないので、ご留意ください。
(3)解答は適宜サーバーに送信
解答の送信については、送信ボタンを用意せず、適宜サーバーに送信されるという方法をとりました。これについてはプロジェクト内でも、「送信ボタンがないと、受験者が不安になるのではないか」という議論がありました。ボタンをしっかり押して送信とした方が安心だという意見にも一理あります。あまりに送信を感じさせないのも問題かも知れないということで、議論の末に、最終送信時刻を画面に表示し、いつ送られたのかということがわるようにすることで落ち着きました。
アンケートでこの点について尋ねたところ、「送信されているかどうか不安だった」という回答は30パーセント程度でした。しかも、「不安だった・少し不安だった・少し安心した・全然心配しなかった」の中から選ぶ聞き方で、大きな不安を感じていたのは10パーセント未満という状況でした。高校生・大学生にとっては、それほどなじみのないインターフェースではないので、我々のような大人よりも不安は少なかったのかも知れません。
(4)解答方法はCBTでも紙でも対応できる
CBTで解答するのと紙に書いて解答するのとでは、どちらがいいか、という質問項目では、大学生は5対5ぐらいでほぼ同率、高校生は6対4でCBTのほうが少し優勢でした。こちらも、高校生の方は問題数が少なく、一方、大学生には記述式の問題が多くあったため、単純な比較はできないのですが、概ね、大きな拒絶反応はないように思われます。高校生も大学生も、与えられたものをどちらでもいいからやるという印象はなくもありません。以上が、模擬試験の結果報告です。
今後はよりインタラクティブな問題を目指す
実証実験の結果も参考にして、今後システムを仕様のどのように変更していくかを紹介します。
重要なポイントは、先ほども言いましたが、インタラクティブなインターフェースにすることです。受験生が何か入力すると、それに応じて出力が変わる、つまり、表示が変わるというところです。その点にフォーカスした問題タイプをいくつか考えています。
一つはプログラミングの問題です。今までのプログラミングの試験問題では、受験生は、頭の中で考えていって、「これが正解だろうな」と思って紙に書き出すしかありませんでした。しかし、普段我々がプログラミングするときには、デバッグしながらプログラミングを行います。バグが発生すれば、原因を見つけ、それを直して…というのを繰り返して、プログラムを完成させていきます。そのような能力が見られるような問題が作れればよいのではないかと考えています。デバッグできる環境でプログラミングしてもらうと、より実際的なプログラミングの力が測れるのではないかということです。
下図が画面のイメージです。ここでは、2次元のテーブルを入力として扱います。そのテーブルに対して、ユーザーが書いたプログラムを実行し、結果を確認できるというインターフェースです。テーブルを扱うので、開発用のコードネームとして、「テーブルワールド」と呼んでいます。プログラミング言語は、紙では実現が難しいブロック式の言語を想定しています。
次に、もっと面白い問題として、選択に応じて文章の内容が変わっていく、つまり、表示される問題が変化していくようなものを考えています。
我々はこれを「ゲームブック方式」と呼んでいますが、簡単に言うと、いくつかの選択肢の中から一つを選ぶと、選択した内容に応じて状況が変わり、次の問題が提示される、というものです。つまり、受験者の選択によって出題が変わっていくことになります。若い人向けの言葉で言うと、「マルチエンディングなアドベンチャーゲーム」みたいなものということになるでしょうか。
ゲームブック方式では、しっかり考えて分岐を選んでもらうことによって、どのようなプロセスで答えにたどり着いたかということを、評価することができます。
これまでの2つは、CBTによって新たに実現可能となった問題形式なのですが、次は少し違います。多様な解答方式というと、図形を思い描く方もいると思うのですが、実はCBTでは紙に比べて表現方法に制約があるのが普通です。PBTなら、自由に図を書いてもらう問題もあり得るのですが、CBTでは、基本的にテキストによる解答が主流です。そこで、我々はその制約を緩めて、PBTで実現できていた図を書かせる問題をCBTで実現しようとしています。
もちろん、技術的にはフリーハンドで図を書かせることもできなくはないのですが、それをやってもあまり面白くないので、状態遷移図を書く問題はどうかと考えています。図としてはフリーハンドよりも制約が強いのですが、状態遷移図であれば、内部のデータ表現が簡潔になるため、自動採点の可能性も大幅に高まります。
最後に、もう一つの重要なトピックとしてIRT（Item Response Theory）があります。しかし、我々のこの事業では、アダプティブなものまで実現することはできません。アダプティブというのは、視力検査のように徐々に範囲を絞り込んでいく手法ですが、そういうものは、あらかじめ難易度のわかっているたくさんの問題からなる問題プールがないとできません。それを与えられたこの短期間で準備するのはちょっと難しいということで、そこまではやらないと決断しました。ただし、それの元になるような、何らかの局所独立な小問だけでTJEが測れるか、ということについては、今後検討しようということになっています。
また、CBTの機能として、ランダムに出題するという部分は実現できるのではないかと思っています。さらに、タブレットへの対応も検討しています。