第17回全国高等学校情報教育研究会全国大会（愛知大会）

日本大学　谷 聖一先生

慶應義塾大学　植原啓介先生、電気通信大学　角田博保先生、東京通信大学　筧 捷彦先生、

國學院大学　高橋尚子先生、放送大学　辰己丈夫先生、工学院大学　中野由章先生、

電気通信大学　中山泰一先生、大阪学院大学　西田知博先生、大阪大学　萩原兼一先生、

獨協医科大学　坂東宏和先生、京都産業大学　安田 豊先生

本研究は、日本学術振興会科学研究費助成事業(科研費)の「大学入試を中心とした情報分野の学力評価手法の検討」の一環として行われています。

情報分野の学力評価手法の確立を目指して

※クリックすると拡大します。

本研究プロジェクトでは、大学入試の出題範囲の基準となる情報分野の知識体系の整理と、情報分野における適切な作問手順、学習効果の評価に向いた試験方法を検討し、情報分野の学力評価手法の確立を目指しています。

典型的な問題、および多肢選択問題による学習成果測定のための作問ガイドラインの作成は目標の一つであり、今回はその準備として、領域や方法を限定した模擬試験を行いました。

作題の基礎データ収集のために、高校生を対象とした模試を実施

一般的な大学入試の試験時間は、多くが1科目あたり60分とか80分です(中には一部の理系の大学で数学を2時間というところもあります)。本研究では、理系・文系を問わず全ての人が受験する60分あるいは80分の試験ではどのような問題を出題すればよいのか、ということを検証することが大きなゴールとなっています。

この研究プロジェクトは、全体で5年間行います。現在2年目ということで、今回まず基礎データを取るために、1回目の模試「EMIU情報模試2024夏」を行いました。

対象は高校生，中等教育学校４年生以上の生徒，インターナショナルスクール等の15歳以上の生徒，およびこれらに準じる立場の生徒として、今年6月から7月にかけてCBT(Computer Based Testing)で実施しました。

研究全体の目標としては、CBTに限らず、一般的な大学入試の枠の中で出題できる問題を対象としていますが、今回はあくまで受験し易くすることで受験者数を多く集めるという観点から、従来的なペーパーベースでもできるような試験内容を、CBTで実施しました。

今後はCBTならではの問題についても検討していきたいと考えますし、特に「情報」という教科の特性として、普段コンピュータを使った学習が中心であるならば、CBTの方が学習効果を確実に測れるのではないか、という仮説もあります。そういったことを検証するのも、本研究の将来的な目標です。

IRTによる多肢選択問題と、「中問」サイズの2問をCBTで実施

今回の模試の実施時間は40分で、大きく20分・20分に分けています。最初の20分がIRT(Item Response Theory)を使ったいわゆる小問で、1問平均1分で20問を解答してもらうものです。「そんな短い時間で考える力を測ることができるのか」という疑問も当然出て来ますが、ここでは実際にどのくらい測ることができるのか、ということも検討課題になっています。

残りの20分については、10分で解答することを想定した問題が2問です。

共通テストでは、60分で大問が4問出題されるので、1問あたり約15分で解くことになりますが、例えば、第2問が「A」と「B」に分かれている場合は、それぞれを10分くらいずつかけて解くことになる見当です。このときの問題「A」「B」のサイズの問題を、我々は「中問」と呼んでおりまして、この中問2問を10分ずつで解いてもらうことになります。

中問は、1問がアルゴリズムとプログラミングの問題で、もう1問が「モデル化とシミュレーション及びデータ活用」の問題です。それぞれ2問ずつ用意しておき、受験する人は、自動的に振り分けられたどちらかの問題を解くことになります(もう1問の方は見ることができません)。

問題の内容は、多肢選択と数値を入れるものなので、出題はCBTでが、問題自体は共通テストと同じ形式です。

今回、受験した人は520名でした。そのうち約50名は、問題にログインはしたものの、結果的に未回答でした。その人たちも0点ということで統計に入れていますが、実質の受験者は約470名ということになります。

下図の左側が「情報」の授業の履修上状況です。青が履修済、赤が現在学んでいる、黄色が未履修ですので、「情報Ⅰ」に関しては、ほとんどの人が既に学んでいる、あるいは今学んでいる、というところです。

「情報Ⅱ」はほとんどが未履修です。これは、学校によって2年生・3年生に設置しているか、あるいは設置してないか、ということはわかりませんが、こういった情教です。

右側がプログラミングの経験です。アンケートに回答していない人もおり、また複数回答なのでまだ十分に整理できていないところですが、高校の授業で初めて経験した人、中学校・高校でやった人、小学校・中学校・高校の授業でやってきた人が大半です。一方で、黄色のマークをした部分の回答は、「高校の授業」が入っていない人ということになりますが、大丈夫でしょうか。

※クリックすると拡大します。

今回の模試では、先ほどお話しした大きな目的の中で、IRTによる問題と従来の試験問題的な問題を出題してみました。

高校の授業の中でも実施できるように、試験時間を40分としたので、範囲の広い「情報I」の全分野を網羅することは困難であるため、分野を絞って、教科「情報」の特徴的な分野である「コンピュータとプログラミング」の『モデル化とシミュレーションの部分』と、「情報通信ネットワークとデータの活用」の『データの活用』の部分に絞って出題しました。

先ほどお話ししたように、前半の20分は、IRTで20問、1問1分の多肢選択問題形式で行いました。

IRTによる出題については、ここに挙げたような課題があります。さらに、この形式の問題で、本当に学力を測ることができるのか、ということを検討する必要があります。

また、今回の模試はCBTで行いましたが、この研究ではCBTかPBTかの区別なく作問手順を検討することも目的となっています。

そのため、PBTによる出題の限界についての検討や、CBTならではの評価方法を議論するための基礎データを取得するため、中問2問は、従来の一般的な学力評価方法から、CBTとPBTの両方で出題できる「多肢選択問題」と「数値解答問題」を用いて作問しました。

つまり、CBTであっても、そのまま共通テストなどのマーク方式によるPBTでも出題できるような問題で実施したわけです。

ある程度の問題数が多ければ、IRTで学力を測ることは可能

今回の模試の、現段階での集計結果です。

IRTで出題した問題(小問集合:Q)と、従来の一般的な方法で出題した中問(P:プログラミング、M:モデル化とシミュレーション)の相関は0.7程度出ていて、まあまあ関係があると言えます。つまり、ある程度問題数が多ければ、一定の精度で測ることができるのではないか、という可能性を示した結果となりました。

※クリックすると拡大します。

正答率に関しては、低いものから高いものまで満遍なく出題できたと思われますが、正答率が低いものと高いものを中心に識別度などとも合わせて、今後検討していく必要があります。

また、解答時間に関しても、解答時間が短いものから長いものまで満遍なく出題できているようですが、こちらも短いものや長いものについては、正答率や識別率と合わせて検討する必要があります。

※クリックすると拡大します。

大学入学者選抜としてのさらなる精度向上を目指して

今後は、問題の作り方を精査したり、今回の模試の結果を受けて、調査の方法を改善したりして、大学入学者選抜としての精度を上げる方法を探っていきたいと思います。

そして同時に、「情報Ⅰ」で学ぶべき能力は何か、ということを明確にしていくことが必要であると思います。

問題ができても、何の能力が測れているのか、ということが明確になっていなければなりません。学習指導要領をベースとして、それぞれの領域で、どのような力が身に付いたとすれば「情報Ⅰ」をしっかり学んだことになるのか、ということをもう少し明確にして、それに合わせて評価ができていくようにする、というのが次の目標になっています。

■EMIU情報模試2024夏 問題・正解と配点・出題意図はこちらからご覧ください(2024年9月1日公開)。

「EMIU情報模試2024夏 結果発表」

■「大学入試を中心とした情報分野の学力評価手法の検討シンポジウム2024 」(2024年10月26日(土)@慶應義塾大学三田キャンパス)では、EMIU情報模試2024夏の結果報告、各プロジェクトチームの成果報告などを行います。

開催のご案内はこちらからご覧ください。

https://emiu.sfc.keio.ac.jp/wp/?p=207

第17回全国高等学校情報教育研究会全国大会（愛知大会）ポスター発表