大学入試を中心とした情報分野の学力評価手法の検討シンポジウム2023
グループ1 典型的な問による評価手法の開発
日本大学 谷聖一先生
グループ1の目標:「情報I」の知識体系の整理、大問/中問による評価手法の開発、作問の手順書の作成
私からは、グループ1でどのようなことを行っていくのかを簡単にご紹介します。
こちらが申請書に書いたグループ1の目標です。赤字で示した部分を中心に、何を・どのように進めていくのか、現在検討していることをお話ししていきます。
グループ1は、「典型的な問による評価手法の開発」を目指しますが、まず「何を以て『典型』というのか」ということから議論をしなければなりません。
その前提となる知識体系に基づいて、知識も含めて思考力を問うことができる大問/中問による評価手法の開発、および問題を作成する手順書を作成するということを、5年間の大きな目標としています。
そのために、先ほど石岡先生のお話の例で出てきた医療系学部のCATO(医療系大学間共用試験)などの、IRTに基づいた問題を参考にしていきたいと考えています。
CATOは、医療系学部の学生が臨床実習に行く前に、それぞれの医療の領域でこういう知識を持っている必要がある、という内容を、医療系学部の先生方が整理し、それによって出題して、きちんと評価できているかをフィードバックして問題を改善していると聞いています。
その意味でも、我々が「『情報Ⅰ』でどのようなことができるようになっていればゴールになっているか」ということをしっかり整理する。そして、「こういう試験を行えば、それが達成できているかどうかが問える」ということを明確にして、先ほど植原先生のお話にあった「共通認識」を作っていきたいと考えています
我々のプロジェクトは、高大連携をベースにしているので、学習指導要領や教科書との関連、さらに先行研究として先ほどから何度も出ている大学入学者選抜改革推進委託事業の成果でもある「思考力・判断力・表現力を評価する問題作成手順」(※1)を踏まえて整理していきたいと思っています
当面、実際の大学入試に、CBTは少しは入ってくると思いますが、まだPBTが中心になると思います。我々としては、今のところPBTとCBTの両方を対象としていきます。
また、申請書では記述問題の採点における機械学習的手法の運用についても検討することになっています。これについては、今のところ「どのような方向性で検討していくのかを検討している」という段階です。
「コンピュータとプログラミング」で模擬試験を実施、実行環境の有無による差異を比較する
今年度は、残り4か月という時間的な制約もあるので、まず「情報I」の学習指導要領の「(3)コンピュータとプログラミング」にフォーカスして研究を進めます。
そして、2024年2月から3月にかけて、高校生および高校教員を対象とした模擬試験を実施したいと考えています。
模擬試験は、「(3)コンピュータとプログラミング」から「(イ)アルゴリズとプログラミング」に関する問題を1問、「(ウ)モデル化とシミュレーション」に関するもの1問の、計2問を1セットとします。1問を10分で解く想定の問題を「中問」と呼んでいますが、中問2問、計20分相当の問題セットを何セットか作って、実際に解いてもらうことにします。
プログラミングの問題に関しては、実行環境がある場合とない場合で比較ができれば、と考えています。
これは、CBTとPBTの比較と言うより、同じCBTでも単なる多肢選択なのか、プログラミング環境や実行環境があり、フィードバックがあるのかによって、プログラミングの能力の測り方は変わってくると思われます。実行環境があるのかないのか、実行環境がある場合にフィードバックがどのように得られるとか、このような違いが評価にどのような影響を与えるかにフォーカスを当てていきたいと考えています。
まず問題を作ってみて、その成果をマニュアル作成につなげる
このような模擬試験を実施することを通して、ゴールである「問う能力」や評価基準を明確化していったり、学習指導要領や教科書との関連付けを行ったりすることを目指しています。
最終的には作問のガイドライン、マニュアル的なものを作ることをゴールとしていますが、今年度はまだマニュアルがないので、まずは問題を作ってみて、次回以降でマニュアルを作って、それに基づいて作問していくということを考えています。
また、先ほどから何度も話題になっている「思考力・判断力・表現力を評価する問題作成手順」ですが、これは電気通信大学の久野靖先生たちか中心となって作られたもので、思考力を4つ、判断力、表現力、およびそれらを組み合わせたマクロな思考力の7分類として、それぞれこのような問題を作れば、それぞれの能力を測ることができると言えるだろうというものです。マニュアルの作成にあたっては、この辺りも絡めていきたいと考えています。
模擬テストで「アルゴリズムとプログラミング」を出題するにあたって、どのような出題をすればプログラミング能力を測れるのか、とか、「情報Ⅰ」の学習指導要領や教科書ではどのようなレベルを期待しているのか、といったことを明らかにしていけたらと思っています。
CBT・PBTの比較については、先ほどお話しした通りです。
限られた時間の中で「モデル化とシミュレーション」の力をどう問うか
「モデル化とシミュレーション」は、短い試験時間の中で「モデル化」をどう問うかが課題です。「モデル化とシミュレーション」というのは、基本的に何か解決したい問題があって、その解決のために問題をモデル化してシミュレーションして、そのモデルが妥当かどうかを評価し、改善しながらサイクルを回して、より良い問題解決に繋げていくということであると思います。
しかし大学入試、特に一般入試では、やはりどうしても1つの教科に1時間といった、限られた時間の中で試験を行うのが一般的かと思います(総合型選抜などであれば、もう少し違ったやり方があるのかもしれませんが)。
しかも、「モデル化とシミュレーション」の問題だけで1時間試験をするというわけにはいかないので、1問にかけられる時間がせいぜい15分とか10分となったとき、どうすれば「モデル化する能力」をうまく問えるのか、というところは問題意識としてあります。
現段階では、「こうすればモデル化の問題作ることができる」というところまでは至っていないので、まずは問題を作ってみて、次のサイクルのときに具体的なことをお示しできるようにしていければと思っています。