学習支援システム研究における評価段階の整理 ― 探索的・改良・適合化的・総括的の三段階モデル ―
学習支援システムの研究では，新たな支援機構や学習活動をシステムとして設計・実装し，その教育的価値を検討することが重要な課題となる。しかし，この種の研究で行われる評価や実験は一様ではない。ある研究では，その仕組みが受け入れられるか，使えるか，授業に持ち込めるかといった成立可能性が問われる一方で，別の研究では，どのように改良すべきか，どの対象や授業条件に適合させるべきかが問われる。さらに，十分に成熟した段階では，システム全体として教育的価値があるか，継続利用や導入に値するかが問われる。
このように，学習支援システム研究における評価は，研究の進展段階に応じて異なる役割をもつと考えられる。しかし，こうした段階差そのものはこれまで個別には指摘されてきたものの，学習支援システム研究全体に即して，一つの見通しのよい枠組みとして整理されてきたとは必ずしも言い難い。そのため，設計・開発を主たる貢献とする研究に対して総括的な効果検証に近い基準が求められたり，逆に，導入判断が求められる段階の研究に対して探索的な成立可能性の確認だけで十分とみなされたりするなど，研究の位置づけと評価基準のずれが生じうる。
本稿は，学習支援システム研究における評価段階について，既に広く確立した単一の標準分類を提示するものではない。むしろ，これまで ITS 研究，design research，複雑介入研究などにおいて着実に指摘されてきた論点を踏まえ，それらを学習支援システム研究の実態に即して統合的に再整理することを目的とする。具体的には，本稿では，学習支援システム研究における評価を，探索的，改良・適合化的，総括的の三段階として整理し，各段階の意味と役割を明確化する。さらに，著者らの作問学習研究を例に，教室実践を伴う研究であっても探索的段階に位置づく場合があること，設計・開発研究と運用・導入評価とは関連しつつも一定の役割分担が可能であることを論じる。
2. 先行研究と問題の所在
2.1 学習支援システム研究における段階的評価
学習支援システム研究では，開発の進展に応じて，異なる役割をもつ評価が行われる。初期段階では，その仕組みが受け入れられるか，使えるか，活動として成立するかといった成立可能性が主な関心となる。中間段階では，どこを直すべきか，どの条件や要素がより適切か，どの対象や授業条件にどう合わせるべきかといった改良と適合化が中心となる。さらに成熟した段階では，システム全体として教育的価値があるか，継続利用や導入に値するかが問われる。
このように，学習支援システム研究における評価は，単に「効果があるか」を問うだけではなく，「そもそも成立するか」「どのように改善すべきか」「全体として導入に値するか」といった異なる問いに応答するために行われる。
2.2 DBR / EDR との関係
この考え方は，design-based research や educational design research と近い関係にある。これらの枠組みも，設計と実践を往還しながら，教育的介入を改善し，設計原理や理論的知見を洗練することを重視している。しかし，学習支援システム研究では，教育的介入の設計のみならず，認知モデルの構成，支援機能の実装，インタフェース設計，ログ取得基盤の整備，安定運用といった，人工物としてのシステム開発それ自体が研究対象となる。
そのため，学習支援システム研究は DBR / EDR と対応関係をもちつつも，同一視するのではなく，システム開発固有の評価段階と論点を含む研究領域として別建てで整理する方が適切である。
2.3 問題の所在
以上を踏まえると，学習支援システム研究において問題となるのは，異なる役割をもつ評価が，同一の基準で理解・査読されがちである点である。特に，設計・開発の新規性自体には異論がないにもかかわらず，実験部分だけが総括的段階に近い基準で評価されると，設計研究としての貢献と導入効果検証としての貢献とが混同されやすい。
3. 三段階モデルによる再整理
本稿では，学習支援システム研究の評価を，次の三段階として整理する。
探索的
受け入れられるか／使えるか／授業に持ち込めるか／活動は成立するか
↓
改良・適合化的
何を直すべきか／どの条件がよいか／どの対象・授業にどう合わせるか
↓
総括的
全体として教育的価値があるか／継続利用・導入に値するか
3.1 探索的段階
第一段階は，システムがそもそも成立しうるかを探る段階である。ここで問われるのは，教師や学習者に受け入れられるか，最低限操作可能か，実践に持ち込めるか，意図した学習活動が実際に生起するかといった成立可能性である。
この段階には，教師に使ってもらって受容可能性を調べる評価，本来対象とは異なる学習者に使ってもらう予備評価，実際の授業で部分的・探索的に試用する実践など，多様な型が含まれる。これらはすべて，「完成した介入の最終的効果検証」ではなく，「その仕組みが成立するか」という不確実性を減らすための評価であるという点で共通している。
3.2 改良・適合化的段階
第二段階は，ある程度の成立可能性が確認されたシステムを，よりよく機能するように洗練する段階である。ここでは，どこに問題があるのか，どの条件がより有効か，どの対象や授業条件にどう合わせるべきかが問われる。
この段階では，不具合修正だけでなく，教科内容，学年，授業時間，教師の運用スタイル，既存教材との整合などを考慮しながら，システムを実践に適合させていくことが含まれる。また，複数の支援条件を比較する実験も，最終効果をただちに断定するためではなく，どの構成要素や条件がより望ましいかを見極めるための，改良・適合化的評価として位置づけられる。
3.3 総括的段階
第三段階は，十分に成熟したシステムについて，その全体的な教育的価値を評価する段階である。ここで問われるのは，学習成果や学習効率だけではない。継続的利用に値するか，カリキュラムにどう位置づけられるか，教育実践の中で安定的に機能するかといった導入判断も含まれる。
この意味で総括的段階は，単なる「効果測定」ではなく，システムを教育の中に位置づけるための総合的な評価段階である。
4. 著者らの研究にみる三段階モデル
この三段階モデルは，著者らが行ってきた単文構成型作問学習研究にも当てはめて理解することができる。
山元ら（2013）は，「教室授業との融合」を目的としてモンサクン Touch を開発し，小学校1年生を対象とした実践利用を報告している。この研究は教室利用を伴っているが，その主眼は，通常教室における運用可能性や実践上の成立可能性の探索にあると読めるため，探索的段階の研究として位置づけるのが妥当である。ここから分かるのは，「教室で使った」という事実だけでは，その研究が総括的段階にあることを意味しないということである。
これに対して，平嶋ら（2022）は，公立小学校の全学年全クラスでの「試験的利用」を報告している。この研究もなお探索的段階の性格を強くもつが，同時に，どの学年・どの授業でどのような利用価値が見込まれるかを明らかにし，その後の適合化・改良につながる知見を与えている点で，改良・適合化的段階への橋渡しとみなすことができる。
したがって，これら二つの研究は，いずれも「教室で使われた研究」でありながら，総括的研究ではなく，探索的，ないし改良・適合化的段階に位置づく研究として理解できる。
5. 設計・開発研究と導入評価の役割分担
ここで特に強調したいのは，設計・開発研究と，運用・導入のための評価研究とは，ある程度役割分担してよいという点である。学習支援システム研究では，新規な支援機構・教具・表現・インタフェースの提案と実装それ自体が，研究の重要な成果となりうる。他方で，その人工物をどのような条件で使うとよいか，どの対象や授業に適するか，継続導入に値するかを見極めることは，別の種類の研究課題である。
特に学習支援システム研究では，教具やシステムを改良すること自体が条件の変更を伴う。ここでの条件変更は，心理学実験のように独立変数の意味を純化して切り出すことだけを目的とするものではなく，よりよい人工物へ向けて最適化・適合化を進めるために行われるものである。したがって，「道具を作ること」と「その適した使い方を確かめること」は，関連は深いが，必ずしも同一研究の中で同時完結である必要はない。前者は探索的段階を伴う設計・開発研究として，後者は改良・適合化的，あるいは総括的段階に向かう導入評価として，段階的に分担して考えることができる。
その意味で，学習支援システム研究においては，次のような役割分担が認められる。第一に，新規な支援機構や教具の提案と実装を主たる貢献とし，実証部分は探索的段階で成立可能性を示す研究である。第二に，その仕組みを対象・授業・運用条件に適合化し，どの使い方が妥当かを検討する改良・適合化的研究である。第三に，十分に成熟した後に，全体効果と導入判断を扱う総括的研究である。こうした段階的な役割分担を認めることは，設計・開発研究に不当に重い要求を課さず，同時に導入判断に必要な検証も別段階で確保するという意味で，研究分野の実態に即している。
6. 研究者と査読者への含意
以上の整理が示すのは，学習支援システム研究では，各研究がどの段階に位置づくのかを明示することが重要だということである。研究者は，自らの研究が成立可能性を問うものなのか，改良・適合化を目指すものなのか，全体効果と導入判断を問うものなのかを明らかにし，その段階に応じた主張を行う必要がある。たとえば設計・開発研究であれば，主張の中心を novelty，成立可能性，受容可能性，運用可能性，初期的な learning-related gains に置き，全体効果や制度的導入判断は今後の課題として整理することが適切な場合がある。
同時に，査読者もまた，すべての研究を同じ実験観で評価するのではなく，その研究が探索的，改良・適合化的，総括的のいずれに位置づくのかを踏まえて判断する必要がある。探索的段階の研究に対して総括的段階の厳密な証拠を要求すれば，新規設計の探索が阻害される。他方で，総括的段階の研究に対して探索的段階程度の証拠で十分とみなせば，教育的価値の検証が不十分になる。したがって，研究者と査読者の双方が，研究の段階に応じた評価基準を共有することは，厳密さを弱めるためではなく，各段階にふさわしい厳密さを確保しながら，分野の累積的発展を支えるための方法論的配慮である。
7. おわりに
学習支援システム研究では，設計・開発，試用，改良，導入，効果検証が連続的に進む。そのため，この分野で行われる評価や実験は，本来，同一の役割をもつものではない。成立可能性を探る評価，改良や適合化のための評価，全体効果と導入判断のための評価では，問うべきことも，求められる証拠も異なるはずである。
しかし，現実には，こうした役割差が十分に明示されないまま，異なる段階の研究が同一の基準で捉えられることが少なくない。その結果，設計・開発の新規性が認められている研究であっても，総括的評価に近い実験が伴わないことだけを理由に，不十分とみなされる場合がある。これは，研究の質の問題というより，研究段階の位置づけが十分に共有されていないことに起因する可能性がある。
もちろん，学習支援システム研究における評価段階について，すでに分野全体で合意された単一の標準分類が存在するわけではない。しかし，ITS 研究，design research，複雑介入研究などをみると，評価の役割が段階によって異なること自体は，一貫して指摘されてきた論点である。本稿では，そうした議論を踏まえ，学習支援システム研究における評価を，探索的，改良・適合化的，総括的の三段階として整理する。この整理を通して，学習支援システム研究における設計・開発研究と導入評価の役割分担を見通しよく示し，研究者と査読者が共有しうる一つの観点を提示することを目指す。
参考文献
Bannan-Ritland, B. (2003). The role of design in research: The integrative learning design framework. Educational Researcher, 32(1), 21–24.
Corbett, A. T., Koedinger, K. R., & Anderson, J. R. (1997). Intelligent tutoring systems. In M. Helander, T. K. Landauer, & P. Prabhu (Eds.), Handbook of Human-Computer Interaction (2nd ed., pp. 849–874). Elsevier.
Design-Based Research Collective. (2003). Design-based research: An emerging paradigm for educational inquiry. Educational Researcher, 32(1), 5–8.
McKenney, S., & Reeves, T. C. (2014). Methods of evaluation and reflection in design research. Zeitschrift für Berufs- und Wirtschaftspädagogik, 27, 141–153.
Shavelson, R. J., Phillips, D. C., Towne, L., & Feuer, M. J. (2003). On the science of education design studies. Educational Researcher, 32(1), 25–28.
山元翔・神戸健寛・吉田祐太・前田一誠・平嶋宗（2013）．教室授業との融合を目的とした単文統合型作問学習支援システムモンサクン Touch の開発と実践利用．『電子情報通信学会論文誌D』96(10), 2440–2451．
平嶋宗・前田一誠・岩井健吾・山元翔・松本慎平・林雄介（2022）．量命題を部品とした算数単位文章題組立作問学習ソフト「モンサクン」の小学校全学年での試験的利用．『教育システム情報学会誌』39(3), 357–367．
コメント
コメントを投稿