20190626_ICON技術セミナー10_劉_斎田
- 1. FLIP+国際会議参加報告 ＆ 世界における初等中等教育での CBT利用の現状 ICT CONNECT 21 CBTサブワーキンググループ 劉 東岳 / 斎田 健太郎 ICT CONNECT 21技術標準WGセミナー June 26, 2019
- 3. CBT概論
- 4. CBT概論：そもそも CBT(Computer-based Testing) • コンピュータやモバイル機器などを使ってテスト を実施する方法全般 様々な用語がある • IBT(Internet-based Testing) • WBT(Web-based Training) • e-testing & e-assessment • Technology-based Testing
- 5. CBT概論：そもそも 様々な実施形態がある • 国際テスト委員会(ITC)の ガイドライン https://www.intestcom.org/ Mode 典型的な実施体制 Open オンライン、個人認証なし、無制限 Controlled オンライン、事前登録、IDとパスワード Supervised オンライン、遠隔地から監督、受験環境の標準化に 限界(技術的な課題) Managed CBTテスト会場(標準化された受験環境)、個人認証、 不正対策
- 7. CBT概論：現状 高等教育に関連するテスト • 医学・歯学・薬学の共用試験 • TOEFL、GRE、GMATなどの海外留学 人材・雇用に関連するテスト • 適性検査 • 入社試験 専門技能・ライセンスに関連するテスト • IT系、マネジメント系、医療系 • 業界統一の試験(金融業界、保険業界など) 国内では、およそ年間350万～400万試験が Managed modeで実施されている
- 8. CBT概論：利点 多様な問題形式と解答情報(問題) • メディア(画像、音声、3Dオブジェクトなど) • プロセス(操作手順、時間など) • シミュレーション、インタラクティビティ 複雑な出題アルゴリズム(試験) • 出題順の変更・ランダム化 • 並行版、LOFT(Linear-on-the-fly Testing) • 適応型テスト CAT(Computer Adaptive Test) 柔軟な実施・採点体制(運用) • 通年実施、ウィンドウ、申請・変更(受験側の利便性) • 即時採点、採点支援、問題の差し替え(実施側の利便性)
- 9. CBT概論：用語 問題プール／項目バンク (項目＝問題) • 問題を整理して管理する機能 • 特性：分野、種類、難易度、識別力(切味)、時間など • 関連機能：作成、選定、履歴、集計・分析、更新など 古典的テスト理論(CTT) • 各問題に配点 • 全体で何問(何点分)に正解したのか ⇒ 得点(素点) • 得点が能力水準を反映 • 得点の中身は気にしない • 得点の比較には、全ての問題が同じことが前提
- 10. CBT概論：用語 項目反応理論(IRT) • 得点の中身を気にする(どの問題に正解したのか) • どんな項目に、どう反応をしたか（問題ごと） • 特殊な確率モデルで解答パターンを“能力値”に換算 • 何種類かのモデルが実践で使われている “能力値”の特徴 • 異なった問題でも比較ができる • 問題の特性が分かっていないと計算できない ★ • 得点(得点率)の大小と対応しないことがある ★
- 11. CBT概論：用語 テストの公平性1：みんな同じ内容 • 全受験者に同じ内容の問題 • 会場に集まって一斉受験が前提 • 日本のテスト文化における絶対的な正義 テストの公平性2：それぞれ同等の機会 • 周囲とのシンクロを強制・絶対視しない • 学びの個別化・多様化に対応 テストの公平性3：それぞれ適切な内容 • 適切な難易度・目標設定 • 適応型テスト • 測定誤差
- 12. FLIP+の紹介
- 13. FLIP+：組織 France‐Luxembourg‐Italy‐Portugal • これらの国の政府が、自国の初等中等教育において実 施する大規模なアセスメントの運用体制にCBTの導入 を検討する過程において、国際的な協力体制を構築す るパートナーシップ構想が生まれ、FLIPが立ち上がっ た。（2017年） • 他の国も参加を表明しており、今はFLIP+となった。 • 現時点で企業は正式メンバーになれない。 国際的な協力体制構築の目的 • e-アセスメントの経験・知見の共有 • ITインフラの開発コストの共有(分担) • コンテンツの共有(項目バンクの構築に向けて)
- 14. FLIP+：組織 原則 • 参加を希望する国・団体は次の原則を採用 • オープンソース(Open Source) • 相互互換性(Interoperability) 現在のシステム • Open Assessment Technologiesが提供するTAO • TAOはFLIP+の原則を満たす。 https://flip-plus.org/
- 16. FLIP+：第2回国際会合 参加者 • 13か国から50名＋ • 行政機関、国際機関、民間非営利団体 • パートナー企業 目的 • 情報共有、各国からの報告(現状、計画) • 最新テクノロジーの紹介 • コミュニティの付加価値(展開、企画、提言) スケジュール • 全体での報告会 • 分科会での議論・ブレインストーム • 親睦会
- 17. FLIP+：第2回国際会合 参加者 • 13か国から50名＋ • 行政機関、国際機関、民間非営利団体 • パートナー企業 目的 • 情報共有、各国からの報告(現状、計画) • 最新テクノロジーの紹介 • コミュニティの付加価値(展開、企画、提言) スケジュール • 全体での報告会 • 分科会での議論・ブレインストーム • 親睦会
- 18. 国外事例1：フランス
- 19. フランスの教育システム • フランス国民教育省 • 30のアカデミー(複数県からなる学区)を統括している • エレメンタリースクール: 52,000校 • セカンダリースクール: 11,000校 • 児童・生徒: 1,300万人 • 総予算: 11兆円 (93 billion EUR) • DEPP • Department of Statistics of the Ministry of Education • 国民教育省の評価・調査・業績局 • アセスメントの標準化を推進 • Thierry Rocherさん • FLIP+設立の中心メンバー
- 20. DEPPが推進する3つのアセスメント • クラスレベル • 先生に対し，教育的介入の改善を目的とした標準化ツールを 提供 • 地域レベル • 教育長に対し，教育的介入効果を測定するための指標を提供 • 国レベル • 教育システムを評価するための結果と傾向と国際比較を提供
- 21. eアセスメントへの移行 • 2015年よりPBTからCBTへの移行を開始 • eアセスメントにより実現できること • コスト削減 • 大規模な実施 • マルチメディア，インタラクティブ，シミュレーションを用い た出題 • アダプティブテスティング • ログデータの活用
- 22. 学校種による実施条件の違い • 小学校でのCBT • オフライン • タブレットを貸与 • 抽出調査 • 中学校でのCBT • オンライン • 学校のPCを利用 • 抽出調査，悉皆調査
- 23. 2019年のアセスメント • 大規模なアセスメント • eアセスメントは10学年に加え6学年も対象に • 1学年と2学年が対象のアセスメントではポータルを開発 • 先進的なアセスメント • タブレットアプリケーションの開発 • 数学と21世紀型スキルのアセスメントでTechnology Enhanced Items (TEI)を開発 • データ解析 • モードエフェクト (PBT/CBT)
- 24. 2019年のアセスメント: 大規模なアセスメント • 6学年と10学年で悉皆調査 • 6学年: 83万人 / 7,100校 • 10学年: 83万人 / 4,500校 • 国語と数学，2ブランチのアダプティブアセスメント • TAOをオンラインで利用 • 記述式問題はなし→自動採点 • 結果 • 95%の参加率 • 5万人の同時接続を実現 • 低速回線の学校向けにオフラインバージョンも用意
- 25. 2019年のアセスメント: 先進的なアセスメント • Technology Enhanced Items • CBTならではの問題 • インタラクティブ，シミュレーション • チャットシミュレーター • チャット画面を模した問題でインタラクティブに回答する • プログラミング • ブロックを並べて動作を確認する • ファイルエクスプローラー • ファイルエクスプローラーのシミュレーター • 電気回路シミュレーター • 要素をドラッグ＆ドロップで並べる
- 26. 2019年のアセスメント: データ解析 • PBTではわからないもの • 1画面あたりの滞在時間 • やり直した内容，回数 • 回答した順番 • 試行錯誤のログをどうするか？ • ノイズの中から有益なデータをどう拾うか？ • ビッグデータ • ログに残らないもの • ある生徒は画面上の距離を指で測って回答 • ログが全てではない
- 27. 2019年のアセスメント: モードエフェクト • 同じ問題をPBTとCBTで実施して結果を比較する • 9学年，サイエンス • 4,000人が対象 • 紙 vs. PC • PCの方が難易度が高い • 15-20%，CBTが難しい • 1-2学年，国語と数学 • 4,000人が対象 • 紙 vs. タブレット • 14-17%違う，CBTが難しい • 結果 • CBTの方が難しくなる • 問題によって差が大きいものがある • CBTは1問あたりにかける時間が短い
- 28. 今後 • 今後の予定 • アクセシビリティツール • QTI+APIP • UXリサーチ • 紙とは違うユーザー体験を設計 • データ解析 • 音声合成／音声解析 • ポータルによるデータ利用 • アセスメントの結果は数日後にはポータルで提供される • システム開発の継続 • TEI
- 29. 国外事例2：ルクセンブルク
- 30. ルクセンブルクの紹介 • 人口59万人，48%が在留外国人 • 児童・学生8.8万人，42%が外国出身 • プライマリースクール: 156校 • セカンダリースクール: 40校 • 大学: 1校 • 45%の職で，18万人の越境労働者
- 31. SCRIPT • https://www.script.lu/ • データ部門 • データベース管理 • データ保護 • アセスメント • データ利用 • 2015年からDigital Educationが始まった • アセスメントだけではなく学習もデジタル化が進んで いるので，PCに慣れている
- 32. MathemaTIC • https://www.mathematic.lu/ • Personalized Learning in Mathematics • アダプティブ • 多言語対応 • わかりやすい • TEI • 589問題 • 30アセスメント • 自分のペースで勉強できるのが重要 • 先生が問題を作る • ダッシュボード・リーダーボードが充実
- 33. FLIP+への貢献 • MathemaTICの問題へのアクセス • 問題をPCIにコンバート • フランスに渡して使われている
- 34. 休憩
- 36. 平成30年度 全国的な学力調査における ICT の活用に関する調査研究 • 全国的な学力調査における ICT 活用の可能性を検証 • 全国学力・学習状況調査の CBT 化に向けた検討の状況 • 小中学校における「教育の情報化」と「情報活用能力」の実 態 • 国内外のCBTによる5つの学力調査を対象とした先行事例調 査 • PBT 調査と CBT 調査の相違点についての比較分析 • http://www.mext.go.jp/component/a_menu/educ ation/micro_detail/__icsFiles/afieldfile/2019/05/ 21/1416819_01.pdf
- 37. 平成30年度 全国学力・学習状況調査中学校の英語予備調査 • 平成31年度の悉皆調査で追加になる英語の予備調査 • 「話すこと」調査については、基本的に学校のPC教室 等で既存のPCを用いて、音声を録音する形式で実施 （準備時間も含め１５分程度） • オフラインでの実施 • 課題 • 他者の発話の漏れ • プログラムのコピーと結果回収の作業負荷 • 環境復元ソフト • プロキシ • http://www.mext.go.jp/b_menu/shingi/chousa/sh otou/130/shiryo/__icsFiles/afieldfile/2018/06/2 7/1405482_4.pdf
- 38. 平成31年度 全国学力・学習状況調査の中学校英語「話すこと」調査 • 2019年4月18日に一斉実施 • 教科は国語と数学と英語，英語の「話すこと」調査の みCBTで他はPBTで実施した • 「話すこと」調査は9,448校で実施した • 全中学校の約96% • 結果の公表と公開はまだ • PC環境の整備状況などで参加しない学校もいた • 100%オフラインで実施した
- 39. CBT技術小話
- 40. FLIP+の方針 • 2つの方針 • オープンソース • インターオペラビリティ (オープンスタンダード) • システムとデータのベンダーロックオンを防ぐ • 長期的な利用を想定
- 41. オープンソース • フランスは国でTAOの採用を決めて推進 • TAOはオープンソース，またオープンスタンダード対応 • Pros • ソースコードが公開されている • 信頼性がある • コスト削減(?) • Cons • サポート • 品質に対する保証がない • ライセンス，派生物の扱いに注意
- 42. オープンスタンダード • データのインターオペラビリティ • IMS QTI (Question & Test Interoperability) • PCI (Portable Custom Interaction) • システムのインターオペラビリティ • IMS LTI (Learning Tools Interoperability) • Pros • 対応しているシステムでの互換性の保証 • システムを乗り換えてもデータはそのまま使える • 仕様を一から考えなくて良い • 費用削減 • ベストプラクティス • Cons • 仕様を全て満たそうとすると無駄な部分があるかも • 仕様変更する場合は仕様から外れるか仕様決めに参加
- 43. IMS QTI & PCI • アイテム，テスト，デリバリー，結果の仕様 • 出題の種類は標準で10種類以上 • 選択，並べ替え，ホットスポット等 • 標準以外はPCIで開発 • Technology Enhanced Items • JavaScriptで開発 • アクセシビリティ対応 • 対応しているLMS • Canvas (認定済み) • Moodle (一部インポート可) • Sakai (未認定) • 詳しくは • https://www.slideshare.net/ICT_CONNECT_21/20170710 -icon2-77685117
- 44. TAOの新機能 • センターサーバー＆ローカルサーバーでのオフライン • 問題配信＆結果回収はオンラインで • アイテム作成ワークフロー • アダプティブエンジン対応
- 45. 今後の展開・課題
- 46. 今後の展開・課題 測定ツールとしてのテスト・アセスメント • 人の潜在的な特性を測定する仕組み • 背景に理論・技術が存在 • 品質評価(妥当性、信頼性) • 設計・開発、運用・効率などについて議論できる 社会インフラとしてのテスト・アセスメント • 能力判断に何を見るのか ⇒ 獲得の履歴、活用の成果、測定の結果 • 理論・技術の正当性 • 運用・コストの実現性 • 公平性・納得感・有益性 • テスト文化 － テストって“こう”あるべき
- 47. 今後の展開・課題 これからCBTが普及する社会的背景 • 学び(学習環境や教材)のICT化 ⇒ 評価(テストやアセスメント)のICT化は必然 • 学びの個別化・多様化 • 新たな学力観・能力観 • 就業・学びの機会のグローバル化 ⇒ 何を測定するかが能力を定義する面もある ⇒ 国家間の能力規格競争 (ディファクト・スタンダード)
- 48. 今後の展開・課題 最初に高等教育以降でCBTが普及 ⇒ 運用の利便性 初等中等教育におけるCBTは、高等教育以降で普 及していたCBTとは違ったものになり、既存の CBTサービスの延長とはならないのではないか • 期待される付加価値 • プラットフォームの在り方 • ビジネスモデル
- 49. オープンな意見交換
- 50. 劉 東岳 DL.Liu@gakken.co.jp 斎田 健太郎 saida@infosign.co.jp ご清聴ありがとうございました！