20150321 医学:医療者教育研究ネットワーク@九州大学
1 like814 views
2015年3月21日 九州大学 第6回医学/医療者教育研究ネットワーク リサーチ合宿
20150321 医学:医療者教育研究ネットワーク@九州大学
- 1. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 医学/医療者教育研究ネットワーク リサーチ合宿＠九州大学 質問紙の設計と改善 2015年3月21日 京都大学大学院医学研究科 医療統計学分野 / 医学教育推進センター 廣江 貴則 Facebook: takanorihiroe e-mail: t-hiroe@umin.ac.jp
- 2. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health ある日の机＠東京
- 3. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health SELF INTRODUCTION • 汎用統計家（21世紀で最もセクシーな職業らしい） • 生物統計学，情報工学，人間工学など • ヒトの行動を”測る”ことに興味がある • 手に負えなくなった質問紙の後始末をしていたら， いつのまにか質問紙の話をするようになっていた
- 4. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health OUTLINE 1. 質問紙の設計概論 2. 選択式回答 / 尺度項目のつかいかた 3. デモグラフィックをどう扱うか 4. 量と質のバランス 5. 実際の質問紙を検討して改善案を出してみよう （すぐに作れたら誰も困らないので）
- 5. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health OUTLINE 1. 質問紙の設計概論 2. 選択式回答 / 尺度項目のつかいかた 3. デモグラフィックをどう扱うか 4. 量と質のバランス 5. 実際の質問紙を検討して改善案を出してみよう （すぐに作れたら誰も困らないので）
- 6. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 質問紙の限界 • 知識や技術があるかどうかは質問紙では測れない • 分かったかどうかはテストでやるべきこと • テストと意識させないようにテストを質問紙の中に 仕込むことは技法のひとつとしてやられている • （真の）態度の変化は質問紙法でたぶん測れない • ベースラインの情報を複数回とるなら別の話
- 7. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 漠然と ねてはいけない • 明確な目的と見通しを持った調査を • 目的や用途に応じて欲しい結果は変わってくる • プログラム評価用 / 改善用 / 予算獲得用 / 論文執筆用 • 対象者や制約条件は早い段階で明確にしておく • 質問紙調査でもサンプルサイズ設計が必要な場合も
- 8. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 検討をしないとこうなる • 手遅れになります • 「なんでこんな状態になるまで放置していたんですか！」
- 9. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health •仮説検証型調査 ‣ 狙って取りに行く ‣ 仮説をたてる ‣ 仮説の検証が目的 ‣ 仮説は直感でもよい (先行研究でもよい) •仮説生成型調査 ‣ 広く傾向を知る ‣ 仮説の設定は不要 ‣ 実態把握が目的 ‣ 二次調査が要る場合 が多い 調査のタイプ（ざっくりと）
- 10. 2014 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 出所： “質問紙法による本調査実施までの各プロセスの関連性”, 鈴木淳子(2011)
- 11. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 設計におけるふたつの疑問 1. なにを聞くか • 質問の内容については近年検討されるようになってきた • 当該領域の専門家が複数人でやるべき仕事 2. どうやって聞くか • 尺度の選び方，質問文や回答項目の設計，紙面のデザイン • 紙面や回答時間の制約があるので質問を作る力量が問われる • 専門家だけでは残念な結果になることも少なくない
- 12. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health QUESTIONING SKILL 「カレーライスを作るので材料を買ってきてほしい」 • 相手が想像通りのカレーを作る材料を えられるか •グループ内でひとりが回答者役 •回答者は聞かれたことのみ答える（答えなくてもよい） • 残りの人は質問をしてカレーの材料リストを作る •制約条件：合計４つしか質問ができない
- 13. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 簡単には身につかない • 日常会話で訓練する • 質問紙は渡したら（会話と違って）書いてもらうだけ • 効率的な質問をすることを意識してみる • 臨床家なら持ち合わせているはずだが，専門分野以外で うまく使えない人が少なくない • 教育に携わる人には質問紙に限らず重要なスキル
- 14. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health OUTLINE 1. 質問紙の設計概論 2. 選択式回答 / 尺度項目のつかいかた 3. デモグラフィックをどう扱うか 4. 量と質のバランス 5. 実際の質問紙を検討して改善案を出してみよう （すぐに作れたら誰も困らないので）
- 15. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 選択式回答とか尺度とか • 簡単そうに見えて（実際作れて）実は厄介な問題 • 量的なアプローチ • ラベルに注意 • （AMEE Guide #87; Developing questionnaire for educational research ) • 信頼性や妥当性を検討してから使うべき • 既にあるものを使うのが一番気が楽だが… • 細かな手法の一部はAppendixに収載
- 16. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health OUTLINE 1. 質問紙の設計概論 2. 選択式回答 / 尺度項目のつかいかた 3. デモグラフィックをどう扱うか 4. 量と質のバランス 5. 実際の質問紙を検討して改善案を出してみよう （すぐに作れたら誰も困らないので）
- 17. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health デモグラフィック • 性別，年齢，職業，職種，年収，経験年数，etc. • どんな調査にもほぼ含まれる内容 • 分析の基礎となる • 質問の仕方や内容によっては答えてもらえない • 不必要な項目は無駄に聞かない方が得策？ • どんな分析をするか分からないのでとりあえずとっておく？
- 18. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 冒頭か最後か • デモグラフィックは最初に置くか，最後に置くか • 冒頭は忘れられにくいが，警戒されることも • 最後は最近の流行だが，忘れられるリスクあり ✓プライバシーの問題がなければ最初も可 ✓他人に知られたくないようなことを書かせる場合は 最後にしたほうが良いかも知れない
- 19. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 経験年数に注意 • 人によって解釈が変わる極めて厄介な変数 • 初期研修は含む？含まない？ • 免許取得後の年数 • 現在の組織に入職してからの年数 • 現在の部署に配属されてからの年数 • 解釈が変われば結果も変わる • 記憶バイアスに注意
- 20. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 記憶バイアス(記憶効果) • 過去の出来事や行動についての質問 • 時期(X年前)もなかなか思い出せない • 記憶質問に対する回答の信頼性は低い(直井, 1998) • 結果は参考程度にとどめる必要がある
- 21. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 嘘と無回答は扱いが難しい • 嘘を嘘と見抜くことは難しい • 外れ値という理由のみで除外することはできない • 質問紙は基本的に一往復で終わり • 無回答には二種類ある • 意図的な無回答 / 単なる回答忘れ • 嘘なく，必要な人にもれなく答えてもらう工夫が必要
- 22. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health FILTER QUESTION • 回答者を分類するための質問 • 必要な人だけに，その先の質問に答えてもらう ‣ 適当な回答，嘘の回答を防ぐ方法のひとつ ❖ 【質問1】あなたは新聞を読みますか？（はい or いいえ） ❖ 【質問2】質問1で「はい」の方にお尋ねします． 1日に何分くらい新聞を読みますか？
- 23. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health OUTLINE 1. 質問紙の設計概論 2. 選択式回答 / 尺度項目のつかいかた 3. デモグラフィックをどう扱うか 4. 量と質のバランス 5. 実際の質問紙を検討して改善案を出してみよう （すぐに作れたら誰も困らないので）
- 24. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 選択式回答法 • 長所 ‣ 回答が簡単 ‣ 全員が共通の枠組み で回答してくれる ‣ 数値/コード化可能 ‣ 統計解析がしやすい • 短所 ‣ 選択肢設定が難しい ✓ 選択肢以外に選べない ✓ バイアスが生じやすい ‣ 無回答の場合の解釈 が難しい ‣ 意図的無回答 or 忘れ
- 25. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 自由回答法 • 長所 ‣ 選択肢の制限がなく 自由に回答可能 ‣ 回答の幅が広い ✓ 多様なデータが集まる ‣ 事前の予想を超える 回答が得られる • 短所 ‣ 回答に時間を要する ‣ 無回答が多い ‣ 質問と無関係の回答 ✓ 方向性を定めにくく，言いた い放題になる ✓ 質問設計が難しい
- 26. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 選択式でも回答は面倒 • 選択式回答が多ければよいわけではない • 自由回答よりは気楽だが，それでも多いと辛い • 両極選択バイアスが生じる可能性 • 人間は一度面倒に感じると，その後は適当に片付ける • 「自分でやってみてください．全部答えますか？」
- 27. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 両極選択バイアス • 選択肢が多い場合に生じる • 最初か最後の選択肢を選ぶ傾向 • 面倒になって全てに目を通さない • 項目数の見直し，類似の質問のグループ化で対処 ‣ 多項選択では，多くても8∼10項目
- 28. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 自由記述はもっと面倒 • 好きこのんで回答などしたくないのが一般的 • 「自分でやってみてください．全部答えますか？」 • 強い意見や意思を持つ人がたくさん書く傾向 • バイアスがあるので，全体の要約にはなりにくい • とはいえ，多くの人に書いてもらう工夫が必要
- 29. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 自由記述への処方箋(1) • 限定的記述質問 (Specific answer question) • 事実，行動，嗜好などの情報に対する質問に適する • 単語または１行程度，ちょうどいい回答スペース 印象に残った教育技法を３つまで挙げてください （ ）（ ）（ ）
- 30. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 自由記述への処方箋(2) • 文章完成型質問 (Sentence completion question) • 文頭だけ提示して文章を完成させる • 記述内容について誘導可能 この研修で最も印象に残った話は この研修の改善点は
- 31. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 自由記述への処方箋(3) • 短文/単語回答型質問 (Short-answer question) • どんな回答が得られるか予想できない場合 • 短い言葉で答えられる質問設計 今年の年度末を楽に過ごすためにあなたが最も 重要だと考えることは何ですか．分からない 方は「分からない」お答えください．
- 32. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 量と質のバランス • どんな項目であれ，多すぎるとろくなことはない • 回答内容がある程度予想できるものは選択式 • 回答が全く予想できないものは自由記述 • 自由記述では論点を絞って ねる / 書いてもらう • 同時にいくつものことを いてはいけない • 回答者が「意識が高い人」なら全部自由記述でも可
- 33. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health DOUBLE-BARRELED QUESTION • 二重質問 • 1つの質問に2つ以上の異なる論点を含む • 専門家もやらかす，頻度の高いミス(Azzara, 2010) • 選択肢を増やすか，質問を分割して対処 • 論点並列型と論点従属型
- 34. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health ここまでのまとめ • 役に立たない質問紙調査が増えている • なにを くかと同時にどうやって くかも重要 • たいていの場合は複数回 くことはできない • 質問文の設計が極めて難しい（複数人でやるべき） • 選択式回答は選択肢をよく検討する • 自由回答はスペースに気をつかう（箱や括弧を使う）
- 35. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health OUTLINE 1. 質問紙の設計概論 2. 尺度のつかいかた 3. デモグラフィックをどう扱うか 4. 量と質のバランス 5. 実際の質問紙を検討して改善案を出してみよう （すぐに作れたら誰も困らないので）
- 36. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 課題 ３人前後のグループでやってみましょう 1. 渡されたアンケートの問題点を挙げてください 2. その問題点について解決策を示し，修正してください 3. そのほか，改善すべき点があれば示してください 4. 最後にそれを発表してください
- 37. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health おつかれさまでした • 質問があればどうぞ（あと，一応統計家です） • e-mail: t-hiroe@umin.ac.jp • Facebook: takanorihiroe • Weblog: http://www.thiroe.net • SlideShare: http://www.slideshare.net/thiroe
- 38. 2014 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health APPENDIX
- 39. 2014 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 参考資料1：選択式回答法
- 40. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 選択式回答法の形式 • 二項選択法・Filter Question • 多項選択法（択一 / 複数選択 / 限定選択） • 順位法（完全順位法 / 一部順位法） • 恒常和法 • Likert Scale など
- 41. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 選択式回答法の原則 • 複数の解釈が可能な質問を作らない • 経験年数の例 • 複数の解釈が可能な選択肢を作らない • 該当する選択肢がない状態を作らない • 選択する職種がないなど
- 42. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 二項選択法 • 二択（２つにしか分類できないもの） • ２つの対立するカテゴリーを選択肢に • Filter Questionにむいている • 嗜好や態度を把握するには限界がある ‣ e.g. アボカドは好きですか？ − 好き or 嫌い
- 43. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 多項選択法 • 3つ以上の選択肢を用いる • 複数の選択肢から1つ，または複数選択 ‣ 大きく分類して3種類の方法(SA/MA/LA)がある • 選択肢が増えて，情報に現実味が増す • 全ての選択肢を検討させる工夫が必要
- 44. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 択一式(SA) • 複数の選択肢の中から１つだけ選択 • 「好き・嫌い・どちらでもない」が一例 • 回答しやすく，無回答が少ない • 得られる情報は限定的
- 45. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 複数選択(MA) • 複数の選択肢の中から該当するものを全て選択 • 選択肢の数や配置が極めて重要になる ‣ 両極選択バイアス（最初 or 最後の選択が多い） • 重要な肢以外も「とりあえず」選ぶ恐れ • 最も重要なものに特別な印をつける方法も
- 46. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 限定選択(LA) • 複数の選択肢から指定された数だけ(まで)選ぶ ‣ 指定された数だけ必ず選ぶ場合(3つ選ぶ） ‣ 選択可能な上限を指定する場合(3つまで） • 不適当な回答を無理に選ぶ可能性がある • 制限数は全選択肢の1/3程度(酒井, 2001)
- 47. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 順位法 • 複数の項目について順位をつける • 回答も分析も面倒(Friedman test) • 項目数は3∼7程度(Mangione, 1995) • 完全順位法と一部順位法
- 48. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 完全順位法と一部順位法 • 完全順位法 ‣ 全選択肢について，順位付けを行う • 一部順位法 ‣ 順位付けする項目数を限定する e.g. 以下の7項目から重要だと思うものを3つ 選び，1位から3位まで順位をつけてください
- 49. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 恒常和法 • 順位＋項目間の重要性の違いを測る • 全項目に100% or 100点を与えて分配 • 分析が面倒 (Conjoint Analysis/重回帰分析)
- 50. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 恒常和法の例 • 宝くじが当たったら何に使いますか？ 合計が 100%になるように，空欄に記入してください 1. 貯金 （ ）% 2. 旅行 （ ）% 3. 買い物 （ ）% 4. 投資 （ ）% 5. その他 （ ）% 合計：100%
- 51. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health LIKERT SCALE(1/3) • ライカート（リッカート）尺度(Rensis Likert, 1932) ‣ 例のアレ ‣ 評定法の一種(他には一対比較など) ‣ 尺度間の間隔が等しいと仮定 ‣ 統計的処理が比較的容易だが…
- 52. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health LIKERT SCALE(2/3) • 評定段階は3∼9の奇数段階が多用される • 段階が細かすぎると，回答も比較も困難 ‣ 9段階尺度の回答の再現性は高くない(小嶋, 1975) • 中間選択肢を抜いて偶数にすることも ‣ 強制選択尺度(Forced-choice Scale)
- 53. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health LIKERT SCALE(3/3) • 数字との併用は推奨されない(Christian et al., 2009) • ラベル付けをする場合は大小関係を明確にする 「非常に」「まったく」「かなり」 「やや」「まあ」「どちらかといえば」 「あまり」「ほとんど」「ぜんぜん」
- 54. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 片側のスケール • 片側の尺度 • 0, +1, +2, +3, +4 という形式（ラベルは数字でなくてよい） • 0%(0), 25%(+1), 50%(+2), 75%(+3), 100%(+4) のイメージ • 刺激を与えた場合に，何らかの反応はあるという仮説 • 両側で扱われるマイナスの評価は，0の中に包含する ‣ 正規分布しやすいため，分析が比較的容易
- 55. 2014 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 参考資料2：バイアス
- 56. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health バイアスってなに？ • 意見や考え方，結果に偏りを生じさせるもの • なにか調査をすれば必ず生じる • 種類は無数に存在（見つけたら命名できる？） • 結果の解釈をする上で厄介 • 性質を理解して防げるものは防ぐ努力を
- 57. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 質問側に原因のあるバイアス • 価値判断を含む質問 • 同調圧力 • Yes-tendency • Halo effect • 隠れた前提のある質問 • Double-barreled question
- 58. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 価値判断を含む質問 • 語尾に価値判断を含むと誘導 ‣ 「∼すべきだと思いませんか」 ‣ 「∼に困っていませんか」 - 回答者に明確な意見がない場合，質問文に誘導される
- 59. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 同調圧力 • 社会的(同調)圧力を伴うと誘導 ‣ 一般に言われる / 社会問題化している - e.g. 近年，政治離れによる投票率の低下が社会問題に なっています．あなたは次回の国政選挙で投票に行き ますか．(行く・行かない・未定)
- 60. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health YES-TENDENCY • 「いいえ」よりも「はい」を選ぶ • 知識の有無を問う際に顕著(山田, 2010) ‣ 「知らないことは恥ずかしい」 ‣ 知識の確認は可能な限りテストですべき • 同じ種類の質問を反復しても生じる
- 61. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 賛成？反対？ • 「あなたは○○に賛成ですか」 ‣ 「賛成」に誘導される傾向 • 「あなたは××に反対ですか」 ‣ 「反対」に誘導される傾向 ✓「賛成ですか、それとも反対ですか」
- 62. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health HALO EFFECT • 影響力が強い人名や組織，職業が回答を誘導 ( ら, 1987) ‣ 「○○病予防の専門家である□□医師」 ‣ 「△△学会の専門委員会」 • 権威に対して同調する(逆もある)
- 63. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 隠れた前提がある質問 • あなたは新聞を一日何分くらい読みますか ‣ 「新聞を読んでいる」という暗黙の前提 ‣ 質問者の感覚 ≠ 回答者の実態 ‣ 読まない人が0分と書くかどうか分からない ‣ Filter Questionで「読まない」人を排除
- 64. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 回答側に原因のあるバイアス • 両極選択バイアス • 社会的望ましさバイアス • 中間回答バイアス • 記憶バイアス(記憶効果) • 極端反応バイアス
- 65. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 社会的望ましさバイアス • 社会的に受け入れられやすい内容の回答 • 調査者が期待していると思う回答 ‣ 授業・講習会後の評価によくある ‣ 改善目的のアンケートでは致命的
- 66. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 中間回答バイアス • 評定法を用いる場合に生じる • 中心化傾向(中間選択肢を選ぶ) • 日本人に対する調査では非常に多い • 避けたいなら偶数段階もしくは片側の評定を用いる
- 67. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 極端反応バイアス • (たとえば5段階尺度で)両極の選択肢ばかりを 選択する傾向 • 回答者個人の傾向 • アンケート設計者は悪くない • 回答は集計の対象外にするしかない
- 68. 2014 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 参考資料3： レイアウトと質問の順番
- 69. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 最低限やっておくこと • 倫理的配慮に関する記述 • 質問項目に付番する(通し番号) • 回答方法(番号，単語に○など)の統一 • 回答の進行指示(スキップする場合など) • 重要部分の強調(下線，太字など）
- 70. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 回答者の視点で検討する • 回答者の立場でみると問題点が分かることが多い ✓ 括弧（ ）の大きさ ✓ 文字のサイズ，色 ✓ 行間，余白 etc. ✓専門用語や外来語，略語の使用
- 71. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 質問の順番をどうするか • 合計質問数 • 重要な質問・デモグラフィック項目の位置 • 事実・行動 → 意見・意識 • 簡単な質問 → 難しい質問 • 一般的な質問 → 個別の質問 • 選択式 → 自由回答式 • 総合評価 → 個別評価（見解が分かれるところではある）
- 72. 2015 Takanori Hiroe; Department of Biostatistics, Kyoto University School of Public Health 質問順序と構成 • 様々な考え方があり，一定の解はない • 関連するテーマはまとめる ‣ 次の質問に影響を与える場合は要注意 • 重要な質問は中間付近に配置 • 尺度項目が30を超えると回答が適当に(Dornyei, 2003)