C ai p3_jp_no2
0 likes111 views
This document summarizes the contents and version history of a Japanese language book on correspondence analysis. It includes chapters 1 through 3 and links related to the introduction and first chapter. It describes the composition of the book, discusses chapters 1-3, and lists the meeting history and links for an associated research group studying correspondence analysis.
![『対応分析の理論と実践』
第１章〜第３章
Version 1.20 2021/01/26 若干の追記＋グラフの修正+正誤
表追加
version 1.00 2021/01/22
version 0.92 2021/01/21
「対応分析研究会」
作新学院大学
藤本一男
Kazuo.fujimoto2007[at]gmail.com](https://image.slidesharecdn.com/caip3jpno2-210417141157/85/C-ai-p3_jp_no2-1-320.jpg)
![第２章プロファイルとプロファイル空間
Profiles and the Profile Space
• プロファイル
– 対応分析の最も基本的な概念
– ここでの計算は、[付録B]p260にコード例が掲
載されている。
– 行プロファイル：行パーセント
• 平均プロファイル
– 列合計のプロファイル-> 行平均プロファイ
ル 列プロファイル：列パーセント
– 行合計のプロファイル -> 列平均プロファイル](https://image.slidesharecdn.com/caip3jpno2-210417141157/85/C-ai-p3_jp_no2-26-320.jpg)
C ai p3_jp_no2
- 1. 『対応分析の理論と実践』 第１章〜第３章 Version 1.20 2021/01/26 若干の追記＋グラフの修正+正誤 表追加 version 1.00 2021/01/22 version 0.92 2021/01/21 「対応分析研究会」 作新学院大学 藤本一男 Kazuo.fujimoto2007[at]gmail.com
- 2. 研究会の履歴 • 第１回 2020/11/15 • 第２回 2020/01/22 15:00〜 • 第3回 2020/02/18 14:00〜 • 第4回 2020/03/26 15:00〜
- 3. 構成 • 第１回の補足 – 「日本語版への序」「はじめに」に関係するリンク • 第１章 • 第２章 • 第３章 • CAiP3_JPを読むための背景
- 4. 「日本語版への序」関連リンク • Mark Hill の論文「対応分析：放置されていた多変量解析法」 – https://www.jstor.org/stable/2347127 ダウンロード可能 • 国際分類学会NewsLetter Number 24, Dec,2002 – http://ifcs.boku.ac.at/site/lib/exe/fetch.php?media=newsletter_archiv e:ifcs-newsletter-24.pdf – 日本分類学会会報2003 大隅昇「林知己夫先生を偲んで－分類か らデータ科学に向けて－」http://bunrui.jp/pdf/kaiho26.pdf • Hotelling, H. (1933). Analysis of a complex of statistical variables into principal components. Journal of Educational Psychology, 24(6), 417–441. https://doi.org/10.1037/h0071325 • CCA Cajo J. F. Ter Braak. “Canonical Correspondence Analysis: A New Eigenvector Technique for Multivariate Direct Gradient Analysis.” Ecology, vol. 67, no. 5, 1986, pp. 1167–1179. JSTOR, http://www.jstor.org/stable/1938672. Accessed 16 Jan. 2021. – R package idm, “Incremental Multiple Correspondence Analysis and Principal Component Analysis.” – https://cran.r-project.org/web/packages/idm/index.html
- 5. 「はじめに」関連リンク • CARME(対応分析と関連技法に関する国際会議) • Greenacre,1984, “Theory and Application of Correspondence Analysis”,Academic Press – http://www.carme-n.org/ – http://www.carme-n.org/?sec=books5 • Appendix A は小野滋さんによる翻訳あり。 • 「特異値分解(SVD)と多次元解析」 • http://elsur.jpn.org/reading_notes/Greenacre1984.pdf – 「付録D」 p298 （1984年の重要文献の一つ） • CARME – CARME関係リンク集 https://bit.ly/2ZD0geU
- 6. プロローグ：伊崎さんの質問に答える • 「尺度チェッカーとしてのCA/MCA」を使って話 します。 – リッカートスケールのアプリオリな適用の問題 – 西里先生の問題提起 • vcd::mosaic、vcd::sieve で、期待値と残差の 図示する方法を説明します。 – カテゴリカルデータ分析
- 8. 第１章 散布図とマップ
- 9. 第１章 正誤表 • P2 L3 「カナダとギリシャに」 → 「カナダに15 日とギリシャに」 • P7 まとめの３の「解釈することができる。」の あとに、以下の文を追記。 – 「このようなマップにとって水平、垂直の尺度が物 理的に同じ単位であることが重要である。すなわ ち軸のアスペクト比(aspect ratio)は１である。」
- 10. １章〜10章の構成 • 第一章「散布図とマップ」 – 基礎概念 • 量的変数、カテゴ リカル変数 • 尺度 – 変数の関係 • 散布図 • マップとする条件 • ポイント間の距離 を図示する – 散布図の限界 第2章 プロファイル・プロファイ ル空間 第3章 質量と重心 第4章 𝜒2距離と慣性 第5章 𝜒2距離 をプロットする 第6章 次元を縮減する 第７章 最適化尺度法 第8章 行分析と列分析の対称性 第9章 2次元表示 第10章 ３つの事例 「CAを用いれば、他の変数との関係をみる場合に、このようなカテゴリ変数間の間隔を 定義する実際的に面白い方法をおみせすることができる。」p3 特徴的な例を使った 「まとめ」 2章以降への導入
- 11. どのような「導入」なのか • 散布図とクロス表 – 変数の関係を表現する – 量的変数：散布図（scatter plot） – 質的変数：クロス表 • さて、クロス表で表現されているとはいえ、カテゴリカル・ データの関係をどう見ていく？ – 𝜒2検定？ • 「表のどの部分が連関に関係しているのかを検出するシンプルな道 具がない」p7 • 「対応分析は、このギャップを埋める一つのツール」 – 変数カテゴリ間の「距離」をどう表現できるのか • 第2章第3章 「プロファイル」でカテゴリ・ポイントを表現する • 第4章 ポイント間距離を「𝜒2距離」で表現し、第５章で表示する。 • カテゴリが3つまでなら3軸で表現できるが、それ以上のカテゴリをど のように表現できるか – 第6章 次元を縮減。
- 12. 第１章の構成 • 連続変数/数値変数 – 基数/相対度数 • カテゴリカル変数 – （１）カテゴリカル変数の順序 – （２）カテゴリ間の距離 • 散布図をマップとして見る – 「地図」の含意 「近くに位置するもの」と「遠くに位置するもの」 – マップの特性 – グラフ表示によるデータ変換 • 名義変数/順序変数 – DKの扱い：第21章サブセットCAで扱う • １セット以上のデータをプロットしていく – Exhibit1.4 (a)と(b) – グラフ – 絶対度数/相対度数、周辺度数 – ★データ記述解釈vsモデル化と統計的推定 – （４セットから）大きなデータセットを扱う – 散布図の限界 → CAの導入へ
- 13. 第一章のテーマ • ２章以降に展開されるCAの基礎理論、応用、 への導入。 • 変数の関係を見るツールとしてのグラフ表示 をどう考えていくのか。 – 散布図 – クロス表 – マップ – 距離
- 14. 広義のCAと狭義のCA • CA (Correspondence Analysis) 対応分析 • 狭義のCA – 「この手法は、因子分析や多次元尺度構成法のように探 索的データ分析の技法として用いられる」 Clausen1989:2015 p8 • 広義のCA – ベンゼクリ：「データ解析」と同義になった、という言い方。 Clausen 1989:2015 p7 – 林知己夫による「データの科学」 – 個々の解析手法（回帰分析や狭義のCAなど）を含んだ、 データ解析の方法論。 – TukeyによるEDA（1962,1977）
- 15. EDAとはなにか 「本章ではあらゆるデータサイ エンスプロジェクトで最初に行 われるデータ探索に焦点を絞る 。探索的データ分析(Exploratory Data Analysis)は、統計では比較的 新しい分野だ。古典的な統計学 は、少数の標本から大量データ についての結論を導き出す推定 に焦点を絞っていた。1962年、 テューキーは画期的な論文「The Future of Data Analysis」において 統計学の改革を訴え、従来の統 計的推定が、一構成要素にすぎ ないデータ解析という新たな科 学分野を提唱した。」Bruce2018 Peter Bruce, Andrew Bruce(訳：黒川利明),2018,『データサイエンス のための統計学入門』オライリージャパン
- 16. EDA関連のリンク集 • 補足 – Turkey,1962,” The Future of Data Analysis”(67pages) • https://projecteuclid.org/download/pdf_1/euclid.aoms/1177704711 – Turkey,1977,” Exploratory Data Analysis ”(711pages) • http://www.ru.ac.bd/wp-content/uploads/sites/25/2019/03/102_05_01_Tukey- Exploratory-Data-Analysis-1977.pdf – 「データサイエンスのための統計学」第１章 • 「探索的データ解析」⇄古典的な統計学 – サルツブルグ『統計学を拓いた異才たち』 • 第22章「統計学のピカソ」がテューキーのお話。 – 林知己夫テューキーに言及 • Tukeyは量的変数のみで論じている。数量化を扱えばもっとすっきりするのに、と） 林著作集3のp13,1986,「オペレーションズリサーチ」vol31,No12、日本オペレーショ ンズ・リサーチ学会 • データサイエンスの基本手順としてのEDA – 手にいれたデータの探索と変換、その後に回帰分析 – J.FoxのCompanion to Applied Regression 1st ed〜3rd ed
- 17. データ分析の基本技法としてのEDA(の例) • Friendly2016の全体構成 – 第一部 はじめに – 第二部 探索方法 – 第三部 モデル構築手法 Rによる離散データ解析
- 18. 第１部 はじめに 1 イントロダクション 2 カテゴリカルデータ を扱う 3 離散分布 第２部 探索手法 4 ２元分割表 5 モザイク表示 6 対応分析 第３部 モデル構築手法 7 ロジスティック回帰 8 多値応答 9 対数線形とロジットモデル 10 対数線形モデルの拡張 11 一般化線形モデル Rによる離散データ解析
- 19. CAをEDAとして使っていく • 記述統計ツール？（狭義のCA） • EDAツール？ • p6「データの記述と解釈vsモデル化と統計的推定」 – 「第29章、30章だけがグラフィックス表示の統計学的な側面を 扱う。」 • この統計的推定の領域は、Le Roux らによるGDAで、構造 的データ解析（SDA）、帰納的データ解析（IDA）として整備 されてきている。そこでは、サプリメンタリ変数が、回帰分 析でのpredictorの位置を占めている。(Le Roux et.al 2010) 藤本 「「Supplementary」変数から多重対応分析（MCA）を考える―幾何 学的データ解析（GDA）と多重対応分析（MCA）―」 – http://id.nii.ac.jp/1234/00000205/
- 20. Rとグラフ描画 • Rでグラフを描く • Rは、EDAを意識して構築されている。 – 簡単なグラフ表示 • ２つ（４つ？）のグラフィック環境 – base – ggplot – これ以外に、latticeとstructplotがある • 使い分け – 美しいレポートにはggplot、 – 簡単/手軽な表示にはbase • しかし複雑なデータを表示するには、dplyrと組み合わせてggplotという選 択 • mosaic、doublederなどは、structplot • このあたりは、後の章で順番に解説していきます。 • Package群 tidyverse は、EDAツール
- 21. EDAというデータ分析手法 • Tukey の EDA： – データを「見る」基本手法。ヒストグラム、箱ヒゲ図、幹葉図 – データ変換。対数変換。 – その後に、（検定含めた）統計解析。 • 林知己夫： – 「データの科学」朝倉書店,2001 • 西里静彦 – 「データ解析への洞察」2007 – 「行動科学のためのデータ解析」, 培風館,2010 – 「行動科学への数理の応用：探索的データ解析と測度の関係の理解」,2014 https://www.jstage.jst.go.jp/article/jbhmk/41/2/41_89/_article/-char/ja/ • Le Roux： – GDA、多重対応分析、構造的データ解析、帰納的データ解析。そして、組合せ推定(Combinatorial inference) 、「並べ 替え検定」から始まる。 – 統計的方法の新しい道：有意性検定からベイジアン推定へ（New ways in Statistical Methodlogy: From significant test to Bayesian inference） • Friendly: – CAは、「探索ツール」としての位置づけ（記述）。そのあとは、ｄモデル構築－統計的検定 • Fox： – 応用回帰分析必携（An R Companion to Applied Regression）では、グラフによる探索とデータ変換（対数変換、べき 変換）のあとで、回帰分析。 • Greenacre（CAiP3）: – 狭義のCA（記述ツール）としてCAの原理を説明 – 第29章30章でブートストラッピング、モンテカルロ・シミュレーション、並べ替え検定。 • メモ的独り言： EDAと計算機統計学（ブートストラッピング、並び替え検定）とベイジアン。
- 22. Le Roux 先生のGDA関連URL • Combinatorial Inference in Geometric Data Analysis – https://www.researchgate.net/publication/332417558_Combinatorial _Inference_in_Geometric_Data_Analysis （目次と第一章が読めま す） – CARME2015でのLe Roux 先生の招待講演のスライド • http://helios.mi.parisdescartes.fr/~lerb/publications/Slides_CARME2015.pdf – “Class and Cultural Division in the UK” この中で、Combinatorial inference が使われている。 • Le Roux, Brigitte, Henry Rouanet, Mike Savage, and Alan Warde. "Class and Cultural Division in the UK." Sociology 42, no. 6 (2008): 1049-071. Accessed January 21, 2021. http://www.jstor.org/stable/42857212. • New ways in statistical methodology: From significance tests to Bayesian inference – https://www.researchgate.net/publication/265187560_New_ways_in _statistical_methodology_From_significance_tests_to_Bayesian_infer ence – 一部分読めます。目次などはないです。
- 23. 補足文献 • Peter Bruce & Andrew Bruce,2018, “Practical Statistic for Data Scientists 50 Essential Concepts”,O’REILLY,(訳：黒川利明, 監修：大橋真也,2018,『データサイエンスのための統 計学入門』オライリージャパン) • Turkey,1977,”Exploratory Data Analysis, http://www.ru.ac.bd/wp- content/uploads/sites/25/2019/03/102_05_01_Tukey- Exploratory-Data-Analysis-1977.pdf • 林知己夫,2004,『質を測る 数量化理論』林知己夫著作集３ • サルツブルグ（訳竹内・熊谷）,2010(2006),『統計学を拓いた 異才たち』日経ビジネス文庫 • 鷲尾・大橋,1989,『多次元データの解析』（シリーズ入門統計的方 法3）,岩波書店 • Michael Friendly, David Meyer,2016,”Discrete Data Analysis with R”,CRC Press • 竹内啓,2018,『歴史と統計学』日本経済新聞社
- 24. 第２章プロファイルとプロファイル空間 PROFILES AND THE PROFILE SPACE
- 25. 正誤表 • P11 L11 ことある。→ ことがある。
- 26. 第２章プロファイルとプロファイル空間 Profiles and the Profile Space • プロファイル – 対応分析の最も基本的な概念 – ここでの計算は、[付録B]p260にコード例が掲 載されている。 – 行プロファイル：行パーセント • 平均プロファイル – 列合計のプロファイル-> 行平均プロファイ ル 列プロファイル：列パーセント – 行合計のプロファイル -> 列平均プロファイル
- 27. データ表と行パーセント、列パーセント Holidays HalfDays Fulldays Norway 0.33 0.06 0.61 Canada 0.07 0.20 0.73 Greece 0.14 0.86 0.00 France/Germany 0.08 0.08 0.83 Holidays HalfDays Fulldays Norway 0.46 0.03 0.26 Canada 0.08 0.10 0.26 Greece 0.31 0.81 0.00 France/Germany 0.15 0.06 0.48 6/18 6/13
- 28. mosaic plot で見てみる 行分析：行プロファイルの図示 列分析：列プロファイルの図示 【参考】
- 30. 構成概要 • 変数カテゴリが３なので： • 三角（三元）座標 – vcd::ternaryplot – ggtern::ggtern • これは参考https://stackoverflow.com/questions/701429/library-tool-for- drawing-ternary-triangle-plots – 行（列）割合を計算した以外データ表には手を加えていない。 – この表示のこのあとの展開 • 軸に重みつけ • この軸とポイントの関係が、biplotの軸とポイントの関係 • 3要素を超えるものをどうするか • 度数データではなく、比率尺度 • 度数データへの条件
- 31. クロス表（分割表）の特性 • （行と列の）対称処理 – 参照：行分析と列分析は異なった様相を示す • 分割比(contingency ratio) p11 – (6/ 13 ) / (18/ 86) = 6* 86 / 13*18 – (6 / 18 ) / (13/ 86) = 6* 86 / 18*13 – 期待度数 = !!"" # = 18*13 / 86 • 付録C(p296) の用語集も参照 – 観測度数(nji)を期待度数(eij)で割る – nij /eij = 分割比
- 32. 分割比 • 𝑛11 ⋯ 𝑛13 𝑅1 ⋮ ⋱ ⋮ ⋮ 𝑛41 𝐶1 ⋯ ⋯ 𝑛43 𝑅4 𝐶4 𝑁 • 期待度数 𝑒𝑖𝑗 = 𝑅𝑖 "" # = 𝐶𝑗 !# # = !#"" # • 分割比 = $#" %#" = $#" # !# "& • p11の例は、i=1,j=1 • でこれをなにに使うの だろうか…..。 Ri 行周辺度数(i行) Cj 列周辺度数（j列） N 総度数 翻訳 原著 式番号 101 101 13.5 245 243 A.13,A.14 296 286 付録C ここで使われてます。 V1.2で追記
- 33. a) Assoc plot b) Sieve plot c) Moasic plot Friendly2016 :138 (vcd::assoc, vcd::sieve, vcd:: mosaic) 日本語ラベルの使用に ついては、 http://id.nii.ac.jp/1234/00000135/ a) b) c)
- 34. 別の方法でプロファイルを図示する • Exhibit 2.3 三軸表示 p260 ３D表示 – すべてのプロファイル・ポイントが平面にのる – → 三角座標で表現 ２Dで表示できる • 正単体 – シンプレックス – 正三角形、正四面体、正..体 – 頂点：単位ポイントは正単体の「頂点」に位置する。 座標軸。CAでの標準座標が示す方向。 – 重心座標系 → 第３章に続く
- 39. 参考文献 • Michael Friendly, David Meyer,2016,”Discrete Data Analysis with R”,CRC Press • vcd – https://cran.r-project.org/web/packages/vcd/index.html • “Working with categorical data with R and the vcd and vcdExtra packages” 2017 – https://cran.r- project.org/web/packages/vcdExtra/vignettes/vcd- tutorial.pdf
- 40. 第３章 質量と重心
- 41. 第３章正誤表 • P17 リード7L 「地形的」の中心 -> 「地形的」な中心 • P19 L15 – このため、各行のプロファイルポイント（E1〜E5）はが、頂 点（C1〜C3）の平均ポイントとなって三角形の中に位置す る。そこでのプロファイル値、すなわちたとえば、相対度数 は、頂点（C1〜C3）に割り当てられたウェイトを提供してい る。 – この（E1〜E5）とか(C1〜C3)というのは、Exhibit3.1の具体 例との関係を示して入れてみました。一般論としては、不 要ですね。 • P19 下1 0.182 → 0.183 • P22 L15 またいぐ → またぐ
- 42. 第３章 質量と重心 • 対応分析用語：ベンゼクリの用法 – 周辺度数：質量 mass – 分散：慣性 inertia Λ：総慣性、λi：軸iの慣性 – 分析対象の各ポイントを質量rを持って、ある 中心（平均）の周りに、距離dで散らばってい るものとして位置付け、その全体を分析対称 の系として見ている。 Λ2 = ∑' 𝑟𝑖𝑑𝑖 2 (式2.3) Clausen1998=2015:16 Λ2 = (# # = 𝜑2 𝜑2 ：平均平方分割係数 mean square contingency coeffient
- 44. ポイント • 行や列の質量massが、ウエィトと平均という 二つの役割を担っている。P21 – 正誤表（というか補足）で触れたp19の「重心」と 「平均ポイント」の整理。注をつけるべきでした。 – 表にはaverage これと、本文中の「平均」は違う。 • 行や列の分布の同等性 – これを踏まえて、行を統合する、列を統合する、と いうことが可能になる。
- 45. C3=0 C3=1
- 47. 第２回のまとめ • 各章の要約とは別に… – 広義の「CA」（分析手法の一部）と狭義の「CA 」（多変量解析手法） – EDAの中でのCA • Feiendly 2016 の全体構成での「第２部探索手法」の「 対応分析CA」 – EDAの重要な機能 • グラフ化 • 変数変換 – R、そしてTidyverseは、EDAツールである – Rのグラフ機能