【Python】pandasとscipyで相関係数とp値を算出し統計分析する方法

中小企業診断士第一次試験の統計情報（１０年分：h22～h31）をサンプルに、
tabulaライブラリをつかって、PDFから表データを抽出し、
describe()メソッドで要約統計量を確認してみました。

Pythonのtabulaを使い、PDF内の『表』を抽出整形した後、describeメソッドで要約統計量を取得します。Jupyter notebookでmatplotlibやseabornを使い、統計情報をもとに美しいグラフを描画する方法を解説します。

きょうは、そのつづき、

『Jupyter Notebook（Python）』を使って pandasと scipyライブラリから、相関係数とp値を計算し、
2変数（科目）間の関係の強さ（相関関係）を確認してみようと思います。また、
算出した統計量をもとに、 matplotlibや seaborn で、グラフを作成し、相関関係の分析

をやってみようと思います。

今回も前回同様、例として中小企業診断士第一次試験の統計情報（１０年分：h22～h31）を使って分析します。

1 相関係数とp値の算出
2 相関係数を可視化する
- 2.1 seabornの.hatmapメソッドで相関係数を可視化
- 2.2 seabornの.pairplotメソッドでペアプロット図（散布図行列）を作成
3 p値から相関係数の有意性を検定
4 次回は・・・
5 参考サイトと講座

相関係数とp値の算出

必要なライブラリをインポート

まずはライブラリの import ↓

import itertools # 効率的なループ実行のためのイテレータ生成関数のインポート
import pandas as pd # データ解析用ライブラリ
import matplotlib.pyplot as plt # グラフ描画ライブラリ
import seaborn as sns # データの可視化を行うライブラリ
sns.set() # デフォルトスタイルにseabornを適用
from scipy.stats import pearsonr # 科学技術計算ライブラリ
import numpy as np # 数値計算を効率的に行うための拡張モジュール

import itertools # 効率的なループ実行のためのイテレータ生成関数のインポート

import pandas as pd # データ解析用ライブラリ

import matplotlib.pyplot as plt # グラフ描画ライブラリ

import seaborn as sns # データの可視化を行うライブラリ

sns.set() # デフォルトスタイルにseabornを適用

from scipy.stats import pearsonr # 科学技術計算ライブラリ

import numpy as np # 数値計算を効率的に行うための拡張モジュール

統計分析前のデータ分布の確認

前回の記事で作成した統計表 pandas.DataFrame（データフレーム） df2[0] を使います。

統計分析前にデータ分布を確認。

seabornの .distplotメソッドで全科目のヒストグラムを重ねて表示。

kdeオプションを Trueにして、カーネル密度関数のグラフ（曲線）を表示します。

# ヒストグラムデータ分布の確認
sns.distplot(df2[0]["Economic_policy"], bins=5, norm_hist=True, kde=True, label='Economic_policy')
sns.distplot(df2[0]["Accounting"], bins=5, norm_hist=True, kde=True, label='Accounting')
sns.distplot(df2[0]["Business_theory"], bins=5, norm_hist=True, kde=True, label='Business_theory')
sns.distplot(df2[0]["Operating"], bins=5, norm_hist=True, kde=True, label='Operating')
sns.distplot(df2[0]["Legal_affairs"], bins=5, norm_hist=True, kde=True, label='Legal_affairs')
sns.distplot(df2[0]["Information_system"], bins=5, norm_hist=True, kde=True, label='Information_system')
sns.distplot(df2[0]["Corporate_policy"], bins=5, norm_hist=True, kde=True, label='Corporate_policy')
plt.legend()

# ヒストグラムデータ分布の確認

sns.distplot(df2[0]["Economic_policy"], bins=5, norm_hist=True, kde=True, label='Economic_policy')

sns.distplot(df2[0]["Accounting"], bins=5, norm_hist=True, kde=True, label='Accounting')

sns.distplot(df2[0]["Business_theory"], bins=5, norm_hist=True, kde=True, label='Business_theory')

sns.distplot(df2[0]["Operating"], bins=5, norm_hist=True, kde=True, label='Operating')

sns.distplot(df2[0]["Legal_affairs"], bins=5, norm_hist=True, kde=True, label='Legal_affairs')

sns.distplot(df2[0]["Information_system"], bins=5, norm_hist=True, kde=True, label='Information_system')

sns.distplot(df2[0]["Corporate_policy"], bins=5, norm_hist=True, kde=True, label='Corporate_policy')

plt.legend()

このようなヒストグラムが表示されます↓↑データ数は比較的少ないですが、15%～25%付近にデータが集中していることがわかります。

要約統計量の確認

ここで、前回の記事で .describe メソッドから算出した要約統計量をもういちど確認します。

df2[0].describe().round(2) #descraibeで統計情報を表示（少数第２位まで）

1	df2[0].describe().round(2) #descraibeで統計情報を表示（少数第２位まで）

↑各科目とも平均値 mean と中央値 50% が近い数値となっており、おおよそ釣り鐘型のデータ分布となっています。データ数が少ないため左右対称とまではいきませんね。。。

pandasの.corrメソッドで相関係数を算出

それでは、 pandas の .corr メソッド（ピアソンの積率相関係数=デフォルト）で相関係数を算出します↓

df2_corr = df2[0].corr()　# 変数:df2_corrに相関係数の算出値を代入
df2_corr # 相関係数の表示

1 2	df2_corr = df2[0].corr()　# 変数:df2_corrに相関係数の算出値を代入 df2_corr # 相関係数の表示

このような pandas.DataFrameになります↓

相関係数の値と相関の目安はこちら↓

相関係数の値と相関（目安）
相関係数 $r$ の値	相関
$- 1 \leq r \leq - 0.7$	強い負の相関
$- 0.7 \leq r \leq - 0.4$	負の相関
$- 0.4 \leq r \leq - 0.2$	弱い負の相関
$- 0.2 \leq r \leq 0.2$	ほとんど相関がない
$0.2 \leq r \leq 0.4$	弱い正の相関
$0.4 \leq r \leq 0.7$	正の相関
$0.7 \leq r \leq 1$	強い正の相関

相関係数を可視化する

seabornの.hatmapメソッドで相関係数を可視化

pandas.DataFrameだけでは特徴をつかみにくいので、 seaborn の .hatmap メソッドを使って、データを可視化します。

sns.heatmap(df2_corr, vmax=1, vmin=-1, center=0) # 相関係数を可視化

1	sns.heatmap(df2_corr, vmax=1, vmin=-1, center=0) # 相関係数を可視化

このようなヒートマップが作成されます↓

↑暖色は正の相関、寒色は負の相関を表します。

読み取れる特徴は、

経営法務と経営情報システムは正の相関（暖色）、
経済政策と経営法務は負の相関（寒色）
経済政策と経営情報システムは負の相関（寒色）

という点でしょうか。

さらに分析します。

seabornの.pairplotメソッドでペアプロット図（散布図行列）を作成

seaborn の .hatmap メソッドだけでは、詳細な分析はできません。もう少し掘り下げます。

seaborn の .pairplot メソッドでペアプロット図（散布図行列）を作成し、データ間の特徴を分析します。

sns.pairplot(df2[0]) # ペアプロット図の作成

1	sns.pairplot(df2[0]) # ペアプロット図の作成

このようなグラフができます↓

↑正の相関：右肩上がりの直線的分布、負の相関：右肩下がりの直線的分布、無相関：バラバラに散らばっている状態、となります。

データ数が少なく特徴がつかみにくですがやはり、

経営法務と経営情報システムは正の相関（右肩上がり）、
経済政策と経営法務は負の相関（右肩下がり）
経済政策と経営情報システムは負の相関（右肩下がり）

ということが言えそうです。

p値から相関係数の有意性を検定

p値を算出し相関係数が統計的に有意（意味がある）か検定してみます。ここでは0.10以下のp値のみ抽出します。

# p値の算出
# for文を使い科目の組み合わせで計算実行
for i, j in itertools.combinations(df2[0], 2): #組み合わせでforループを実行
x = df2[0].loc[:,[i]].values
y = df2[0].loc[:,[j]].values
a, b = pearsonr(np.ravel(x), np.ravel(y)) # リストを整形し相関係数:aとp値:bの計算
if 0 != b.round(10) < 0.10: # p値 < 0.10
print("=" * 45)
print(i + "----" + j)
print("相関係数:", a.round(4))
print("p値:", b.round(4))

# p値の算出

# for文を使い科目の組み合わせで計算実行

for i, j in itertools.combinations(df2[0], 2): #組み合わせでforループを実行

x = df2[0].loc[:,[i]].values

y = df2[0].loc[:,[j]].values

a, b = pearsonr(np.ravel(x), np.ravel(y)) # リストを整形し相関係数:aとp値:bの計算

if 0 != b.round(10) < 0.10: # p値 < 0.10

print("=" * 45)

print(i + "----" + j)

print("相関係数:", a.round(4))

print("p値:", b.round(4))

抽出された相関関係は以下の４つ。

=============================================
Economic_policy----Legal_affairs
相関係数: -0.7055
p値: 0.0226
=============================================
Economic_policy----Information_system
相関係数: -0.6023
p値: 0.0654
=============================================
Business_theory----Information_system
相関係数: -0.612
p値: 0.0601
=============================================
Legal_affairs----Information_system
相関係数: 0.6893
p値: 0.0274

=============================================

Economic_policy----Legal_affairs

相関係数: -0.7055

p値: 0.0226

=============================================

Economic_policy----Information_system

相関係数: -0.6023

p値: 0.0654

=============================================

Business_theory----Information_system

相関係数: -0.612

p値: 0.0601

=============================================

Legal_affairs----Information_system

相関係数: 0.6893

p値: 0.0274

結果から、

p値＜0.05の「経営法務ー経営情報システム」、「経済政策ー経営法務」は、有意であると解釈でき、
0.05<p値<0.10の「経済政策ー経営情報システム」、「企業経営理論ー経営情報システム」は、有意傾向である

と解釈できます。

まとめると、

経営法務と経営情報システムは正の相関（右肩上がり）、
経済政策と経営法務は強い負の相関（右肩下がり）
経済政策と経営情報システムは負の相関（右肩下がり）
企業経営理論と経営情報システムは負の相関（右肩下がり）

の関係があると言えそうです。

詳しい因果関係はわかりませんが、これらの科目で意図的にポートフォリオが組まれているかもしれませんね。

次回は・・・

次回は、受験科目数別の合格率の推定をしてみたいと思います。

自分も受験生時代、1次は、

「７科目受験がおすすめ」
「少ない科目受験は危ない」

などの情報を耳にしていましたが、これって本当に正しかったのでしょうか？

次回の記事では、そこらへんを中心に分析してみたいと思います。

お楽しみに！

参考サイトと講座

今回、以下のサイトと講座を参考にコーディング、統計分析しました。

– DATA SCIENCE LIFE –

アメリカ在住データサイエンティストのかめ（@usdatascientist）さんのブログ。

Pythonのコーディングについて、めちゃくちゃわかりやすく解説してあります。超ハイクオリティな講座でほんとにぜんぶ無料なの？ってなるくらいすごいブログです。

Python初心者の方にはかなりお勧めです。

データサイエンスのためのPython入門講座全33回〜目次とまとめ〜

note.nkmk.me

nkmk（@nkmk_me）さんのブログです。

こちらもPythonプログラミングについて、かなり詳しく書いてあります。

nkmk note

学んだことを書く。Pythonなどプログラミング関連がメイン。

現役シリコンバレーエンジニア(酒井潤さん)が教えるPython 3 入門(Udemy)

現役シリコンバレーエンジニアの酒井潤（@sakaijun）さんがUdemyで教えるPython講座もおすすめです。なんといっても解説がとても分かりやすい。

現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル

この講座ではPython3の基礎はもちろんのこと、応用編では

データーベースアクセス(SQLite, MySQL, MongoDB, SQLAlchemy etc)、
WEB(Flask, socket, RPC etc)、
インフラ自動化(Fabric, Ansible)、
データ解析(numpy, pandas, matplotlib, scikit-learn),

などなど、盛りだくさんの内容となっております。

相関係数とp値の算出

必要なライブラリをインポート

統計分析前のデータ分布の確認

要約統計量の確認

pandasの.corrメソッドで相関係数を算出

相関係数を可視化する

seabornの.hatmapメソッドで相関係数を可視化

seabornの.pairplotメソッドでペアプロット図（散布図行列）を作成

p値から相関係数の有意性を検定

次回は・・・

参考サイトと講座

– DATA SCIENCE LIFE –

note.nkmk.me

現役シリコンバレーエンジニア(酒井 潤さん)が教えるPython 3 入門(Udemy)

現役シリコンバレーエンジニア(酒井潤さん)が教えるPython 3 入門(Udemy)