自己紹介¶
- 1975年8月3日生まれ（今年は大厄）
- Pythonを使ったデータ解析が結構得意
- 東京大学先端科学技術研究センターゲノムサイエンス分野
- 1/15に切れた任期が3/31まで伸びました！
- UdemyでPythonを使ったデータ解析のコースを翻訳しました（近日公開予定）
最近、注目を集める統計学¶
ビジネス書大賞2014年
大学入学以来20数年、統計学が分からない・・・¶
10年くらい前、1冊の本に出会う¶
松原先生と言えば、大学1年の時に統計の講義をとっていた！
なんと1ページ目に次のような1文が¶
実は、現在でもいまだに「統計学はよくわからない」という印象が残ったままである。
統計学の専門家にわからないものが、俺にわかる訳がない！¶
In [1]:
# 必要なものをimport
%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn
def set_fig():
# プレゼン用
plt.figure(figsize=(10,6))
plt.xticks(fontsize=20)
plt.yticks(fontsize=20)
In [25]:
set_fig()
# まずは乱数を発生させるところから
# 0から1の間の小数を1,000個（一様分布）
uniform_rand = np.random.uniform(0,1,1000)
_ret = plt.hist(uniform_rand, bins = 50)
In [26]:
# 10個ずつまとめる（100行10列のデータに変形）
uniform_reshape = uniform_rand.reshape(100,10)
print(uniform_reshape.shape)
print(uniform_reshape)
In [27]:
# そして、その10個の平均をとる（100個のデータになる）
uniform_avg10 = uniform_reshape.mean(1)
print(uniform_avg10.shape)
print(uniform_avg10)
In [28]:
set_fig()
# ヒストグラムを描く
_ret = plt.hist(uniform_avg10)
中心極限定理¶
もとのこの分布の真ん中（0.5）を中心とした正規分布が出てくる。
ちなみにこれが正規分布の確率密度関数
$$ f(x, \mu,\sigma) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}} $$イカツイ・・・
基本が大切
平均 $$ \mu = \frac{1}{n} \sum_{i=0}^{n}{x_{i}} $$ 分散 $$ \sigma^2 = \frac{1}{n} \sum_{i=0}^{n}{(x_{i}-\mu)^2} $$ 標準偏差 $$ \sigma = \sqrt{\sigma^2} $$
In [6]:
set_fig()
# 平均0、分散1の正規分布に従う乱数100個
normal_rand = np.random.normal(0, 1, 100)
_ret = plt.hist(normal_rand)
In [29]:
set_fig()
# もっと綺麗な正規分布が描きたいときは、
from scipy import stats
# 便宜的に領域を決めてXをつくる
X = np.arange(-4,4,0.01)
# 値を計算します。
Y = stats.norm.pdf(X,0,1)
# PDF：Probability Density Function 確率密度関数
plt.plot(X,Y)
Out[29]:
In [8]:
set_fig()
plt.plot(X,Y)
# 全体の面積は1、-2から2までは？
print(stats.norm.cdf(2,0,1)-stats.norm.cdf(-2,0,1))
In [31]:
set_fig()
# CDF：Cumulative Distribution Function 累積分布関数
Y = stats.norm.cdf(X)
plt.plot(X,Y)
Out[31]:
In [33]:
set_fig()
# boxplotを使ったデータの可視化
_data0 = np.random.normal(0, 1,100)
_data1 = np.random.normal(1, 1.5,100)
data = pd.DataFrame( [_data0, _data1]).T
data.columns = ['mu=0_std=1.0', 'mu=1_std=1.5']
_ret = data.boxplot(return_type='dict', fontsize=20) # 警告抑止のため
In [13]:
set_fig()
seaborn.violinplot(data=data)
Out[13]:
In [34]:
set_fig()
# 平均0と平均2の2つの正規分布から乱数を発生させる
_data0 = np.random.normal(0, 1,100)
_data1 = np.random.normal(5, 1,100)
dual_normal = np.concatenate((_data0, _data1))
_ret = plt.hist(dual_normal,bins=20)
In [16]:
set_fig()
# 分布の詳細な形がわからなくなる
_ret = plt.boxplot(dual_normal)
In [17]:
set_fig()
# ヴァイオリンプロットだと分布の情報が消えない
seaborn.violinplot(dual_normal, orient='v')
Out[17]:
おしまい¶
またの機会に、検定とかの話もしてみたいと思います