目的 AutoEncoderにより、東京23区および政令都市の区(n=198)のデータの次元削減を行い, 主成分分析と比較する.gakushukun1.hatenablog.com 前回の記事で主成分分析を行なった各政令指定都市の区のデータについて, 今回はAutoEncoderにより次元削減を行う. …

目的 主成分分析を用いて、東京23区および政令都市の区()の分析を行う.用いたデータは, e-statの2015年の調査によるもので, 総人口,１５歳未満人口,１５〜６４歳人口, 出生数, 死亡数, 転入者数, 転出者数, 従業・通学していない人口, 昼間人口, 単独世帯, …

目的 混合正規分布の推測をStanのADVI(Automatic Differentiation Variational Inference)を用いて行う. 混合正規分布の事後分布は, StanのNUTS(No-U-Turn-Sampling)ではうまく作れないことが多いので, 代わりに変分ベイズ法のADVI(Automatic Differentiatio…

目的 RStanによる階層ベイズを用いて, 日本の各地域ごとの家賃の変化を推測する. 今回は, e-statの日本の様々な町ごとの1991年と2000年の家賃のデータを用いて, 各地域の家賃の変化の推測を行う. その際, 日本全体で大まかな変化の傾向があることを仮定して,…

目的 e-statの統計データから, rstanによる重回帰を用いて年代ごとの趣味の関係を調べる. 今回はRStanを使って重回帰分析を試してみる. 対象としたのは, e-statの中の, 社会生活基本調査 平成28年社会生活基本調査 調査票Ａに基づく結果 生活行動に関する結…

目的 estatsの統計データから, rstanによる単回帰を用いて各都道府県の死亡者数と出生児数の関係を調べる. 事後分布からサンプリングされたパラメータから, 情報量規準WAICと交差検証LOOを計算し, 単回帰と二次回帰どちらが真の分布に近いかを推測する. 今回…

目的 fashion-mnistにAutoencoderを適用し, 画像データがどのようにエンコードされているかを調べる. 今回は, fashion-mnistデータセットに対してAutoencoderを適用してみた. fashion-mnistはデータセット - Keras Documentationにも書かれているように, 28x…

目的 キノコの外見的特徴のベクトルからニューラルネットを用いて毒キノコかの判定を行う. その際, 入力ベクトルのうちL1正則化を用いて不要な次元を削減する. 今回使用したデータセットはMachine Learning RepositoryのMushroom Data Setである. このデータ…

目的 階層型ニューラルネットの学習結果を表示して, その構造の考察を行う。 gakushukun1.hatenablog.com前回の記事で車の評価の推測を行った学習済みネットワークについて, 具体的な構造を図で確認し, 分析してみた.前回の記事で示したネットワークの大まか…

目的 階層型ニューラルネットをKerasで実装し, 実データに適用した学習の例を紹介する。 今回は, Kerasを用いて構築したニューラルネットのモデルを用いて, Car Evaluation Data Setから車の評価を推測してみる. Car Evaluation Data Setには, それぞれの車…

**目的 混合ベルヌーイ分布によるクラスタリングを実データに適用して、どんな情報が発見できるかを試してみる。 gakushukun1.hatenablog.com前回のエントリで実装した混合ベルヌーイ分布を用いて, Machine Learning RepositoryのTravel Reviews Data Setの…

目的 0と1を要素とする長さNのベクトルが作るn個のデータがあるとき、その集合をクラスタリングするモデルとして混合ベルヌーイ分布がある。ここではそのベイズ推測をPythonによるStanのインターフェースであるPyStanで行う方法をまとめる。 混合ベルヌーイ…

今回の目的 正の実数に値をとるサンプルの分析のための前処理を行う方法として Box-Cox 変換を紹介する。 サンプルが正規分布でない分布から生成されている場合に, Box-Cox変換を用いることで, その分布を正規分布に近づけることができる. Box-Cox変換は, 適…