科学の箱

科学・IT・登山の話題

機械学習

データ取り込み後に確認すること

投稿日:2014年7月3日 更新日:

# tidyデータの原則
# 1カラム = 1変数
# 1行 = 1観察
# 1テーブル = 1 unique key
# foreign key to link

# テーブル全体で見ること
# カラム名は正しい
# カラム名の意味が分かりやすい
# 1項目 = 1変数
# 項目のデータは意味があるか
# 1テーブル = 1 unique key
# foreign key to link

# 各変数について確認すること
# missing value
# はずれ値
# skew -> logでとることを考える
# range
# データがマイナスや0のときはそれが正しいのか、おかしいならその理由を明らかにする

# 行について確認すること
# 1レコード = 1観察

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

データ分析の基本と業務

開発生産性は調和平均で計算する。 安全性の在庫の計算には正規分布を利用できる。 標準偏差=5であることを利用すると何が言えるか。 Z=1.96で95%をカバーする。 よって 5 x 1.96でほぼ10 …

no image

dataanalysis-002-week2

Structure of Data Analysis 質問を定義する 理想的なデータセットの定義 アクセスできるデータの検索 データの取得 クレンジング Exploratory 統計的予測・モデリング …

no image

pythonでEDAを実施する – 記述統計

データを取り込む data frameに変換する desdribe()メソッドで要約統計量を出力 各項目について残差分析(ここでは各データが平均値からどの程度離れているか、要するに分散の傾向を把握する …

no image

会社を変える分析の力

ユーザに関する問題 不確実性 過剰期待 事前期待 分析モデルの利用 パターン 変数の数 分析の利用 予測 判別 グループ 検知 最適化 発見 探索 データ分析の必要性 なぜ誤差がでるのか Costは …

no image

Pythonではじめる機械学習 – KDE

カーネル密度分布とは カーネル密度分布とは一言でいうと滑らかなヒストグラムであり曲線になっている。標本データから確率密度を計算することにより標本がない部分についても確率密度を計算できる。 例えば犯罪の …

2014年7月
« 6月   8月 »
 123456
78910111213
14151617181920
21222324252627
28293031  

side bar top



アーカイブ

カテゴリー