データ分析プロセス

結果は出てきたが、何かおかしい気がする・・・そんな時のチェックリスト

データを準備して、ツールに投入して実行したら、予想していたのとは大分違う結果が出てきて戸惑う、なんてことは日常茶飯事だが、その際どうやって検証したらよいかについてまと ...

分析の土台としての情報・データ収集も体系化したい

意思決定のためのデータ分析そのものがあまり語られていないこともありそれ以上に支える情報収集には目がいかないようだ。書籍や大学のデータサイエンス教育もきれいなデータが用意されてそこから話が ...

データ収集の失敗を考える

とりあえず目についた面白い情報やなんとなく役に立ちそうなニュースを集めるだけならばともかく、まじめに考えてみるとデータ収集は簡単なようで難しい。そこでデータ収集の失敗（つまり自分が過去にやらかしたこと）について ...

どっちがどっちで何しているんだっけ？

ブースティングとバギングの区別がようやくつくようになってきた（気がする）がさらにそれぞれのアルゴリズムになるとまだ混乱する。というわけで、今のところの自分の認識を書いてみる。

アンサンブル学習 ...

「何を知りたいのか」がわからなければデータ分析は始まらない

データ分析プロセスの始まりは、何を差し置いても意思決定者が「何を知りたいのか」を決めることだ。目的無きデータ分析は無駄である。

そもそも目的が決まっていなければ何を ...

「データをいじくり回して何かわかった気になる症候群」

目的無きデータ分析は無駄であるで

数字をいじくり回すのは楽しいので、気が付くとあっという間に時間が過ぎる。何かがわかった気にはなれるが、後には何も残らない。よほど意識して ...

「理解できないのは向こうが悪いは」最悪の態度

データ分析に限らず専門家は、「こちらは十分に説明した、理解できないのは向こうが悪い。後のことは知ったことではない」という態度を取りがち。よくよく聞いてみるとたしかに説明はしているのだが、専門 ...

データは手に入れた。次に前処理・・・の前にデータを確認する。

データを手に入れたらすぐに前処理というとそうはいかない。データがきちんとしているか、チェックしなければならない。この工程をせずに先に進むと、後で抜けもれが発覚したり、どのよう ...

「何が問題か」を考えるのは誰の仕事なのか

（アナリストとしての）データサイエンティスト・データアナリストの役割を考えるとき、何が問題であるかについても分析者が考える、としている場合があるが、これは必ずしも当たり前ではない。もしデータサイ ...

「今あるデータで何かできないか」は選択肢を狭めるだけ

「今あるデータで何かできないか」と考える人は少なくない。そこにあるから使わなければもったいないとか、あわよくば利益が出たらうれしいとか、そうしたい気持ちはわかるのだが、そこはぐっと堪 ...