データ分析プロセス

どっちがどっちで何しているんだっけ？

ブースティングとバギングの区別がようやくつくようになってきた（気がする）がさらにそれぞれのアルゴリズムになるとまだ混乱する。というわけで、今のところの自分の認識を書いてみる。

アンサンブル学習 ...

「何を知りたいのか」がわからなければデータ分析は始まらない

データ分析プロセスの始まりは、何を差し置いても意思決定者が「何を知りたいのか」を決めることだ。目的無きデータ分析は無駄である。

そもそも目的が決まっていなければ何を ...

「データをいじくり回して何かわかった気になる症候群」

目的無きデータ分析は無駄であるで

数字をいじくり回すのは楽しいので、気が付くとあっという間に時間が過ぎる。何かがわかった気にはなれるが、後には何も残らない。よほど意識して ...

「理解できないのは向こうが悪いは」最悪の態度

データ分析に限らず専門家は、「こちらは十分に説明した、理解できないのは向こうが悪い。後のことは知ったことではない」という態度を取りがち。よくよく聞いてみるとたしかに説明はしているのだが、専門 ...

データは手に入れた。次に前処理・・・の前にデータを確認する。

データを手に入れたらすぐに前処理というとそうはいかない。データがきちんとしているか、チェックしなければならない。この工程をせずに先に進むと、後で抜けもれが発覚したり、どのよう ...

「何が問題か」を考えるのは誰の仕事なのか

（アナリストとしての）データサイエンティスト・データアナリストの役割を考えるとき、何が問題であるかについても分析者が考える、としている場合があるが、これは必ずしも当たり前ではない。もしデータサイ ...

「今あるデータで何かできないか」は選択肢を狭めるだけ

「今あるデータで何かできないか」と考える人は少なくない。そこにあるから使わなければもったいないとか、あわよくば利益が出たらうれしいとか、そうしたい気持ちはわかるのだが、そこはぐっと堪 ...

データサイエンティストだけいても機能するとは限らない

データサイエンティストやデータアナリストなど、データ分析の専門家を雇っては見たもののどうも機能しないという話が聞こえるが、それもそのはずで、データ分析というプロセス全体を見ると彼らが ...

時々必要になるが、さくっとコピペができないので、作った

都道府県コードが欲しいと思った時にすぐコピペできるサイトにいけないので自分で作った。他にも困っている人がいるかもしれないので公開しておく。ついでにいろいろダウンロード版も作っておく ...

自分の身は自分で守らなければいけない

定期的に送られてくるデータをいつも通りの場所において同じように実行したはずなのに、エラーで止まったり、いつもと違う結果になったりということはよくある。そしてそれは忙しい時や納期が迫っている時に限って ...