データ分析プロセス

使う言葉の定義が違うと話がかみ合わない

情報・データを収集する際に言葉の定義は重要だ。同じ言葉を使っていても、同じ意味で使っているとは限らないのに気が付かないことからくるコミュニケーションの失敗はよくあるが、データ分析に関する言葉につい ...

結果は出てきたが、何かおかしい気がする・・・そんな時のチェックリスト

データを準備して、ツールに投入して実行したら、予想していたのとは大分違う結果が出てきて戸惑う、なんてことは日常茶飯事だが、その際どうやって検証したらよいかについてまと ...

分析の土台としての情報・データ収集も体系化したい

意思決定のためのデータ分析そのものがあまり語られていないこともありそれ以上に支える情報収集には目がいかないようだ。書籍や大学のデータサイエンス教育もきれいなデータが用意されてそこから話が ...

データ収集の失敗を考える

とりあえず目についた面白い情報やなんとなく役に立ちそうなニュースを集めるだけならばともかく、まじめに考えてみるとデータ収集は簡単なようで難しい。そこでデータ収集の失敗（つまり自分が過去にやらかしたこと）について ...

どっちがどっちで何しているんだっけ？

ブースティングとバギングの区別がようやくつくようになってきた（気がする）がさらにそれぞれのアルゴリズムになるとまだ混乱する。というわけで、今のところの自分の認識を書いてみる。

アンサンブル学習 ...

「何を知りたいのか」がわからなければデータ分析は始まらない

データ分析プロセスの始まりは、何を差し置いても意思決定者が「何を知りたいのか」を決めることだ。目的無きデータ分析は無駄である。

そもそも目的が決まっていなければ何を ...

「データをいじくり回して何かわかった気になる症候群」

目的無きデータ分析は無駄であるで

数字をいじくり回すのは楽しいので、気が付くとあっという間に時間が過ぎる。何かがわかった気にはなれるが、後には何も残らない。よほど意識して ...

「理解できないのは向こうが悪いは」最悪の態度

データ分析に限らず専門家は、「こちらは十分に説明した、理解できないのは向こうが悪い。後のことは知ったことではない」という態度を取りがち。よくよく聞いてみるとたしかに説明はしているのだが、専門 ...

データは手に入れた。次に前処理・・・の前にデータを確認する。

データを手に入れたらすぐに前処理というとそうはいかない。データがきちんとしているか、チェックしなければならない。この工程をせずに先に進むと、後で抜けもれが発覚したり、どのよう ...

「何が問題か」を考えるのは誰の仕事なのか

（アナリストとしての）データサイエンティスト・データアナリストの役割を考えるとき、何が問題であるかについても分析者が考える、としている場合があるが、これは必ずしも当たり前ではない。もしデータサイ ...