収集

情報・データ収集はデータ分析プロセスの土台をなすが分析に比べるとあまり注目されていない

もっと本質を捉えられるようになりたいがどうしたらできるようになれるのか？とずっと模索している。洞察力は必要だがどうにも得体が知れないところがありどう ...

使う言葉の定義が違うと話がかみ合わない

情報・データを収集する際に言葉の定義は重要だ。同じ言葉を使っていても、同じ意味で使っているとは限らないのに気が付かないことからくるコミュニケーションの失敗はよくあるが、データ分析に関する言葉につい ...

分析の土台としての情報・データ収集も体系化したい

意思決定のためのデータ分析そのものがあまり語られていないこともありそれ以上に支える情報収集には目がいかないようだ。書籍や大学のデータサイエンス教育もきれいなデータが用意されてそこから話が ...

データ収集の失敗を考える

とりあえず目についた面白い情報やなんとなく役に立ちそうなニュースを集めるだけならばともかく、まじめに考えてみるとデータ収集は簡単なようで難しい。そこでデータ収集の失敗（つまり自分が過去にやらかしたこと）について ...

データは手に入れた。次に前処理・・・の前にデータを確認する。

データを手に入れたらすぐに前処理というとそうはいかない。データがきちんとしているか、チェックしなければならない。この工程をせずに先に進むと、後で抜けもれが発覚したり、どのよう ...

時々必要になるが、さくっとコピペができないので、作った

都道府県コードが欲しいと思った時にすぐコピペできるサイトにいけないので自分で作った。他にも困っている人がいるかもしれないので公開しておく。ついでにいろいろダウンロード版も作っておく ...

自分の身は自分で守らなければいけない

定期的に送られてくるデータをいつも通りの場所において同じように実行したはずなのに、エラーで止まったり、いつもと違う結果になったりということはよくある。そしてそれは忙しい時や納期が迫っている時に限って ...

csvとは

「comma separated value」の頭文字で、「カンマ区切り」のこと。テキストファイルなのでテキストエディタ（たとえばメモ帳）で中身が見えるし、直接変更できる。

csvとxlsxとxlsの違い

通常はダ ...