「データ整備人（仮）」という、「データベースからSQLを書いて抽出する」という仕事についての考察というか「なにこれ？」という話 → データアーキテクトと呼ぶことにしよう
追記：データアーキテクトと命名して改めて整理した
この役割については「データ整備人（仮）」ではなく「データアーキテクト」としてエンジニアとアナリストの間で兵站を担う「データアーキテクト」は1つの役割として確立しておいた方が良いと思うので整理してみたにまとめた。
なぜか誰もやりたがらない仕事
営業やマーケターなど、主にビジネスサイドから依頼を受け、必要なデータを集計・抽出して渡す役割がある。
この仕事をうまく表現する言葉もないためか、データに関わる人はもちろん求人情報含めて非常に混乱しているように見受けられる。
そこで、この役割について思うところを書いてみる。正直なところまだ自分の中でもまとまりきっていないので雑多な内容になっているところはご容赦いただきたい。
この役割は具体的に何をしているか
まず最初に、この役割が何をしているのか挙げてみよう。
- 依頼内容を整理し、どういったデータが必要かを考える
- 依頼者が求めていることと依頼内容のギャップを見つけて埋める
- データが無かったり足りない場合に代替案の提示
- 工数と納期が合わない場合に代替案の提示
- 取るべきデータの設計や取得のためのエンジニアとの折衝
- 抽出に必要な各種データを探したり集めてくる
- 依頼に基づいてデータ主にSQLを使って抽出する
- データを整理して使いやすくしたマートの設計、作成をする
- 随時追加・変更されるマスタを含めた各種データの品質を担保する
- BIツールでのダッシュボード作成をする
- 各部署とのコミュニケーション・調整をする
- 様々な部署や人からの様々な依頼を同時に整理しながら返していく
と、こんなところだろうか。もちろん企業や状況によりけりなのだが、おおむね「アナリストがやりそうだけど実はエンジニアの仕事」というとてもあいまいなポジションだ。
そのせいなのか、営業やマーケター側にできる人が少ないので実は結構な需要がありそうなのだが、アナリストからもエンジニアからも雑用として嫌われる。
この役割は「データアナリスト」の役割なのか
この役割はデータアナリストの仕事の一部として捉えるのが一番おさまりが良いかもしれない。実際にこの中でも、必要なデータを集めたりマートの設計をしたりすることはデータアナリストが大きく関わる。
しかし、見てわかる通りここには「分析」が含まれていない。つまり本質的にエンジニアリングの領域である。
もちろん、誰かが使うためのデータを整備することもデータアナリストの仕事と見ることはおかしくはないのだが、「分析」が業務に無いのに「データアナリスト」というのは名前と実態が合っていないので何か違う。
なお世の中で「データアナリスト」と募集があったら大体この役割のことだったりするために数々の悲劇が現在進行形で生まれている。
「データエンジニア」がやるべきか
いくつかの仕事は「データエンジニア」とも重なっている。実際にデータエンジニアでもこれらの仕事のいくつかを行っている人はいるだろう。
が、これが全部データエンジニアと現在呼ばれている人の仕事かというと、やっぱりそれも違う。
この役割ではテクノロジーでの解決よりもコミュニケーションや雑多な要求をうまくさばくスキルの方がより重要度が高い。
だからいわゆるエンジニア志向の人にはなかなか向いていない。プログラムだからスキルが近い、というとんでもない誤解を元に無理にやらせてもパフォーマンスは上がらない。
データを扱うから「データマネジメント」はどうか
あまり聞こえてこないが「データマネジメント」という言葉もある。なんとなくあってそうなのだが、データエンジニアやこの役割の担当者をマネジメントする以外にも
- 個人情報などデータの取得に関する法務的な問題
- データの管理
- 情報セキュリティ
まで含めた広い責任を担うことが期待されており、これもやっぱり違う。
アナリティクスディレクターがやればいいのでは
アナリティクスディレクターはわりと親和性が高そう。
違いはアナリティクスディレクターはプロセスを回す側、こちらはプロセスの中での収集を円滑にするための整備役というところか。
両方ともつなぎ役としての動きや広い視野が要求され、技術とコミュニケーションをうまく行き来するという点では営業やマーケターともエンジニアとも違うスキルだろう。
アナリティクスディレクター兼この役割は、いたら現場としてはうれしいだろうが、会社からはとても評価されにくい仕事の組み合わせでもあり評価する側のリテラシーがないとうまく成立しない。
ということは局地的にやりたい人と必要性を理解している人が揃えば威力を発揮するだろうが、一般的には成立しづらい。キャリアとしても非常に不安定であろう。
この役割は必要なのか
もしかしたら本当にただの雑用で、役割として認識するほどの仕事ではないのかもしれない。
しかし、この役割を誰も担わないと営業やマーケターとエンジニアの間に問題がおちる。営業やマーケターには実行スキルはないのでエンジニアが片手間にやることになるが、これはいろいろな問題を引き起こす。
まず、優先度は当然下がる。ちょっとしたデータが欲しいのに1週間待たされるなんてことはザラにおきる。その分遅れたり不確実性を取り除けない。つまり意思決定の質が下がる。
自社のエンジニアがやってくれないからと外注を使おうにもうまくマネジメントできないから非常に無駄なコストもかかるしノウハウもたまらない。
営業やマーケターが自分でやろうとすれば非効率極まりなく、しかも自分の都合の良いデータを勝手に作ったり、おかしなコードを書いてシステム全体に負担をかけてしまうこともあるがそれも止められない。
こういったことが積み重なるとただでさえ仲が悪くなりやすい営業やマーケターとエンジニアとの接点が失われるためますます関係が悪化する。
そう考えると、やはりこれは誰かが明示された役割として担うのがよさそうなのだが現実はそうなっていない。単にデータ分析文化が無かったからなのか、何か足りていない観点があるのだろうか。
あるいは自分がこの仕事を多くやっているので必要ないかもしれないのに認められない、つまり認知的不協和を起こしているのかもしれない。
この役割に新しい名前が必要か
この役割を表すために新しい名前を付けた方がよいのかもしれない。
繰り返しになるがアナリストのチームがあって、これらの役割を「分析を含めて」行っているのであれば新しい名前は不要だろう。しかし実際にはそれだけの規模を持ちかつ分析も行っているチームはほとんど見当たらない。
また、これはアナリティクスディレクターの時にも感じたことなのだが「みんな多かれ少なかれ行っているが名前がないからその他雑用扱いになっている」のではないか、という気もしている。
だとしたら、
- データを扱うからとデータアナリストと混同されるけれども違う役割
- データを扱うからとデータエンジニアと混同されるけれども違う役割
ということを明確にするためにも別の名前を付けるのがよいのかもしれない。
具体的にどんな名前かはいい案が思い浮かばない。「データ整備人」はどうもおさまりがよろしくないけど、とりあえず「データ整備人（仮）」にしておこう
どうやって差別化するか
大体のことは時間さえかければわりとできる。ただ、技術的に難しく見えないから業務として誰でもできると捉えるのは問題だ。
データ整備人（仮）を高いパフォーマンスで行うためには
- 様々な部署や人からの様々な依頼を同時に整理しながら返していくスキル
- 社内外に存在する膨大なデータの中からその案件に必要なデータを迅速に見分けるスキル
などが必要になるが、自分でやったことのない人（あるいは実際にやっている人も）にはこの違いを理解してもらうのは難しいかもしれない。
つまりは「うまくやるための準備がうまくできるか」なのだが、その違いを理解してもらうためのコミュニケーションスキルもまた必要だろう。
カット野菜と調味料と調理器具が用意されたうえで特定の料理を作るのと、その準備のために仕入れや下ごしらえ、調理器具の選定なども行うのとの違いといえば伝わるだろうか（その比喩でいいのかも怪しい）。
なんでこんなことを言い出したか
この数年の業務で最も時間を割いているのはこの業務なのだが、「データアナリスト」というには分析しておらず、「データエンジニア」ともまた違うので、説明するときに結構困っている。
そこで考えていたところ「そもそも別の役割のでは？」と思ったのがきっかけ。
データアナリストというよりはデータ整備人（仮）
こうまとめてみると、現在の「データアナリスト」と名前がついている人の多くは実は「アナリティクディレクター 兼 データ整備人（仮）」と呼ぶのがふさわしいのかも。
何しろデータ分析よる意思決定がされる文化がないのだから「分析」に需要が無く、それでもデータ活用をとなればこのような形にならざるを得ないということなのかもしれない。
この先どうなるかとかはもっと考えをしっかりまとめてから改めて掘り下げてみたいが、まずは名前をどうするか。他のと合わせるならやはりカタカナで統一したいな。
どうでもいいように聞こえるかもしれないけれど、名前は大事。