データ整備人ニュース(仮) 創刊号

というわけで創刊号

だからといって特別何かするつもりはないですけどね。

なんでこんなことを始めたかという背景はこちら。データ整備人ニュース(仮) 創刊準備号

今回のデータ整備人ニュース

●BigQueryがJSON_EXTRACT_ARRAY関数をサポート

文字列→配列が一発で出来るようになったのは便利。JSON_EXTRACT_ARRAY()で配列が返ってくる。

JSON_EXTRACT_ARRAY(‘[1,2,3]’)

値が配列になっているJSONからは直接は取り出せなさそうだけれどもいったんJSON_EXTRACT_SCALARを使って文字列で取り出してからJSON_EXTRACT_ARRAYで行けた。

JSON_EXTRACT_ARRAY(JSON_EXTRACT_SCALAR(‘{“a”:”[1,2,3]”}’,’$.a’))

●BigQueryがORDER BY句で NULLS FIRSTとNULLS LASTをサポート

ORDER BY カラム ASCだとNULLが最初に来るのをORDER BY カラム NULLS LASTで最後にしたり、ORDER BY カラム DESCで最後に来るのをNULLS FIRSTで最初にしたりできるみたい。

こちら2件の情報元は@yutah_3さん。

企業分析サイト「バフェット・コード」開発者が語る、データ整形の「苦労」と「価値」

財務データの整備の話。やっていることはどこでもいっしょよねー。

SalesforceとG Suiteの機能でBig Queryにデータを流し込む方法

データ量が少なければ無料でできる、というのがメリットかな。

●5/14 19:00~ 第3回 データアーキテクト(データ整備人)を”前向きに”考える会

ただいま450人以上突破。募集開始1日で300人超えるとは予想してなかった。

アーカイブ配信は無いので、是非当日ご覧ください。

データ整備人とは?

データアーキテクト(データ整備人)と名付けた背景や全般的な説明についてはこちらのスライドを参考のこと。

具体的な役割についてはエンジニアとアナリストの間で兵站を担う「データアーキテクト(データ整備人)」は1つの役割として確立しておいた方が良いと思うので整理してみたで考察している。

引き続き募集中

1人ではなかなかはかどらないので

  • このニュースの名前
  • データの整備に関する記事・ブログ
  • 求人情報掲載(整備がメインでなくとも3割ぐらいは期待されていること)
  • データ基盤・データエンジニアリング領域の話

などなど募集しております。自薦他薦問わず。宣伝や求人情報でも掲載は無料です。

メール、TwitterのDMなどでご連絡ください。なお掲載をお約束するものではありませんのでご注意ください。

編集後記

BigQueryは知らぬ間にいろいろ追加されているのでオフィシャルでどこかにまとめて欲しい。