YOJOのデータ分析基盤の構成

YOJOの分析基盤の構成を公開します（現在進行系で作成中なので、一部未完成な部分も含みます。）

構成図

全体像

ログ収集

設計方針・概要

• 方針としては、BigQueryに全てのデータを一旦集約する
• 中間生成物は、BigQueryからScheduling queriesやMaterialized Viewを使ってBigQueryに保存
• Materialized Viewは便利だが多少制約があるので、用途によってScheduling queriesやMaterialized Viewを使い分ける
• もっと処理の依存関係が複雑になってきたら、Cloud Composer or Cloud Dataflowで
• 広告データは、サーバレスでAPIを叩いて、BigQueryに流す
• GASでBigQueryに流すこともできるが、あえてGASでやる必要はないだろう
• 構成はCloud Scheduler → Pub/Sub → Cloud Functions / Cloud Run(event trigger) → BigQuery（図参照）
• 手書き管理している寄稿記事にかかった費用などのマーケティングデータや原価マスターなどはもうしばらくspreadsheetで管理する
• 上記のサーバーレス構成で、spreadsheetも読み込んで、BigQueryに流す
• BigQueryからredashに書かれてあるqueryを上記のサーバーレス構成で定期的にspreadsheetに
• GASで自動化する方が楽ではあるが、GASは管理が後々面倒なので、一旦Redash APIを叩くようにしてみる
• spreadsheetに出力された最終生成物をdata portalで可視化する

まとめ

ざっくりと今目指しているの分析基盤の構成をお伝えしました。

今後どのように進化していったのかについても、順次公開できればいいかなと思っております！