「知っている」から「触ったことがある」へ！TROCCOハンズオン開催レポート
充国曰、百聞不如一見、兵難隃度、臣願馳至金城、図上方略
（現代文訳）
趙充国が言った、「百聞は一見に及ばない。前線は遠いので戦略を立てにくい。私自身が馬で金城に行き、企図して戦略を奉りましょう。」
こういう文章だったんですね。はじめて知りました。
「思いついたら、とりあえずやっちゃおう」で動くことが多い、事業シナジーセンターの久保田です。
そういえば、数年前にワクワクPython勉強会を企画したときも、じっくり腰を据えて取り組むよりも、「ひと通りやったことがあると言えるようになること」を目的としていました。百聞は一見に如かず、です。
今回はそんな想いで企画したTROCCOハンズオンの様子を紹介します。
TROCCO®は、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどのデータエンジニアリング領域をカバーした、データ基盤構築・運用の支援SaaSです。
あらゆるデータの連携・整備・運用を自動化し、スピーディーにデータ活用環境を整備。インサイトを得やすい状況に導きます。
ハンズオンの企画から運営まで、primeNumber社の塚本さんと武内さんにも多大なるご協力をいただきました。この場でもあらためて感謝申し上げます！
primeNumber社と私たち
インテージテクノスフィアは、データ活用を実現するために、データ基盤の構築やBIツールの導入をお客さまとともに推進しています。
「Snowflake」、「Databricks」、「AWS」、「Tableau」、「TROCCO」といった製品・サービスのパートナーとしても活動しています。今回のハンズオンの対象である「TROCCO」を提供しているのが、primeNumber社です。
詳細は以下のスライド資料よりどうぞ！
2024年5月にはデータカタログサービス「COMETA」がリリースされ、こちらのサービスの成長にも注目しています！
ちなみに、primeNumber社のビジョンは、
あらゆるデータを、ビジネスの力に変える。
インテージテクノスフィアのビジョンは、
データに魂を吹き込み、世の中を感動させる
なんだか繋がってますよね。シナジーが生まれそうなニオイがプンプンしています！
ハンズオン企画の背景
さて、私が所属する事業シナジーセンターでは上述の製品・サービスパートナーと連携して、みなさんのデータ活用実現を推進していますが、パートナーとしてうまく成果を出せているケースの共通項が見えてきました。
それは、自分たちがユーザーとしてその製品・サービスを使い倒して、そのファンとなり、身をもって体験した価値を他の人に伝えていくというアプローチです。Snowflakeでもそうでしたし、Tableauでもそうでした。
TROCCOのパートナーになったのは、他の製品・サービスに比べるとまだ日が浅く、社内でも実際にTROCCOに触ったことがある人は限定的でした。
そこでまず、2024年2月に社内でTROCCO勉強会を開催し、primeNumber塚本さんをお招きして、ETL・EAI製品やTROCCOというサービスはどんなものかといった概要を説明していただきました。
ですが、これはあくまでも座学です。「一聞」です。この勉強会のあと、座学によって得た基礎知識を、自分の目であらためて捉えてもらわないとその製品・サービスを利用する価値は腹落ちしないだろうと考え始めました。ましてや、「学習コストの低さ」が特徴のひとつであるTROCCOであれば、なおさら触ってもらったほうがいいだろうと。
「思いついたら、とりあえずやっちゃおう」が発動し、バババッと企画案を作成して、社内外の頼りになる人たちにぶつけてみました。
頼りになる人たちの賛同や協力を得て、ハンズオン開催の運びとなりました。
ハンズオンの概要
TROCCOは「データ基盤の総合支援サービス」であり、さまざまな機能がありますが、今回のハンズオンでは以下のコア機能をシナリオに沿ってひと通り触る構成にしました。
データ転送
データマート作成
ワークフロー（ジョブ管理）
せっかく私たちはSnowflakeとTableauのパートナーでもあるので、それらを活用したシステムアーキテクチャを想定しました。
本当はデータ連携元もデータベースなどにしたかったのですが、そこまでは用意しきれず…
データ転送
今回のハンズオン企画でいちばん悩んだのは、データとしてなにを扱うかです。実際の業務での活用をイメージしてもらうには、データベースやファイルストレージからのデータ取得にしたかったのですが、セキュリティポリシーや環境準備のリードタイムなどを考慮して、今回はオープンデータを利用することにしました。
NHK番組表API をデータ連携元として、TROCCOのHTTP・HTTPSコネクタを用いて、転送先のSnowflakeにデータを配置します。
データマート作成
データ転送により取得したデータはJSON形式なので、BIツールなどで集計分析しやすいように、DWH上で加工をしておきます。その時に使うのが、TROCCOのデータマート作成機能です。
データ転送で取り込んだデータがSnowflakeのテーブルとして存在するので、そのテーブル内のデータに対して加工処理をSQLで記述します。こうすると、加工後のデータを保持するテーブルが作成されます。
ワークフロー（ジョブ管理）
データ転送やデータマート作成で作成したひとつずつの処理をつなげて、1つのまとまった処理のかたまりにするのがワークフローの機能です。
ハンズオンで作成したワークフロー
1. 【データ転送】Program List API から 番組リストを取得
カスタム変数として、地域・サービス・日付を指定して実行
2. 【データマート】1で取得したJSONデータを構造化テーブルに加工
3. 【データ転送】Program Info API から番組詳細情報を取得
対象番組IDは2のテーブルからクエリで取得
4. 【データマート】取得したJSONデータを構造化テーブルに加工
※ タスクやワークフローの処理結果をSlackに通知
このワークフローをスケジュール設定しておくことで、たとえば毎日9時に実行してね、といったことが実現できます。
ハンズオン参加者の声
ハンズオンに参加した当社メンバーからはTROCCOに対してこんな声が挙がりました。
・ 誰にでもわかりやすくシンプルに操作が可能な部分が魅力的。
・ 実際に画面を動かすことで簡単にジョブやデータフローまで作成することができて、シンプルに感動しました。
・ 設定時に、SQL文や詳細設定のプレビューなど、どこまで設定できているかステータス確認もわかりやすいと思いました。実業務になったら、もっと設定することが増えると思うので、エラー原因の特定がしやすそうです。
・ ジョブを複製で作成した際の確認画面はどこが修正されたかわかりやすく、運用の手作業によるミスを防ぐようなよいポイントだと思いました。
・ 設定保存、実行時、など都度簡単なメモが書ける。別途履歴管理をしなくて済む。Git風の差分表示も好き。
・ ワークフロー定義で実行順序をグラフで定義できるので、別途資料を作成する手間がなくて良い。
ハンズオン企画社側の感想として、サービス・製品に触れた感想として、「感動」とか「好き」とかエモーショナルな表現をしてくれる人たちってステキだなって強く思います。こういった人たちに参加いただけて大満足です！
ここから一気に加速！
ハンズオンを終えてひと息ついてしまいましたが、まだまだ「一見」の人たちを増やしただけです。次は自分たちでゴリゴリ活用していくフェーズです。
"ゴリ活フェーズ" についても、すでに「思いついたら、とりあえずやっちゃおう」で動き出しているので、近いうちになにかまたご報告できるはずです！
本記事内で紹介したTROCCOのサービス内容や設定画面は執筆日時点のものであり、サービス提供元により変更される場合があります。
最新の情報はprimeNumber社にお問い合わせください。