前回、販売/購買データ分析システムにおけるデータクレンジングの必要性について学んだデー太くん。
今回は3つ目のステップである"分析する"について学んでいくようです。

はじめに

羽留（はねる）先輩：デー太くんは今日も精が出るね～。

デー太くん：あっ、羽留先輩！お疲れ様です！

羽留先輩：おつかれ～。
デー太くんは今日は何をがんばっているのかな？

デー太くん：販売/購買データ分析システムでの分析について問い合わせが来ていて、それについての調査をしてたところです。
いろいろな分析を実行してみたり、元のデータを持ってきて自分で集計してみたりしていたんですが、できる分析が多かったり計算が複雑だったりで、けっこう大変でした。
普段、システムとして使っているときは画面でポチポチすれば簡単にいろいろな分析ができて便利ですけど、いざその裏側を見てみるとまだまだ分からないことだらけですね。

羽留先輩：そうだったんだね、何とかなりそう？

デー太くん：はい、とりあえず調査は終わって、ちょうど回答を送るところです。

羽留先輩：それは良かった。
それに、ちょうど今のデー太くんなら、販売/購買データ分析システムの集計エンジンのすごさもよく分かるだろうしね！

デー太くん："販売/購買データ分析システムのすごさ"ということは、"あれ"ですね！
そういえば次は、"分析する"のところについてでしたね！

羽留先輩：その通り！
今日は集める・整える・分析する・見せるの4ステップの中の"分析する"についてフォーカスしていくよ！

デー太くん：実際に自分で集計をしてみていろいろ大変だったので、どんな工夫がされているのか気になります！

羽留先輩：いいね！
今回もしっかり学んでいこう！

デー太くん：はい、よろしくお願いします！

前回の"整える"についても、まだご覧になられていない方はぜひこちらからチェックしてみてください！

集計エンジンとは

羽留先輩：まずは、"集計エンジン"がどんなものかについて見ていこうか。

デー太くん：以前出てきたときの話では、販売/購買データ分析システムの頭脳に当たる部分、ということでしたよね？

羽留先輩：よく覚えているね！その通りで、集計エンジンは、集めたデータをさまざまな切り口で集計して分析に使えるようにする機能を担っているんだ！

たとえば、以下のようなデータがあったとするね。

このデータをこのまま渡されても、分かりにくいし分析にも使いにくいよね？
だけどこれを、

のように集計することで、『商品Yと商品Zはセットで買われていることが多そうだ！』とか、

のように集計することで、『店舗Pでは店舗Qと比べて商品Xの販売数が多い！』といった感じで、目的に合わせてデータを集計することでさまざまな分析に使うことができるようになるんだ！

デー太くん：たしかに、ちゃんと目的にあった集計をしてやらないと、ただデータがあるだけではうまく分析ができないんですね。

羽留先輩：そうなんだよ！
どんな分析ができるかは、どんな集計ができるか次第とも言えるから、その集計を担っている集計エンジンは、まさに販売/購買データ分析システムの頭脳というわけだね！

集計エンジンへのこだわり

デー太くん：集計エンジンが販売/購買データ分析システムの頭脳ということは、性能面などにもかなり力を入れているんですかね？

羽留先輩：もちろん！
集計エンジンは最近大きなリニューアルをしたんだけど、そのときもさまざまな面から性能にこだわって開発がされたんだ！

たとえば、さっきの調査の中でデー太くんが実際に自分で集計をしてみて、大変だったことや難しかったこと、気を付けたことなんかはあるかな？

デー太くん：そうですね、まず集計の種類がたくさんで大変でしたね。
いろんなパターンを検証しないといけなかったんですが、はじめて見る分析やさまざまな要素を掛け合わせた集計など、できることの多さに改めて驚きましたね。
あと、一つひとつの集計も計算が複雑なものが多くて、どこからどの値を持ってきて使っているかなど整理するだけでも大変でした。
それと、一つひとつの集計が複雑なのもあって、実際に計算をするのにも時間がかかることが多かったですね。
あとは、計算や値が間違っていないかには細心の注意を払いました。

羽留先輩：流石はデー太くん、こちらの言ってほしかった辺りをだいたい言ってくれたね。
そしてなかなかに大変だったんだね、おつかれさま。

今デー太くんが挙げてくれたことは、どれも集計を行う際の大事なポイントで、集計エンジンの開発の際にも重視されたところなんだ！
中でも、次の3つのポイントは、重視された点であると同時に大きな課題でもあった点で、これらを解決できたことで、販売/購買データ分析システムを今後より進化させていくことも可能になったんだよ！

まず1つ目の、より広く、より精度の高いデータへ対応。
詳細で精度の高い分析を行うためには、よりたくさんの、より細かいデータを使う必要があるんだけど、データが増えれば増えるほど、処理が重くなって時間がかかるようになってしまったり、システムの限界で処理が実行できなくなってしまったりするんだ。

次に2つ目の、市場変化に対してより深く柔軟に、スピーディーに適応。
市場の変化に伴って、お客さまが知りたい情報は常に変化し続けるし、何か分かったら次はそれについてより深く分析をしたくなる。
そんなお客さまの要望を叶えるためには、より柔軟で、より複雑な集計ができないといけないよね。
それに、情報は新しいものほど価値があるから、いかに早く最新の情報をお客さまにお届けできるかというところも重要なんだ。
だけど、1つ目と同じで、これらを実現するためには今までのシステムの限界を超える必要があったんだ。

そして3つ目の、求められる高い性能要件。
このシリーズの最初にも話したように、販売/購買データ分析システムのパネルデータはとてもたくさんのお客さまに使われているよね。

そして、さっきも言ったように情報は新しいほど価値があるから、お客さまたちは常に最新の情報を求めている。
だから、データの更新日には大量のアクセスが集中することになって、それに耐えられる性能が必要になるんだ。

デー太くん：たしかに、どれも重要であると同時に難しそうな課題ですね。

羽留先輩：そうなんだよ～。
でも、これらの課題を解決するために導入したのが、Snowflakeという技術なんだ！
このSnowflakeというのは、最新のデータプラットフォームの一つで、導入に合わせて多くの工夫と調整を重ねることで課題を解決し、理想的な集計エンジンを実現したんだよ！
これによって、販売/購買データ分析システムは、今まで以上にお客さまにより確かな分析をより早くお届けできるように進化したんだ！

しかも、インテージテクノスフィアはSnowflakeのパートナーにもなっていて、最近あったSnowflakeのイベントではブース出展やセッション登壇もしているんだ！
そのときの様子はこちらの記事に詳しく載っているから、ぜひ合わせて読んでみてね！

デー太くん：販売/購買データ分析システムのさまざまな分析は、こだわり抜いて開発された集計エンジンによって支えられていたんですね！

羽留先輩：そうだね、販売/購買データ分析システムの頭脳というだけあって、かなり力を入れているところだからね！

デー太くん：最新技術で進化を続ける販売/購買データ分析システムの今後に、より一層期待しちゃいますね！
今日もありがとうございました！

今日の"ここがすごい‼"

デー太くんと学ぶシリーズはこちら！