ローデータを活用するデータレイク時代の到来
～精度から鮮度へ～

データドリブン経営の実現は道半ば

“データドリブン経営”という言葉は、もはや新しくもありませんが、真のデータドリブンを実現できている企業はどれだけあるでしょうか。非常に多くの企業がDWH構築やデータ分析ツール導入に取り組んでいる一方、企業内でデータが十分に利活用されておらず、投資対効果が得られていない、と悩むCIOが実は多いのです。

PDCAからOODAへ

企業のマネジメントスタイルは大きく変化をしようとしています。これまでのような確実性の高い事業環境においては、PDCAマネジメントが有効とされていました。しかしながら、コロナウイルスの蔓延、米中対立など不確実性の高い事業環境においては、情勢判断とそれに対する機動力が重要視されるようになり、OODA（ウーダ）ループ型のマネジメントへの変革が求められています。

置き去りにされている経営管理システム

一方で、企業の経営管理システムはこの変化に対応できているとは言えません。昔ながらのDWH（Data Warehouse）にバッチ処理で確定後数値を集約・集計している状況です。このようなシステムにおいては、正確な数字を得ることができる一方、「結果、数値しか見ることができず原因がわからない」、「欲しい鮮度のデータがない」など、OODAループを回すには適しているとは言えません。

今後企業には、鮮度の高い生データからビジネスの変化点となる情報をいち早く把握でき、機動性を持った意思決定を支援するシステム（＝データレイク）の構築が求められます。

データレイクのメリット

データレイクのような情報基盤に生データを取り込むことでどんないいことがあるでしょうか。

（1）圧倒的なデータ鮮度の向上
DWHでは、リアルタイム性よりも正確性が重視されるため、データ参照までに数日かかることも珍しくありません。しかし、データレイクでは生データをそのままの形で取り込むため、いつでも必要な時に必要なデータを参照することができます。

（2）非構造化データの取り扱い
データレイクでは、Officeファイル、SNS、画像や動画といった非構造化データも扱います。企業にあるデータの8割はこの非構造化データであると言われており、これにより企業内のデータの活用度は一気に高めることができると考えられます。

（3）真のデータドリブンの実現
DWHでは、集計数値を収集するため、結果は正確に分かる反面、どうしてそれが起きたのかの原因は分かりませんでした。一方、データレイクでは現場の生データを収集するため、結果と現場の行動データを紐づけることが可能となり、なぜそうなったのかの因果関係を見える化できるようになります。

データレイク構築で注意すべきこと

では、必要データをデータレイクに収集・蓄積するだけで企業の意思決定は早めることができるのでしょうか。答えはNoです。なぜなら、データ発生元となる現場のシステムと他システムとの整合性は基本的に取られていないからです。

例えば、各ローカルで発生した営業パイプラインに登録してあるコードや名称が、他の国や地域で発生した販売データのコードや名称と整合が取れているケースは稀でしょう。

したがって、データレイクに見境なくデータを取り込んでしまうと、各データ間の不整合により、ユーザーはどこにどんなデータがあるのか分からない、分かったとしてもその項目の意味が分からないといった問題が発生してしまいます。
この状態をデータスワンプ（沼）と呼びます。

このような沼にならないようにするためには、適切にデータを管理し、ユーザーが使いたい情報をいつでも使える状態に維持し続ける活動＝データマネジメント活動が必要になります。

データマネジメントを実現するためには、データのライフサイクルを通じた検討が必要です。具体的には、ユーザーが使いやすい形でモデリングすることはもちろんの事、管理プロセスを通じて維持・発展することまでを含めてデータマネジメントなのです。

では、維持・発展をしていくために何が必要でしょうか。
それには、「改革の対象となる必要データの現状を正確に把握」し、「そのデータがどういう状態にあるのかの情報（メタデータ）を管理」することが必須となります。また、最初は小さく始めたとしても利用が加速すると、データ種・量が爆発的に増加する可能性があるため、「基盤自体のスケーラビリティ」も重要です。

それを実現するために、当社では「①クラウドデータ基盤」、「②データガバナンス体制」、「③データかいぼり（カタログ化）」をデータマネジメント実現のための3つのポイントとして検討していく必要があると考えています。

この3つがそろって初めて、データマネジメントを実現する土台ができあがると言っても過言ではありません。逆に言うと、この土台がなければ上に立つ家は非常に安定しないものとなってしまうでしょう。