「データが汚くて毎回加工に時間がかかるから組織として取り組みたい」「毎回表記が異なるデータを手動で管理するのが面倒だから仕組み化したい」と思うことはありませんか？
この記事では、データをビジネスで活用する時に出てくる悩みを減らすことの出来る「データマネジメント」について解説しています。
当社では中小規模〜大規模なデータマネジメント（データレイク構築、データマート設計、実装、データカタログの戦略他）の案件を多数お受けしている実績があり、その知見やノウハウをこの記事でご紹介差し上げます。
「データマネジメント」という言葉自体、多くの場面で様々な文脈で使われることから漠然としがちです。しかし、漠然と語られがちデータマネジメントについて、できる限り噛み砕いて分かりやすく解説しました。最後まで読んでいただくと、データマネジメントを実践する為の基礎知識を身に付けられ、自社組織で実践できる状態へ導けるものと信じています。
目次
1.データマネジメントとはデータをビジネスで継続的に活用出来る状態にすることである
データマネジメントとは、「データをビジネスで継続的に活用出来るような状態にし続けること」です。データマネジメントという言葉だけを聞くと、単にデータの管理だけをすれば良いと思いがちです。しかし、データを継続的に活用する為には、データの管理以外にもデータを分析しやすい環境なども必要となってきます。
データマネジメントという言葉自体、一義的な定義をすることは難しいです。しかし、どのようなデータマネジメントであれ、以下2つに方向へ向かっていくのがデータマネジメントと考えます。
- 組織が保有するデータが常に正しく最新のものである
- 組織が保有するデータにアクセスしやすい環境である
どちらの点も究極的なところまでいくのはコストも時間も大変かかるものですが、ビジネスの状況に応じてバランスを見て設計していきます。
1-1. 組織が保有するデータが常に正しく最新のものである
まず1つ目は、データが常に正確かつ鮮度も高い状態であることです。
データを元にいざ活用しようとした時、データが不正確であったり古い状態であると、判断を見誤る可能性が高いです。具体的には以下のような問題が生じるでしょう。
- 財務データの項目の表記がバラバラで数値が正確でない場合が多く、正確な投資計画を立てるのが難しい
- 前週の売上データが欲しいが前月までのデータしかないので、次週の営業計画を立てるのが難しい
組織でデータを活用して、素早く行動するにはデータが「常に正しく」「常に最新」であるのが理想の姿です。
1-2.組織が保有するデータにアクセスしやすい環境である
２つ目は、欲しいデータが欲しい時に手に入る状態です。
データをビジネスで活用する為には、ただデータを蓄積するのではなく”ユーザーに簡単に使ってもらえるようにする”必要があります。データが豊富、正確、最新のものであっても、誰にも使われないのなら意味はありません。
詳しくは2章以降で述べますが、データにアクセスしやすい環境作りには、以下のことなどが必要となるでしょう。
- 部署やシステムごとに分散しているデータを集約する
- データの形式を分析しやすい形に統一する
- どこにどのデータがあるかを整理する
蓄積したデータを、人に使ってもらう為にもデータにアクセスしやすい環境づくりは必要不可欠です。
2.データマネジメントを構成する8つの要素
1章で述べた「データマネジメントが行われている状態」にするには、様々な要素を揃える必要があります。ここでは、それらの要素をざっくり8つに分けて解説します。
データマネジメントをもれなくダブりなく分類にわけるのは難しいものです。データマネジメントは様々な要素の集合だからです。しかし、強いてキーワードを挙げるとするならばちょうど以下のようなイメージです。
実際、１つの要素を満たすだけではデータを継続的に活用することは困難です。「データを蓄積しているが、データの表記がバラバラで分析できない」など継続したデータ活用を出来ない状況が起こり得ます。
ですので、並行してこれら8つの要素を意識しながら、データマネジメントを進めていく必要があります。以降で、これら8つの要素を１つずつ詳しく解説していきます。
2-1.データが活用されるまでの計画
１つ目は、組織として「保有するデータをどのように蓄積しビジネスで活用するか」を設計することです。
データマネジメントは、組織が継続的にデータ活用できるようにする手段です。ですので、データマネジメントを進める上で「今後自分たちが扱うデータはどのようにビジネスで活用したいか」の設計図が必要です。
この設計図はよく「データアーキテクチャ」と称されますが、イメージはちょうど以下の通りです。
引用：METAFIND「ビックデータ活用のためのデータアーキテクチャを考える」
設計図を参考にしながら、以下のことを明確にしておきます。
- どのようなデータを収集し、どこに蓄積するか
- 蓄積したデータをどのようにビジネスで活用するか
まず全体の計画を作成することで、組織でデータマネジメントを実現しデータを継続的に活用するための一貫した取り組みが可能となります。
2-2.データが蓄積され継続利用出来る仕組み
2つ目は、データに基づく意思決定する為に、利用者が継続的にデータを簡単に取り扱える技術的な仕組みを作ることです。
データはビジネスで活用する為の手段であり、ただ蓄積しているだけでは意味がありません。データの収集・蓄積・活用を一気通貫して行える技術的な環境を用意する必要があります。
代表的な一例として、「データプラットフォーム」が挙げられます。データプラットフォームとは膨大なデータを蓄積→加工→分析するのを一貫して出来るようにするデータ分析の基盤のことを指します。以下のようなイメージです。
引用：データプラットフォームとは？導入に向けて組織が知るべき基礎知識
継続的にデータを簡単に取り扱える技術的環境があることで、データ活用を単発的ではなく継続して行える取り組みとすることが可能となります。
なお、データプラットフォームについてはこちらの記事で詳しく解説しています。より具体的なイメージが湧くと思うので、ご一読されることをオススメします。
2-3.複数のデータを継続的に統合出来る仕組み
3つ目は、組織が取り扱う複数のデータを紐づけて統合する仕組みを作ることです。
購買データ、顧客データ、Web行動データなど組織には様々なデータが存在します。そうした様々なデータを統合して活用する場面はこれからますます増えていくでしょう。以下がその一例です。
- 購買データと顧客データを紐付けて、誰が何を買ったのか分析出来るようにする
- リアル店舗で買われた商品データとWebで買われた商品データをまとめて商品データとして管理する
複数のデータを紐づけて統合する仕組みを作るには、主に以下の二つが必要不可欠です。
- 顧客マスタ、製品マスタなど多くのデータベースで共通となるマスタデータ
- csv形式など、利用者にとって使いやすい形式に変換されたデータ
以上が揃うことで、複数のデータを関連させながら継続的に使用することが出来ます。データを統合することについては、より詳しい内容をこちらの記事で解説しています。
2-4.メタデータの管理
4つ目は、組織が保有する、データの説明書(メタデータ)を管理することです。
データに関する情報をメタデータとして保存することには、主に次のメリットがあります。
- データの仕様を勘違いして、間違った使い方や間違った数字を出すことを防ぐ
- データを管理する人と使用する人の間のコミュニケーションを円滑にする
- 使うべきデータをすぐに把握する
データは用意さえすれば十分だと思いがちです。しかし、実際にデータを使う人が「どのデータを使えば良いか分からない」となればそもそも使われなくなってしまうでしょう。
したがって、「データを用意すること」と「データの説明書を管理し参照できるようにする」はセットにして考えておく必要があります。
メタデータには大きく分けて以下の3種類存在します。
- ビジネスメタデータ：データの用途や説明などビジネスルールを記述したもの
- テクニカルメタデータ：データの構造、場所、権限などアクセスに必要な情報を記述したもの
- オペレーショナルメタデータ：データ処理などのジョブ実行の状況を記述したもの
意外と種類が多く、メタデータにとして記録しない情報も多いですがデータを適切に運用する為にも、メタデータは縁の下の力持ちとなります。
2-5.データマネジメントに関する仕様書の管理
5つ目は、データマネジメントに関わる計画書やシステム仕様書を管理することです。
データマネジメントを整備する過程において、組織が扱うデータの種類や量が増える度に仕様を変えることが必ず生じます。データマネジメントを改善し進化させていく為にも、計画書や仕様書などデータマネジメントの取り組みについての情報は管理するべきです。
以下は企業向けWiki「Confluence」を使用して、ドキュメントを管理しているイメージです。
管理すべき対象の一例として、以下のものが挙げられます。
- データマネジメントを進めるプロジェクトの概要を記載したファイル
- データマネジメントに必要なシステムの仕様を設計したファイル
こうしたデータマネジメントに関わる計画書・仕様書などが管理されていないと、人事異動や計画が変わった際にプロジェクトの制御がしにくくなってしまいます。それを防ぐためにも、データマネジメントに関するドキュメントは管理することが重要です。
2-6.データ品質の担保
6つ目は、ビジネス利用に適した状態にデータの品質を保つことです。
データの品質がユーザーの求める品質よりも低い場合にデータが活用されなくなってしまうことがあります。品質には色々な軸がありますが、具体的には、「求めているより古いデータしかない」「分析したい項目が含まれていない」などが挙げられます。
データの品質を決める上では、例えば以下のような評価軸は参考になるでしょう。このように、評価軸に沿ってルールを決める必要があります。
2-7.データセキュリティによるデータの安全性確保
7つ目は、組織のデータを、不正アクセス・サイバー攻撃などの様々な脅威から守ることです。
組織が保有するデータには、顧客データや財務データなど機密性の高いデータも多数存在します。これらのデータを安全に保護することで、流出や不正アクセスによる会社の信用や健全性の低下を防ぎます。
行うべき一例として、以下のものが挙げられます。
- それぞれのデータについてアクセス権限を組織での役割に応じて割り当てる
- 障害、災害に備えてデータをバックアップしておく
- 機密性の高いデータを暗号化しておく
2-8 データガナバンスによるデータマネジメントの統制
8つ目は、組織で取り組むデータマネジメントについて決めた、運用体制・運用ルール・責任者などを定期的に見直していくことです。データガバナンスと称されることが多いです。
データマネジメントは一過性の取り組みではありません。取り扱うデータが増えたり、組織戦略が変わったりなど、変化が起こるたびにデータマネジメントを統制する必要があります。
具体的には、以下のことを行い「データマネジメントが組織で決めたルール通りに進められて、データ活用が適切にされているか」を確認する必要があります。
- データマネジメントの取り組みに関する責任者や権限を定める
- データマネジメントを進める上での体制やルールを定める
- 定めたルールに乗っ取りデータが活用されているか監督する
データマネジメントが統制されてないと、「セキュリティポリシーに反するデータの扱い方をして、信頼を失う」といった損害も起こり得ます。ですので、データマネジメントのルール決めと監督は重要です。
3.データマネジメントの３つのメリット
データマネジメントを行う事が「データ活用を継続的に行う事ができるか否か」を決定付けます。というのも、データマネジメントにより、正しく正確なデータを使いたいタイミングで活用する事が実現する為です。
データマネジメントを行うことによるメリットは主に以下の3点があります。
- 共通の正しいデータを利用して素早い意思決定ができる
- データ作成の手間を減らし、分析業務に集中できる
- 障害対応にかかる時間を減らすことができる
これらによってデータ活用を継続的に行うことができます。
3-1.共通の正しいデータを全員で利用し素早い意思決定ができる
１つ目のメリットは、業務で必要なデータを正しく整理されている状態で活用できるので、素早い意思決定が可能となります。
仮にデータマネジメントがなされていないと、次のような問題が発生しデータを活用した意思決定までの時間が掛かってしまいます。
- 「XXのデータが欲しい」となってもそのデータをまとめるのに1週間かかる
- データが纏ったとしても、部署によって扱うデータの定義がバラバラで数値が異なるので確認が必要
一方、データマネジメントにより「必要なデータを整理された正しい状態に保っておく」事が出来れば、各自の業務で欲しい情報を直ぐに得ることが出来ます。
3-2 データ作成の手間を削減し分析業務に集中できる
2つ目のメリットは、必要なデータが整理された状態であれば、データを手作業で整形する手間を省き分析業務を効率的に出来ます。
従業員・部署によってはそれぞれは記録したり入力するデータの表記が異なるケースがあります。その場合は、手作業で表記を統一する手間がありましたが、マスタデータに基づきデータを紐付け、表記を自動で揃える仕組みを構築していればその手間は削減が可能です。
データマネジメントがしっかりしていれば、分析にかかる全体の業務工数が当初の10分の1以下になるということはよくある話です。
3-3.障害対応に掛かる時間を削減する事ができる
3つ目のメリットは、データが欠損した、数値に異常があるなどのデータにまつわる障害時に迅速に対処することが出来ます。
データを使用する上で障害をゼロにすることは困難です。しかし、適切なデータマネジメントにより障害時に迅速に対処し障害の影響範囲を最小限に止めることが可能となります。
仮にデータマネジメントがなされていないと、以下のような問題が生じます。
- データの管理をしていなかったので、障害に影響されるデータとされないデータの区別が付かず、一旦サービスを全て止めて調査しなければならない
- どんなデータがあるか把握していないので、障害が発生する度にゼロから調査をしなければならない
このように、障害対応に多くのリソースを割かざるを得ず大きな損失になってしまうのでデータマネジメントは重要です。
4.データマネジメントでまず取り組むべき4つのこと
データマネジメントをこれから進めていく時に、まず取り組んでおきたいことをご紹介します。
2章からも分かるように、データマネジメントを出来る状態にするには組織として様々なことに取り組む必要があります。取り組みを始めた次の日からデータマネジメントが出来るということは殆どありません。
しかし、どのようなデータマネジメントにするのであれ、最初に取り組んでおきたいこととしては以下4点が挙げられます。
- 現状どのデータがどのように活用されているか整理する
- 今後どのようにデータが活用されて欲しいかの流れを整理する
- データマネジメントを進める方針についての経営層の合意を得る
- 小規模でデータマネジメントを始める
以下で、それぞれの取り組みについて解説します。
4-1 現状どのデータがどのように活用されているか整理する
まず、現状自分の組織がデータを「どれを取集し」「どこに蓄積し」「どのように活用しているか」を把握しましょう。
現状を把握し「今何が出来ているか・出来ていないか」を明確にするのは、これからデータマネジメントを進めていく上で大切です。もし、「どんなデータがあるのか」を把握しないままデータマネジメントの取り組みを進めてしまうと、導入したツールや仕組みには適さないという事態も起こり得ます。
こうした不測の事態を避けるためにも、今自分たちはどんなデータをどのように使っているのかは把握しておくべきです。社内の各部署や各スタッフに地道に話を聞いて周り、以下のような「データの流れ」の図を作成する事をオススメします。
4-2.将来データがどのように管理され活用されて欲しいかを整理する
次に、データを管理する取り組みによりデータを継続的に活用されているのは、どのような状態か整理します。
組織によってデータマネジメントによって実現したいことは多種多様です。ですので、「自分たちの組織ではデータがどのように管理され活用されていて欲しいか」を考えることは大切です。理想の姿が明確になっていないと、ツールを選定する時に基準が分からず困惑したり、導入した仕組みが思ったものと異なる、ということがあります。
データマネジメントによりデータ活用を実現させる為にも、以下のような「理想とするデータの流れ」の図を作成することが重要です。
この作業は、前述の「現状把握」とセットで考えると進めやすいでしょう。また、図を作成するにあたり以下の観点を明確にしながら進めることをお勧めします。
- どのデータを収集し、どこに蓄積するか
- 蓄積したデータはどこで(利用者・部署など)どのように使用されて、どんなメリットがあるのか
以上の点が明確になっていると、「どのデータが足りないか」「どの機能が足りないか」など課題点が把握でき効率的にデータマネジメントを進めることが可能となります。
4-3.データマネジメントを進める方針について経営層の合意を得る
３つ目は、経営層の合意を得ることです。これにより、データマネジメントを全社で進めることの後押しになるでしょう。
データマネジメントの最終的なゴールは、全社での達成です。その為には、様々な部署を巻き込んでいく必要があります。経営層の合意があれば、「データマネジメントは経営課題である」という大義名分の元で取り組みが進めやすくなるはずです。
経営層の合意を得る為の具体的な方法については、こちらの記事で詳しく解説しています。
また、データマネジメントを扱う際によく出てくる疑問に関してはこちらの記事も参考になるかと思います。
4-4 まずは小規模でデータマネジメントを始める
４つ目は、データマネジメントはまず小規模で始めることです。データマネジメントを全社的に一気に進めるのは規模が大きすぎるため統率が困難となったり時間がかかるので、小規模で始める方が現実的です。
2章で述べましたが、データマネジメントは複数の要素が絡み合っています。これらの取り組みを同時並行で進められるようにするためにも、まずはデータの扱いに慣れた部署やチームで進めるなど、小規模で始めることをオススメします。
そこで貯めた知見や感覚を活かして、徐々に横展開するのが全社でデータマネジメントを進める第一歩目となるでしょう。
5.データマネジメントを学べるオススメのコンテンツ5選
データマネジメントは、特定の領域や特定のツールだけで完結するものではありません。
幅広い事を取り組む必要があり、実践していく為にはデータマネジメントについての包括的な知識が必要となってきます。ここでは、データマネジメントの知識をインプットする為にオススメのコンテンツをご紹介します。
5-1.データマネジメントが30分で分かる本
データマネジメントをざっくり理解するのにもってこいの書籍で、まさにスタートしたいそのときに最初に読むとデータマネジメントの理解が深まるでしょう。データマネジメントの各領域についての概念や目的、実際に進める上での具体的な内容が書かれており手元に置いておきたい一冊です。私も実務で困ったら、何度も読み返しています。
5-2.ビックデータを支える技術
ビックデータを収集、蓄積、活用するまでどのように処理するべきなのか具体的に解説されています。技術的な内容もかなりカバーされており、「ビックデータを活用する技術的な仕組み」を理解したいときにオススメの一冊です。
5-3.図解即戦力 ビックデータ分析のシステムと開発がこれ一冊でしっかり分かる教科書
ビックデータの活用基盤について分かりやすく解説されています。前述の「ビックデータを支える技術」より入門者向けなイメージです。
5-4.Data Platform Guide 事業を成長させるデータ基盤を作るには
ゆずたそさんが講演された際の「事業にとって価値のあるデータ分析環境」をテーマに、詳しい情報が掲載されているスライドです。具体的なツール比較などよりイメージの沸きやすい内容となっています。
5-5.データマネジメント知識体系ガイド 第二版 (DMBOK2)
データマネジメントを複数の領域に分け、詳しく解説しています。データマネジメントのガイドとなるべき専門書ですが、かなりボリューミーなので辞書代わりに使うことをオススメします。
6.まとめ
データマネジメントは、データ活用やデジタルトランスフォーメーションの推進を支える重要な取り組みです。
私たちはどうしても「どんなツールを使うか」「どんなデータを集めるか」といった手段に注目しがちですが、最も重要であるのは「データを継続的に活用できる仕組み」を作っていくことです。
確かにデータマネジメントがされている状態にするにはやるべきことが多くあり、一筋縄ではいきません。しかし、「継続的なデータ利活用」の為には避けられない道です。本記事で紹介した内容を踏まえて、真摯にデータマネジメントに向き合っていけば必ず道は開けると私は信じています。
