全4727文字
前回に続き、データカタログについて解説します。組織内でデータ活用を進めるためには、どのようなデータが存在するのかを分かるようにしなければなりません。データカタログは組織内のデータセットの情報を登録し、検索できるようにしたシステムです。データカタログによって、データ活用のアイデアを発案するきっかけが与えられ、データを活用したいと考えている利用者にデータセットの所在や特徴を伝えられます。
データカタログを実現するための製品・サービスは非常に多く、提供される機能群には大きな差異があります。価格も幅が広く、数千万円以上のエンタープライズ向けから、月額数千円で利用できるクラウドサービスまで存在します。今回はスモールスタートが可能で、データカタログの代表的な機能を備える間口の広いクラウドサービスとして、米Amazon Web Services（アマゾン・ウェブ・サービス）の「AWS Lake Formation」と米Microsoft（マイクロソフト）の「Microsoft Purview」について解説します。
データカタログ製品が提供する機能
データカタログに求められる基本的な機能としてはメタデータの自動収集、ビジネス用語の登録や検索が挙げられます。付加機能としては、データ追跡やインポート／エクスポートなどがあります。付加機能とは、必須ではないがユーザーニーズによって利用要件として必要になる可能性がある追加的な機能といった意味合いです。Lake FormationとPurviewを比較すると付加機能に違いがあります。
付加機能は製品・サービスによって異なる
表 データカタログ製品の比較
[画像のクリックで拡大表示]
以下で各機能について説明します。
メタデータ収集、検索機能
データカタログで最も基本となる機能です。ほとんどの製品がデータベースなどの環境から、メタデータ（データの名称、型、桁などのデータに関する情報）を自動収集する機能を備えています。自社で利用している環境に対応していることが確認のポイントです。高機能な商用製品では非常に多くのデータソースからの収集に対応しています。
ビジネス用語登録、検索機能
メタデータはエンジニアが厳密に判別できるような用語や文字列になっていることが多く、非エンジニアが見ても理解できない文字列で名称が定義されているものがあります。メタデータだけでデータカタログを運用するのは利便性が高いとは言えません。
多くの組織では、一般ユーザー（非エンジニア）とエンジニアの両方がデータカタログの利用者となります。非エンジニアは普段使い慣れているビジネス用語で検索したいというニーズがあり、データカタログ製品の多くはビジネス用語の登録と検索機能を備えています。製品・サービスによってタグのみの登録なのか、用語間の関連性が定義できるのかといった違いがあります。関連性が定義されていれば類似する用語でも検索結果が得られるといった利点があります。
データ追跡（リネージ）
データ間での関連性を定義することでデータの生成元を追跡できる機能です。あるデータセットから、マスタデータがどれなのかを追跡するといった用途に使えます。元データの最新の状態を確認するなどといった作業が容易になる効果があります。
メタデータのインポート／エクスポート
データカタログは、機能やインターフェースなどが標準化されている技術領域ではありません。新しい製品カテゴリーであり、デファクトスタンダードも存在しません。将来的な移行性を確保しておく意味で、ロックインされないように注意したいところです。収集したメタデータのエクスポート機能があれば、利用に際して安心感が増します。
データ連係／閲覧／分析
実際にデータの一部を取得して確認、分析できる機能です。どのようなデータが入っているのかをその場で確認できると、データ確認作業の効率が上がります。ただし、個人情報や機密情報が入っているなどの理由で、セキュリティー管理面からデータを見ることができないほうがよいとする組織もあります。
コラボレーション
利用者のコメントや「いいね！」といった情報を入れられます。よく使われるデータは偏るのが一般的です。この機能によって利用価値の高いデータを探しやすくする利点があります。ただし、コラボレーション機能を使いこなせるのはかなりデータ活用が進んでいる組織になります。データ活用の成熟度が高くなってから必要性を検討する機能です。
データカタログ製品は、以前は機能の限られたオープンソース製品、あるいは高機能・高価な商用製品に2極化されていました。現在は基本機能のみであればクラウドサービスで十分実用性があり、低価格な製品・サービスが登場してきたことで選択肢が広がっています。製品の調査を始める前に、自社で不可欠と考えられる機能は何かを検討してから、選ぶとよいでしょう。
そうした中、DX（デジタルトランスフォーメーション）の進展に伴い、組織内のデータをクラウドに集めて活用する流れが出てきています。データカタログがオンプレミスではなく、クラウド上に存在するとしても多くの組織にとって違和感はないでしょう。クラウド上の代表的なデータカタログ製品がLake FormationとPurviewです。
August 22, 2022 at 03:00AM
https://ift.tt/Rta17Ol
データカタログを作る、AWS Lake FormationとMicrosoft Purviewとは - ITpro
https://ift.tt/Z95zgLf
Mesir News Info
Israel News info
Taiwan News Info
Vietnam News and Info
Japan News and Info Update
Bagikan Berita Ini
0 Response to "データカタログを作る、AWS Lake FormationとMicrosoft Purviewとは - ITpro"
Post a Comment