組織でデータを管理している場合、部門間でデータを連携したいという場合があると思います。
例えば、データエンジニアリング部門が用意したデータをユーザ部門がBI開発のために利用する、といったケースです。

このような場合に、必要とするデータを発見→利用申請→利用承認→利用開始というステップを踏むことになりますが、そのデータ利用フローはDatabricksの純正機能だけで（外部のカタログツールを使わずに）実現可能です。

本記事では、Databricksの基本的なデータカタログ機能に加え、上記のデータ利用フローを実現する方法について具体的な例とともにご紹介します。

事前準備

ユーザ作成＆追加

共有の確認用に以下のGoogleアカウントを作成しておきます。

• 名前：ReQ Taro
• メールアドレス：reqtaro2025@gmail.com

Databricksワークスペースに上記アカウントを追加します。

リネージの取得・参照

サンプルのスキーマ、テーブル、ビューを作成します。

-- スキーマ作成
CREATE SCHEMA IF NOT EXISTS SALES;
USE SCHEMA SALES;

-- テーブル作成
CREATE TABLE products (
  id INT,
  name STRING,
  unit_price FLOAT
);

CREATE TABLE daily_sales (
  id INT,
  product_id INT,
  quantity INT,
  sales_at TIMESTAMP
);

-- データ挿入
INSERT INTO products VALUES
(1, 'Desktop', 800),
(2, 'Laptop', 400),
(3, 'Monitor', 100);

INSERT INTO daily_sales VALUES
(1, 2, 2, '2024-01-14 09:00:00'),
(2, 3, 3, '2024-01-15 10:00:00'),
(3, 1, 1, '2024-01-16 15:00:00'),
(4, 3, 1, '2024-02-01 11:00:00'),
(5, 1, 2, '2024-02-01 11:00:00');

-- ビュー作成
CREATE VIEW sales_summary_view AS
WITH daily_sales_view AS (
  SELECT
    d.id AS id,
    p.id AS product_id,
    p.name AS product_name,
    d.quantity * p.unit_price AS sales,
    d.sales_at AS sales_at
  FROM daily_sales d
  LEFT JOIN products p
  ON d.product_id = p.id
)
SELECT
  product_id,
  product_name,
  SUM(sales) AS total_sales
FROM daily_sales_view
GROUP BY 1, 2
ORDER BY 1, 2;

作成したテーブルとビューは以下の通りです。

• テーブル
  • products：製品データを格納したテーブル
  • daily_sales：売上データを格納したテーブル
• ビュー
  • salesview：productsとdailysalesから作成した売上確認用ビュー

テーブルやビューを作成すると、それらの関係が自動的に取得され、「依存関係」タブから参照できるようになります。

ビジネスメタデータの登録・編集

「データ」→「データベース」から個別のテーブルやビューを確認し、テーブルや列のメタデータを登録、編集することができます。

※説明はAIに生成してもらうことも可能です。

画面上部の検索欄から、テーブルやビューのデータを検索できます。

データ共有と権限制御

通常の場合

オブジェクトへのアクセス権設定

上記で作成したサンプルデータについて、以下のようにアクセス権を設定します。

-- アカウント内の全ユーザに対し、カタログworkspace_01内のオブジェクトに対するメタデータ参照権限を与える
GRANT BROWSE ON CATALOG workspace_01 TO `account users`;

この場合、全員がworkspace_01カタログ内のテーブルとビューの情報を参照できます。

データの検索・利用

ReQ Taroはテーブルやビューのメタデータを参照できますが、SELECT権限が与えられていないため実際のデータのプレビューや参照はできません。ReQ Taroから見たとき、salesスキーマは画像のようにグレーアウトされています。

salesスキーマの所有者がスキーマのメニューで「アクセス権リクエストの宛先を管理」を開き、宛先を設定することで権限のリクエストが可能になります。

上記設定後、ReQ Taroから権限をリクエストすることが可能になります。

リクエストを送信すると宛先のアカウントにメール通知されます。

メール内のリンクを開いて内容を確認し、権限の付与を行います。

権限が付与されると、ReQ Taroからもsalesスキーマのデータが参照できるようになります。

プライベートエクスチェンジを利用する場合

プライベートエクスチェンジは、マーケットプレイスで特定のコンシューマーに対してのみデータ製品を展開することができる機能です。

メニューの「Marketplace」を開き、「プロバイダーコンソール」をクリックします。

プロファイル作成

次の画面で「プライベートプロバイダーの利用規約に同意」をクリックし、マーケットプレイスプライベートエクスチェンジプロバイダーを有効化します。

利用規約に同意後、「マーケットプレイスの管理者を割り当て」をクリックします。開いたアカウントコンソールの画面で、「マーケットプレイスのアドミン」を有効化します。

マーケットプレイス管理者の割り当てが完了したら、次の画面で「プロバイダーのプロファイルを作成」をクリックします。開いた画面でプロファイルを作成し、必要事項を記入して送信します。

作成が完了すると、以下のように表示されます。

※プロファイルは複数作成可能

取引所作成

リスティング作成時に必要となる取引所を作成します。

「取引所」タブを開き、「取引所を作成」をクリックします。
適当な名前を入力し、取引所を作成します。

取引所の作成後、「メンバー」タブから共有対象アカウントを設定することができます。

リスティング作成・公開

「リスティング」タブを開き、「リスティングを作成する」をクリックします。

リスティングの基本情報やアクセス、データアセットなどを設定し、「公開」をクリックします。

今回の設定内容は以下の通りです。

• 一般
  • リスティング名：リスティングの名前
  • 説明：リスティングの説明
  • プロバイダープロファイル：上記で作成したプロファイル
• アクセス
  • 公開先：プライベート取引所（上記で作成した取引所）
• データアセット
  • コンシューマーのアクセス：リストへのアクセスリクエストが必要
  • 共有対象アセット：テーブル
• 属性
  • カテゴリー：小売
  • アクセス：無料
• 詳細
  • 説明：データの説明

データの検索・利用

公開すると、同ワークスペース内および共有対象アカウントからデータ製品を検索できるようになります。

「アクセス権をリクエスト」をクリックし、必要事項を記入してリクエストを送信します。

リクエストを送信すると連絡先のアカウントにメール通知されます。

メール内のリンクを開いて内容を確認し、承認（と共有の設定）を行います。

共有は「カタログ」の歯車アイコンから「Delta Sharing」→「自分が共有」→「データを共有」で作成可能です。
共有対象のアカウントと、共有対象のアセット（スキーマやテーブル）を設定します。

承認すると、ReQ Taro側のデータ製品ページの内容が更新されます。

「即時アクセス権を取得」ボタンをクリックすると、カタログのDelta共有にデータが追加され、利用可能になります。

補足：共有方法の使い分けについて

通常の共有とプライベートエクスチェンジには以下の違いがあります。

	通常	プライベートエクスチェンジ
共有対象	組織内	グローバル
権限付与	簡単	簡単
オブジェクト共有先	カタログ	Delta共有
データ探索	〇	△（※1）

※1：自分で詳細情報を入力しないと、期待する形で検索に表示されない。含まれるテーブルやビューのメタデータが一切表示されない

組織内でデータを連携したい場合、通常の方法が最もシンプルかつスムーズなのでおすすめです。

参考

• アクセス権リクエストの宛先を管理 | Databricks on AWS
• Databricks Marketplaceでプライベートエクスチェンジを作成および管理する | Databricks on AWS