レック・テクノロジー・コンサルティング株式会社TECH BLOG

MENU

DatabricksワークスペースをAWSにデプロイしてみる

2025.10.17

  • AWS
  • Databricks
  • クラウド
  • データエンジニアリング
  • Facebook
  • X
  • Pocket
  • Line
  • Hatena
  • Linkedin

DatabricksワークスペースをAWSにデプロイした際の手順や注意点についてご紹介します。

事前準備

Databricksアカウントを作成していない場合は、サインアップします。

image.png

AWSクイックスタートを利用する場合

アカウントコンソールに移動し、「ワークスペース」→「ワークスペースを作成」をクリックします。

image-1.png

開いたポップアップで「既存のクラウドアカウントを使用」を選択し、「クイックスタートで自動作成」を選択し、「続行」をクリックします。

image-2.png

CloudFormationのスタックのクイック作成の画面が自動的に開くため、「スタックの作成」をクリックします。

※「AWS CloudFormation によって IAM リソースがカスタム名で作成される場合があることを承認します。」にチェックを入れておきます。

image-3.png

作成が完了したら、ステータスが「CREATE_COMPLETE」となります。ワークスペースの作成完了時、Databricksから通知メールが届きます。

image-4.png

作成が完了したらアカウントコンソールのワークスペース一覧に表示が追加され、通常通り利用できるようになります。

image-5.png

手動作成する場合

アカウントコンソールに移動し、「ワークスペース」→「ワークスペースを作成」をクリックします。

image-1.png

開いたポップアップで「既存のクラウドアカウントを使用」を選択し、「Databricksで手動作成」を選択し、「続行」をクリックします。

image-6.png

「次のページ」をクリックします。

image-7.png

ストレージ構成作成

ストレージ設定で「ストレージ構成の作成」を選択し、以下の手順でストレージの設定を行っていきます。

1. バケット作成

AWSでS3のバケットを作成します。

image-8.png

2. アクセス許可設定

バケットの「アクセス許可」→「バケットポリシー」の「編集」をクリックし、以下のポリシーを設定します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Grant Databricks Access",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::414351767826:root"
      },
      "Action": [
        "s3:GetObject",
        "s3:GetObjectVersion",
        "s3:PutObject",
        "s3:DeleteObject",
        "s3:ListBucket",
        "s3:GetBucketLocation"
      ],
      "Resource": ["arn:aws:s3:::<BUCKET-NAME>/*", "arn:aws:s3:::<BUCKET-NAME>"],
      "Condition": {
        "StringEquals": {
          "aws:PrincipalTag/DatabricksAccountId": ["<DATABRICKS-ACCOUNT-ID>"]
        }
      }
    },
    {
      "Sid": "Prevent DBFS from accessing Unity Catalog metastore",
      "Effect": "Deny",
      "Principal": {
        "AWS": "arn:aws:iam::414351767826:root"
      },
      "Action": ["s3:*"],
      "Resource": ["arn:aws:s3:::<BUCKET-NAME>/unity-catalog/*"]
    }
  ]
}

以下の値を置き換えます。

  • <BUCKET-NAME>：バケット名
  • <DATABRICKS-ACCOUNT-ID>：DatabricksアカウントID

DatabricksアカウントIDは、アカウントコンソール画面右上のアイコンをクリックして確認可能です。

image-9.png

編集が完了したら、変更を保存します。

3. IAMロール作成

IAMコンソールからロールの作成を行います。

「カスタム信頼ポリシー」を選択し、以下のポリシーを設定します。（ロール作成時の仮のポリシー。後で修正する）

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": ["arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL"]
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "0000"
        }
      }
    }
  ]
}

「次へ」をクリックし、許可は追加せずに進みます。

ロール名と説明は適当なものを入力し、「ロールを作成」をクリックします。

ロール作成後、「信頼関係」タブの「信頼ポリシーを編集」をクリックし、以下のポリシーを設定します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL",
          "arn:aws:iam::<AWS-ACCOUNT-ID>:role/<THIS-ROLE-NAME>"
        ]
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "<DATABRICKS-ACCOUNT-ID>"
        }
      }
    }
  ]
}

以下の値を置き換えます。

  • <AWS-ACCOUNT-ID>：AWSアカウントID
  • <THIS-ROLE-NAME>：ロール名
  • <DATABRICKS-ACCOUNT-ID>：DatabricksアカウントID

編集が完了したら、変更を保存します。

4. バケット操作用IAMポリシー作成

先のロールにアタッチするためのIAMポリシーを作成します。

以下のポリシーを設定します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:PutObject", "s3:DeleteObject"],
      "Resource": "arn:aws:s3:::<BUCKET>/unity-catalog/*"
    },
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket", "s3:GetBucketLocation"],
      "Resource": "arn:aws:s3:::<BUCKET>"
    },
    {
      "Action": ["kms:Decrypt", "kms:Encrypt", "kms:GenerateDataKey*"],
      "Resource": ["arn:aws:kms:<KMS-KEY>"],
      "Effect": "Allow"
    },
    {
      "Action": ["sts:AssumeRole"],
      "Resource": ["arn:aws:iam::<AWS-ACCOUNT-ID>:role/<AWS-IAM-ROLE-NAME>"],
      "Effect": "Allow"
    }
  ]
}

以下の値を置き換えます。

  • <BUCKET>：S3バケット名
  • <KMS-KEY>：KMSキー名
  • <AWS-ACCOUNT-ID>：AWSアカウントID
  • <AWS-IAM-ROLE-NAME>：IAMロール名

KMSはバケットの暗号化キーをKMSで管理している場合に設定します。
AWSのマネージドキーを使用しているか、暗号化が無効の場合はKMSセクション全体を削除します。

編集が完了したら次へ進み、適当なポリシー名と説明を入力して「ポリシーの作成」をクリックします。

5. ファイルイベント用IAMポリシー作成（オプション）

こちらの手順はオプションだが、実施が強く推奨されています。

以下の設定をもつポリシーを作成します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ManagedFileEventsSetupStatement",
      "Effect": "Allow",
      "Action": [
        "s3:GetBucketNotification",
        "s3:PutBucketNotification",
        "sns:ListSubscriptionsByTopic",
        "sns:GetTopicAttributes",
        "sns:SetTopicAttributes",
        "sns:CreateTopic",
        "sns:TagResource",
        "sns:Publish",
        "sns:Subscribe",
        "sqs:CreateQueue",
        "sqs:DeleteMessage",
        "sqs:ReceiveMessage",
        "sqs:SendMessage",
        "sqs:GetQueueUrl",
        "sqs:GetQueueAttributes",
        "sqs:SetQueueAttributes",
        "sqs:TagQueue",
        "sqs:ChangeMessageVisibility",
        "sqs:PurgeQueue"
      ],
      "Resource": ["arn:aws:s3:::<BUCKET>", "arn:aws:sqs:*:*:*", "arn:aws:sns:*:*:*"]
    },
    {
      "Sid": "ManagedFileEventsListStatement",
      "Effect": "Allow",
      "Action": ["sqs:ListQueues", "sqs:ListQueueTags", "sns:ListTopics"],
      "Resource": "*"
    },
    {
      "Sid": "ManagedFileEventsTeardownStatement",
      "Effect": "Allow",
      "Action": ["sns:Unsubscribe", "sns:DeleteTopic", "sqs:DeleteQueue"],
      "Resource": ["arn:aws:sqs:*:*:*", "arn:aws:sns:*:*:*"]
    }
  ]
}

バケットのイベント通知設定の更新、SNSトピックの作成、SQSキューの作成、およびSQSキューのSNSトピックへのサブスクライブを行う権限をDatabricksに付与します。これらは、ファイルイベントを使用する機能に必要なリソースです。

6. ポリシー適用

3で作成したロールにポリシーをアタッチします。

image-10.png

ストレージ構成設定

ワークスペース作成フローに戻り、以下を設定する。

  • ストレージ設定名：作成するストレージ設定の名称
  • バケット名：S3バケット名
  • IAMロールARN：上記で作成したIAMロールのARN

設定が完了したら、「ストレージ設定の作成・続行」をクリックする。

image-11.png

資格情報作成

資格情報の設定で「新しい資格情報を追加」を選択します。

1. クロスアカウントIAMロール作成

IAMコンソールからロールの作成を行います。

以下の内容でロールを作成します。

  • 信頼されたエンティティタイプ：AWSアカウント
  • AWSアカウント：414351767826

※AWS GovCloudを使用している場合、こちらの内容を参考にAWSアカウントを指定します。

「次へ」をクリックし、許可は追加せずに進みます。
ロール名と説明は適当なものを入力し、「ロールを作成」をクリックします。

2. アクセスポリシー作成

ロールに追加するポリシーは、Amazon VPCのデプロイタイプによって異なります。
各方法についての詳細はこちらを参照ください。

今回の検証では、上記オプション2の顧客管理VPC(デフォルトの制限付き)の方法で行います。

1で作成したクロスアカウントIAMロールをクリックし、「許可を追加」→「インラインポリシーを作成」を選択します。
ポリシーエディタでJSONをクリックし、以下のアクセスポリシーを貼り付けます。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Stmt1403287045000",
      "Effect": "Allow",
      "Action": [
        "ec2:AssociateIamInstanceProfile",
        "ec2:AttachVolume",
        "ec2:AuthorizeSecurityGroupEgress",
        "ec2:AuthorizeSecurityGroupIngress",
        "ec2:CancelSpotInstanceRequests",
        "ec2:CreateTags",
        "ec2:CreateVolume",
        "ec2:DeleteTags",
        "ec2:DeleteVolume",
        "ec2:DescribeAvailabilityZones",
        "ec2:DescribeIamInstanceProfileAssociations",
        "ec2:DescribeInstanceStatus",
        "ec2:DescribeInstances",
        "ec2:DescribeInternetGateways",
        "ec2:DescribeNatGateways",
        "ec2:DescribeNetworkAcls",
        "ec2:DescribePrefixLists",
        "ec2:DescribeReservedInstancesOfferings",
        "ec2:DescribeRouteTables",
        "ec2:DescribeSecurityGroups",
        "ec2:DescribeSpotInstanceRequests",
        "ec2:DescribeSpotPriceHistory",
        "ec2:DescribeSubnets",
        "ec2:DescribeVolumes",
        "ec2:DescribeVpcAttribute",
        "ec2:DescribeVpcs",
        "ec2:DetachVolume",
        "ec2:DisassociateIamInstanceProfile",
        "ec2:ReplaceIamInstanceProfileAssociation",
        "ec2:RequestSpotInstances",
        "ec2:RevokeSecurityGroupEgress",
        "ec2:RevokeSecurityGroupIngress",
        "ec2:RunInstances",
        "ec2:TerminateInstances",
        "ec2:DescribeFleetHistory",
        "ec2:ModifyFleet",
        "ec2:DeleteFleets",
        "ec2:DescribeFleetInstances",
        "ec2:DescribeFleets",
        "ec2:CreateFleet",
        "ec2:DeleteLaunchTemplate",
        "ec2:GetLaunchTemplateData",
        "ec2:CreateLaunchTemplate",
        "ec2:DescribeLaunchTemplates",
        "ec2:DescribeLaunchTemplateVersions",
        "ec2:ModifyLaunchTemplate",
        "ec2:DeleteLaunchTemplateVersions",
        "ec2:CreateLaunchTemplateVersion",
        "ec2:AssignPrivateIpAddresses",
        "ec2:GetSpotPlacementScores"
      ],
      "Resource": ["*"]
    },
    {
      "Effect": "Allow",
      "Action": ["iam:CreateServiceLinkedRole", "iam:PutRolePolicy"],
      "Resource": "arn:aws:iam::*:role/aws-service-role/spot.amazonaws.com/AWSServiceRoleForEC2Spot",
      "Condition": {
        "StringLike": {
          "iam:AWSServiceName": "spot.amazonaws.com"
        }
      }
    }
  ]
}

次へ進み、ポリシー名を入力して「ポリシーの作成」をクリックします。

3. 顧客管理VPC設定

顧客管理VPCの設定に従い、以下のようにネットワークを構築します。

  • VPC
    • DNSホスト名、DNS解決を有効にする
  • サブネット
    • 異なるAZのサブネットを2つ
    • NATゲートウェイ用のサブネットを1つ
  • インターネットゲートウェイ
  • NATゲートウェイ
  • セキュリティグループ
    • アウトバウンド：全許可
    • インバウンド：同SGからの全TCP, UDPを許可

実際に構築した例：

image-12.png

4. ネットワーク設定

資格情報作成ページの「高度な設定」をクリックし、ネットワーク構成で「新しいネットワーク設定を追加」をクリックします。

以下のように設定します。

  • ネットワーク設定名：作成するネットワーク設定の名称
  • VPC ID：3で作成したVPCのID
  • サブネットID：3で作成したサブネットのID
  • セキュリティグループID：3で作成したセキュリティグループのID

実際の設定例：

image-13.png

image-14.png

5. 資格情報設定

以下を設定します。

  • 資格情報の設定名：作成する資格情報の名称
  • ロールARN：1で作成したクロスアカウントIAMロールのARN

設定が完了したら、「資格情報を作成して続行」をクリックします。

image-15.png

確認＆作成

設定内容を確認し、「ワークスペースを作成」をクリックします。

image-16.png

作成が完了したら、ワークスペースのステータスが「Running」となり利用可能になります。

image-17.png

注意点

アカウントコンソールのワークスペース一覧からワークスペースを削除しても、ワークスペースのリソースは自動的に削除されないため注意が必要です。関連リソースはすべて自分で削除する必要があります。

  • クイックスタートで作成した場合：CloudFormationのスタックを開き、「削除」を実行。VPC等は自分で削除する必要あり。
  • 手動作成した場合：関連リソースをすべて手動で削除。

ワークスペースを削除する | Databricks on AWS

まとめ

DatabricksワークスペースをAWSにデプロイする方法についてご紹介しました。

AWSへのデプロイはなんとなく面倒なイメージがあったのですが、実際に試してみるとドキュメントやガイドも充実していてわかりやすく、独自構成にする場合でもそこまで大変には感じませんでした。特に、ネットワークやストレージを独自に管理したい等の要件がない場合は、クイックスタートで作成すると非常に簡単なのでおすすめです。

ただし、作成されたリソースの削除は基本的に手動で行わなければならないため注意が必要です。リソースが残っている場合、使用していなくても課金が発生してしまいます。

参考

この記事をシェアする

  • Facebook
  • X
  • Pocket
  • Line
  • Hatena
  • Linkedin

資料請求・お問い合わせはこちら

RELATED SERVICES関連サービス

クラウドサービス

GCP、 AWS、Azure、OCIのクラウドを中心にインフラ基盤を構築します。
また、SRE技術支援、コンテナ技術支援、ガバメントクラウド移行支援などクラウド環境で必要となる技術支援をいたします。

データエンジニアリングサービス

創業以来Re:Qが強みとしてきたインフラ領域の技術⼒をベースに、データ活⽤を推進するための⽀援をワンストップで提供します。

RELATED ARTICLE関連記事

2025.08.22

OracleからSnowflakeへテーブルを自動レプリケーションする方法

  • Oracle DB
  • Snowflake
  • クラウド
  • データエンジニアリング

2024.10.29

【複数項目の並べ替えにも使える！】LookerStudioでよく使うCONCAT関数

  • データエンジニアリング

2025.07.03

触って学ぶ SageMaker Lakehouse の概要と機能

  • AWS
  • クラウド
  • データエンジニアリング

ブログ一覧へ戻る

WEB説明会実施中！

各技術領域ごとの業務内容や取り組んでいる最新技術についてお話します。
カメラ・マイクオフでの参加OK！
気軽にご参加ください。

お申込みはこちら

Re:Qチャンネル

Re:Qの技術領域や、これまで培ってきた経験を元にIT技術についての解説動画などを投稿しています。
是非ご覧ください！

公式Youtubeはこちら

CATEGORY

LATEST ARTICLE

ページトップへ戻る