Azure Databricks でジョブ実行を監視し、失敗した場合に通知する方法についてまとめました。
通知方法は主に以下の2通りです：

• ログベースのアラート通知
• ジョブ設定によるアラート通知

それぞれについて、以降で詳しく解説します。

ログベースのアラート通知

Log Analytics を利用し、5分毎にジョブの実行ログを確認して失敗した記録があればアラート通知を送信する方法です。

設定手順は以下の通りです。

1. アクショングループ作成

通知先となるアクショングループを作成します。

Azure ポータルで「モニター」を開き、「アクショングループ」をクリックします。

「作成」をクリックし、必要な設定を行います。

基本設定を入力したら「通知」タブに移動し、通知タイプと内容を設定します（今回はメールで通知したいため、「電子メール/SMS メッセージ/プッシュ/音声」で設定）。

内容を確認後、問題なければ「作成」をクリックします。

以上でアクショングループの作成は完了です。

2. Log Analytics ワークスペース作成

Databricks のログ格納場所となる Log Analytics ワークスペースを作成します。

3. アラート設定

対象のワークスペースを開き、「ログ」で以下のクエリを実行します。

DatabricksJobs
| where ActionName contains "Failed" and TimeGenerated > ago(5m)

上記はジョブ実行履歴のうち失敗（Failed）となったもので、5分以内のログを検索するクエリです。

一度実行したら、「新しいアラートルール」をクリックします。

検索クエリが先ほど実行したものと合っていることを確認します。

測定はクエリに関する設定で、以下のように設定します。

• メジャー：テーブルの行
• 集計の種類：カウント
• 集計の粒度：5分

アラートロジックは以下の通り設定します。

• 演算子：次の値より大きい
• しきい値：0
• 評価の頻度：5分

上記設定によりクエリが5分ごとに実行され、5分の間に実行結果が1件でもあればアラート通知が送られます。

アクションには設定したアクショングループを指定します。

「詳細」で以下の項目を設定します。

• サブスクリプション：対象のサブスクリプション
• リソースグループ：対象のリソースグループ
• 重大度：通知の重要度。今回はエラーとする。
• アラートルール名：通知の際に表示されるアラートルール名
• リージョン：アラートルールのリージョン

「確認および作成」をクリックし、問題がなければ「作成」をクリックします。
以上でアラートの設定は完了です。

上記の設定後にジョブ実行が失敗した場合、以下のような通知メールが送信されます。

ジョブ設定によるアラート通知

Databricks で、ジョブごとにアラート設定を行うことも可能です。

ジョブ作成画面の「ジョブ通知」で、「通知を編集」をクリックします。

ポップアップで「通知を追加」をクリックし、配信先を設定することができます。配信先はメールアドレスに加えてWebhook、Slack、Teamsなどが選べます。

設定後にジョブ実行が失敗した場合、以下のような通知メールが送信されます。

「View run in Databricks」のリンクから該当ジョブの実行結果詳細を確認可能です。

補足

Databricks のシステムテーブルsystem.lakeflow.job_run_timelineにもジョブの実行履歴は記録されますが、診断ログに比べて反映のタイミングが遅いです。

実際に試した結果は以下の通りで、診断ログはジョブ失敗から6分後には反映されてメール通知されたのに対し、システムテーブルに反映されたのはジョブ失敗から約20分後です。

イベント	時刻
ジョブ失敗	13:48
診断ログ反映	13:54
メール通知	13:55
システムテーブル反映	14:07

システムテーブルに対して定期的にクエリをかけ、ジョブが失敗した記録があれば通知・・・という方法も検討しましたが、コストの観点からも、システムテーブルより診断ログを利用した方法のほうが良さそうです。

参考

• 【Azure Databricks】ジョブ監視をしてみる(後編) | Azure導入支援デスク