Databricks
Databricks プラグイン(英語)を使用すると、IDE から直接リモート Databricks ワークスペースに接続できます。
Databricks プラグインを使用すると、次のことが可能になります。
前提条件
Databricks プラグイン(英語)が インストールされ、有効になっていることを確認してください。
Databricks アカウント(英語)があることを確認してください。 AWS で Databricks アカウントを使用するには、既存の AWS アカウントが必要です。
Databricks ワークスペースに接続する
新しい Databricks 接続を作成するには:
表示 | ツールウィンドウ | Databricks に移動して、Databricks ツールウィンドウを開きます。
New connection をクリックします。 「ビッグデータツール 」ダイアログが開きます。
次のいずれかのオプションを使用して、Databricks ワークスペースに接続できます。
プロファイル経由で接続
「名前 」フィールドに、他の接続と区別するための接続の名前を入力します。
ユーザーのルートディレクトリに .databrickscfg ファイルがある場合は、プロファイルによる認証に自動的に使用されます。 複数のプロファイルがある場合は、ドロップダウンメニューからプロファイルを選択できます。
.databrickscfg ファイルを編集する場合は、
.databrickscfg ファイルを開く をクリックして、エディターでファイルを開きます。変更されたファイルを再ロードするには、
.databrickscfg ファイルを再読み込み をクリックします。接続のテスト をクリックして、すべての構成パラメーターが正しいことを確認します。
変更を保存するには、 OK をクリックします。
Databricks CLI 経由で接続
「名前 」フィールドに、他の接続と区別するための接続の名前を入力します。
URL フィールドに、Databricks ワークスペースの URL を入力します。
Databricks CLI がインストールされていない場合、PyCharm は接続を確立する最初の試行時にそれをインストールします。
接続のテスト をクリックして、すべての構成パラメーターが正しいことを確認します。
変更を保存するには、 OK をクリックします。
Azure CLI 経由で接続
「名前 」フィールドに、他の接続と区別するための接続の名前を入力します。
URL フィールドに、Databricks ワークスペースの URL を入力します。
Azure CLI がインストールされていない場合は、 CLI をインストールする リンクをクリックし、Web サイトのインストール手順に従ってください。
接続のテスト をクリックして、すべての構成パラメーターが正しいことを確認します。
変更を保存するには、 OK をクリックします。
さらに、次の設定を構成できます。
接続を有効化: この接続を無効にする場合は選択を解除します。 デフォルトでは、新しく作成された接続は有効になっています。
プロジェクトごと ごと: これらの接続設定を現在のプロジェクトでのみ有効にする場合に選択します。 この接続を他のプロジェクトで表示する場合は、選択を解除します。
ファイルを実行して同期する
ワークフローとして実行
Databricks クラスターでワークフローを実行すると、一連のタスクまたは操作が、クラスター内の複数のマシンで特定の順序で実行されます。 ワークフロー内の各タスクは、前のタスクの出力に依存している可能性があります。
エディターで .py または .ipynb ファイルを開きます。
次のいずれかを実行します：
Databricks ツールウィンドウで ワークフローとして実行 をクリックします。
エディター内で右クリックし、コンテキストメニューから ワークフローとして実行 を選択します。
クラスター上で実行
Databricks クラスターでジョブまたはノートブックを実行すると、コードがクラスターに送信され、クラスター内の複数のマシンで実行されます。 この実行方法は、処理と分析の高速化に役立ち、特に大量のデータを処理する場合に便利です。
エディターで .py ファイルを開きます。
次のいずれかを実行します：
Databricks ツールウィンドウで クラスター上で実行 をクリックします。
エディター内で右クリックし、コンテキストメニューから クラスター上で実行 を選択します。
プロジェクトファイルを同期する
プロジェクトファイルを Databricks クラスターと同期できます。
ファイルを同期する Databricks クラスター上のフォルダーへのパスを指定します。
同期を開始 をクリックしてください。
