カスタム Spark クラスター
Spark Submit 実行構成で、AWS EMR または Dataproc をリモートサーバーとして使用してアプリケーションを実行できます。 これらのオプションに加え、独自のカスタム Spark クラスターを設定することもできます。リモートサーバーへ接続するための SSH 構成を設定し、必要に応じて Spark History サーバーや SFTP 接続の設定も行えます。
カスタム Spark クラスターの作成
「ビッグデータツール 」ウィンドウで「
」をクリックし、「カスタム Spark クラスター 」を選択します。表示されたウィンドウの最初のステップで、SSH 構成を選択して 次へ をクリックします。 この SSH 構成は、spark-submit がインストールされているサーバーへの接続に使用されます。
IDE で Spark ジョブをモニタリングしたい場合は、ウィザードの次のステップで Spark history サーバーへの接続を確立するためのパラメーターを指定してください。 独自のパラメーターを指定するか、デフォルト設定を使用してください。これにより、SSH トンネリングを使用して
localhost:18080へ接続が作成されます。それ以外の場合は、 Spark 履歴サーバーへの接続は必要ありません を選択します。
Spark クラスターへの SFTP 接続が必要な場合は、ウィザードの次のステップでその設定を指定してください。
それ以外の場合は、 ドライバーノードへの SFTP 接続は必要ありません を選択します。
Spark 履歴と SFTP 接続の両方を設定している場合は、 ビッグデータツール ツールウィンドウの カスタム Spark クラスター で使用できるようになります。
これで、このクラスターを Spark Submit 実行構成のリモートターゲットとして選択できるようになりました。 この実行構成を起動すると、アプリケーション出力のリンクをクリックして、 サービス ツールウィンドウで Spark ジョブを開くことができます。