Spark（スパーク）

Spark(英語) プラグインを使用すると、IDE で直接 Spark(英語) ジョブを作成、送信、監視できます。 プラグインの機能には次のものが含まれます。

• Spark アプリケーションを構築してクラスターにアップロードするための Spark Submit 実行構成。

• Spark モニタリング ツールウィンドウでは、送信されたジョブのモニタリング、DAG 可視化の表示などを行うことができます。 これには、Spark Submit 実行構成と EMR ステップから送信されたジョブも含まれます。 Zeppelin(英語) プラグインがインストールされている場合は、Zeppelin ノートブックから Spark ジョブを開くこともできます。

• IDE を移動せずに他のビッグデータツールと統合 (AWS EMR から Spark アプリケーションを開き、Hadoop YARN から Spark ジョブに移動し、S3 ストレージのログを表示します)。

この章では：

• 既存のジョブを監視する場合は、 Spark 監視ツールウィンドウについて詳しく学習してください。

• Spark アプリケーションをクラスターに送信する場合は、 Spark Submit 実行構成について詳しくご覧ください。