Spark
Spark(英語) プラグインを使用すると、IDE で直接 Spark(英語) ジョブを作成、送信、監視できます。 プラグインの機能には次のものが含まれます。
Spark 新規プロジェクトウィザードを利用すると、必要な依存関係を含む Spark プロジェクトを素早く作成できます。
Spark アプリケーションを構築してクラスターにアップロードするための Spark Submit 実行構成。 Scala ファイルの場合、ガターに特別なアイコンもあり、この構成をさらに迅速に作成できます。
Spark モニタリング ツールウィンドウでは、送信されたジョブのモニタリング、DAG 可視化の表示などを行うことができます。 これには、Spark Submit 実行構成と EMR ステップから送信されたジョブも含まれます。 Zeppelin(英語) プラグインがインストールされている場合は、Zeppelin ノートブックから Spark ジョブを開くこともできます。
IDE を移動せずに他のビッグデータツールと統合 (AWS EMR から Spark アプリケーションを開き、Hadoop YARN から Spark ジョブに移動し、S3 ストレージのログを表示します)。
Spark プラグインをインストールする
この機能は、インストールして有効にする必要がある Spark(英語) プラグインに依存しています。
Ctrl+Alt+S を押して設定を開き、 を選択します。
Marketplace タブを開き、 Spark プラグインを見つけて、 インストール をクリックします (プロンプトが表示されたら、IDE を再起動します)。
この章では:
Spark アプリケーションの作成方法に関するチュートリアルは、新しいプロジェクトウィザードを使用して、AWS EMR クラスターにアップロードします。
既存のジョブを監視する場合は、 Spark 監視ツールウィンドウについて詳しく学習してください。
Spark アプリケーションをクラスターに送信する場合は、 Spark Submit 実行構成について詳しく学んでください