Amazon EMR
IntelliJ IDEA を使用すると、 Amazon EMR(英語) データ処理プラットフォームのクラスターとノードを監視できます。
AWS EMR サーバーに接続する
「Big Data Tools 」ウィンドウで「
」をクリックし、「AWS EMR 」を選択します。開いた Big Data Tools ダイアログで、接続パラメーターを指定します。
名前: 他の接続と区別するための接続の名前。
地域: クラスターを取得するリージョンを選択します。
認証タイプ では、認証方法を選択できます。
デフォルトの資格情報プロバイダーチェーン: デフォルトのプロバイダーチェーンの資格情報を使用します。 チェーンの詳細については、「デフォルトの資格情報プロバイダーチェーンの使用(英語) 」を参照してください。
資格情報ファイルからのプロファイル: ファイルからプロファイルを選択します。
明示的なアクセスキーと秘密鍵: 資格情報を手動で入力します。
デフォルトの資格情報プロバイダーチェーン または 資格情報ファイルからのプロファイル オプションを選択した場合、 資格情報を開く をクリックして資格情報ファイルが保存されているディレクトリを検索できます。 デフォルトの場所を使用する場合、通常は Linux または macOS では ~/.aws/credentials 、Windows では C:\Users\<USERNAME>\.aws\credentials です。 または、 カスタム構成を使用する を選択した場合は、カスタムの場所になることもあります。
オプションで、次を設定できます。
プロジェクト単位 ごと: これらの接続設定を現在のプロジェクトでのみ有効にするには、チェックボックスをオンにしてください。 この接続を他のプロジェクトでも表示したい場合は、チェックボックスをオフにしてください。
接続を有効にする: この接続を無効にする場合は、チェックボックスをオフにしてください。 デフォルトでは、新しく作成された接続は有効になっています。
HTTP プロキシ: IDE プロキシ設定を使用するか、カスタムプロキシ設定を指定するかを選択します。
SSH キー設定を開く リンクをクリックして、秘密鍵ファイルで認証された SSH 接続を作成します。 Amazon EC2 キーペアのプライベートキーを EMRSSH キーストア ダイアログに指定する必要があります。
設定を入力したら、 接続のテスト をクリックして、すべての構成パラメーターが正しいことを確認します。 次に OK をクリックします。
いつでも、次のいずれかの方法で接続設定を開くことができます。
ツール | ビッグデータツールの設定 設定ページ Ctrl+Alt+S に移動します。
AWS EMR ツールウィンドウのツールバーで
をクリックします。
サーバーへの接続を確立すると、 AWS EMR ツールウィンドウが表示されます。 ここでクラスターの名前を入力し、クラスターのステータスまたは終了時刻を選択することで、クラスターをフィルターできます。
AWS EMR ツールウィンドウでクラスターを選択すると、次のタブを使用してクラスターを監視できます。
このタブには、選択したクラスターに関する詳細が表示されます。 フィルター フィールドに名前と ID を入力すると、クラスターをフィルターできます。
詳細情報を入手する
Web インターフェースでクラスターの詳細をプレビューできます。
または サブネットを開く、 マスターセキュリティグループ 、または コアおよびタスクセキュリティグループ をクリックします。
をクリックしてターゲットサーバーへの SFTP 接続を確立し、ファイルシステム内の構成ファイルへのパスを指定します。選択したクラスターの EMR ログをプレビューできます。
をクリックして、専用の リモートファイルシステムビューア の Big Data Tools ツールウィンドウでログを開きます。選択したクラスター構成の JSON 表現については、「
(JSON 形式で表示 )」をクリックします。
このタブには、アプリケーションステップ、その ID、実行ステータスが表示されます。 「フィルター 」フィールドにステップを入力すると、名前と ID でステップをフィルタリングできます。
ステップを選択すると、メインクラス名、引数、ログフォルダーへのリンクなどの詳細がツールウィンドウの右側でプレビューされます。
ステップを管理する
- をクリックして、Web インターフェースでアプリケーションステップをプレビューします。
さまざまな型のステップを追加できます。
をクリックして、追加するステップの型を選択してください。 その後、パラメーターを指定します。 
をクリックして、選択したステップを複製します。選択したステップの JSON 表現については、
をクリックします。
このタブには、選択したクラスターのインスタンスに関する詳細が表示されます。 Search フィールドに任意のインスタンス名を入力し始めると、それが選択されます。
インスタンスを表示
- をクリックすると、Web インターフェースでインスタンスの詳細をプレビューできます。
をクリックして、インスタンスの特定のパラメーターを表示または非表示にすることもできます。 - をクリックしてターゲットサーバーへの SFTP 接続を確立し、ファイルシステム内の構成ファイルへのパスを指定します。
選択したクラスター構成の JSON 表現については、
をクリックしてください。
このタブには、選択したクラスターで実行されているアプリケーションが表示されます。 をクリックして、デフォルトの Web ブラウザーでクラスターの詳細をプレビューします。
Amazon EMR アプリケーションを開く
IntelliJ IDEA を使用すると、Amazon EMR クラスターにインストールされているアプリケーションを開くことができます。 AWS EMR ツールウィンドウからデフォルトのブラウザーで直接開くことができます。 さらに、ツールが ビッグデータツールプラグイン (Hadoop、HDFS、Hive、Spark、Zeppelin など) のいずれかでサポートされている場合は、IntelliJ IDEA でそのツールへの接続を作成できます。 この場合、専用のツールウィンドウが IDE で開きます。 例: Zeppelin サーバーに接続すると、IntelliJ IDEA エディターで Zeppelin ノートを開いて編集できます。 アプリケーションへの接続は SSH トンネリングに基づいているため、 クラスターで構成された SSH キー(英語)を提供する必要があります。
AWS EMR ツールウィンドウで、Amazon EMR クラスターを選択します。
アプリケーション タブを開き、 名前 列で、アプリケーションへのリンクをクリックします。
ビッグデータツールプラグインでサポートされているアプリケーションの場合、それを開く場所を選択します。
ブラウザーで開く をクリックして、デフォルトのブラウザーで開きます。
接続の作成 を使用して、IDE 内でアプリケーションへの接続を作成します。 新しい接続が ビッグデータツール ツールウィンドウに表示されます。
アプリケーションに初めて接続する場合は、接続を作成するように求められます。 作成 をクリックし、開いたダイアログで SSH キーファイル（
mykey.pemなど）を選択します。SSH キーが読み込まれると、 アプリケーション タブでその名前をクリックするだけで、このクラスターのアプリケーションに接続できます。
開いた 接続の作成 ウィンドウで、次のいずれかを選択します。
デフォルト設定を使用してすぐに接続を開始する場合は、 デフォルトを使用。
接続前に カスタマイズ を選択すると、たとえば Zeppelin 名前とパスワードの指定など、設定を変更できます。