Hadoop YARN
IntelliJ IDEA を使用すると、 Hadoop YARN(英語) メトリクスを監視できます。
典型的なワークフロー:
Hadoop サーバーに接続する
「Big Data Tools 」ウィンドウで「
」をクリックし、「Hadoop YARN 」を選択します。
開いた Big Data Tools ダイアログで、接続パラメーターを指定します。

名前: 他の接続と区別するための接続の名前。
URL: Hadoop サーバーの URL。
オプションで、次を設定できます。
プロジェクト単位 ごと: これらの接続設定を現在のプロジェクトでのみ有効にするには、チェックボックスをオンにしてください。 この接続を他のプロジェクトでも表示したい場合は、チェックボックスをオフにしてください。
接続を有効にする: この接続を無効にする場合は、チェックボックスをオフにしてください。 デフォルトでは、新しく作成された接続は有効になっています。
トンネリングを有効にする。 このオプションは、リモートホストへの SSH トンネルを作成します。 これは、ターゲットサーバーがプライベートネットワーク内にあるものの、ネットワーク内のホストへの SSH 接続が利用できる場合に便利です。
チェックボックスを選択し、SSH 接続の構成を指定します(... をクリックして新しい SSH 構成を作成します)。
HTTP 基本認証を使用可能にする: 指定されたユーザー名とパスワードを使用した HTTP 認証との接続。
プロキシ: IDE プロキシ設定を使用するか、カスタムプロキシ設定を指定するかを選択します。
既存の Spark 接続を再利用することもできます。 Spark モニタリング リストから選択するだけです。
設定を入力したら、 接続のテスト をクリックして、すべての構成パラメーターが正しいことを確認します。 次に OK をクリックします。
いつでも、次のいずれかの方法で接続設定を開くことができます。
ツール | ビッグデータツール 設定ページ Ctrl+Alt+S に移動します。
Hadoop YARN ツールウィンドウのツールバーで
をクリックします。
Hadoop サーバーへの接続を確立すると、 Hadoop YARN ツールウィンドウが表示されます。 データを監視するためのいくつかの領域で構成されています。
リソースマネージャーが提供するクラスターメトリクスとリソースに関する詳細情報。

タスクの実行を担当するノードに関する情報を提示します。

ノードリソースの割り当てなど、選択したデータノードに関する詳細情報を提供します。

アプリケーションメトリクスと実行試行を含む、ユーザーのアプリケーションの詳細な概要。

接続設定、ログ情報、サーバースタックの詳細、サーバーメトリクスなどの監視ツール。

データの種類の詳細については、「Hadoop のドキュメント(英語) 」を参照してください。
レイアウトを調整する
アプリケーションのリストで、調査するアプリケーションを選択します。
監視領域の可視性を管理するには、次のボタンを使用します。
項目
説明
実行試行のリストを表示します。
アプリケーションの詳細を表示します。

特定のアプリケーションに焦点を合わせるには、 アプリケーションの詳細 監視領域の 別のタブで開く リンクをクリックします。

アプリケーションの詳細が別のタブに表示されます。

をクリックして、ブラウザーで監視データをプレビューします。
監視ウィンドウのレイアウトを設定し、一部のプレビュー領域を開いたり閉じたりしたら、監視データをフィルタリングして特定のパラメーターをプレビューできます。
監視データを除外する
特定のステータスのアプリケーションの詳細を表示するには、監視タブのフィルターボタン(
)を使用します。 監視する特定のアプリケーションステータスを選択します。
ユーザー名、開始時間、終了時間でアプリケーションのリストをフィルタリングすることもできます。 さらに、フィルターされたリスト内のアイテムの制限を指定できます。

テーブル内のコンテンツを管理します。
列ヘッダーをクリックして、列内のデータの順序を変更します。
ツールバーの 列の表示 / 非表示 をクリックして、表に表示する列を選択します。

いつでも、 Hadoop YARN ツールウィンドウの をクリックして、監視データを手動でリフレッシュできます。 または、 更新 ボタンの隣にあるリストで特定の時間間隔内に自動リフレッシュを構成できます。 5, 10,, 30 秒を選択できます。