Spark
使用 Spark 插件,您可以直接在 IDE 中创建、提交并监控您的 Spark 作业。 该插件的功能包括:
Spark 提交 运行配置,用于构建并将您的 Spark 应用上传到集群。
Spark 监控 工具窗口,用于监控已提交的作业、查看 DAG 可视化等。 这包括通过 Spark Submit 运行配置和 EMR 步骤提交的作业。 如果已安装 Zeppelin 插件,您还可以从 Zeppelin 笔记本中打开 Spark 作业。
与其他大数据工具的集成,无需离开 IDE(从 AWS EMR 打开 Spark 应用、从 Hadoop YARN 导航到 Spark 作业、在 S3 存储中查看日志)。
安装 Spark 插件
此功能依赖于 Spark 插件,您需要安装并启用该插件。
按 Ctrl+Alt+S 打开设置,然后选择 。
打开 Marketplace 选项卡,找到 Spark 插件,然后点击 安装 (如果出现提示,请重启 IDE)。
本章内容:
如果您想监控现有作业,请了解有关 Spark 监控工具窗口 的更多信息。
如果您想将 Spark 应用提交到集群,请了解有关 Spark Submit 运行配置 的更多信息
最后修改日期: 2025年 12月 2日