Spark
使用 Spark 插件,您可以在 IDE 中创建、提交并监控 Spark 任务。 插件功能包括:
Spark 新项目向导,让您可以快速创建带有所需依赖项的 Spark 项目。
用于构建并上传 Spark 应用程序到集群的 Spark Submit 运行配置。 对于 Scala 文件,页边空白处还有一个特殊图标,可让您更快创建此配置。
用于监控提交的作业、查看 DAG 可视化等的 Spark 监控 工具窗口。 这包括从 Spark Submit 运行配置和 EMR 步骤提交的作业。 如果您已安装 Zeppelin 插件,您还可以从 Zeppelin 笔记本中打开 Spark 作业。
在不离开 IDE 的情况下与其他大数据工具集成(从 AWS EMR 打开 Spark 应用程序,从 Hadoop YARN 导航到 Spark 任务,在 S3 存储中查看日志)。
安装 Spark 插件
此功能依赖 Spark 插件,您需要安装并启用。
按 Ctrl+Alt+S 打开设置,然后选择 。
打开 Marketplace 选项卡,找到 Spark插件,然后点击 安装 (如果出现提示,请重新启动IDE)。
本章内容:
关于如何使用新建项目向导创建 Spark 应用程序的教程 并将其上传到 AWS EMR 集群。
如果您想监控现有作业,请了解更多关于 Spark monitoring tool window 的信息。
如果您想提交一个 Spark 应用程序到集群,了解更多关于 Spark Submit run configuration
最后修改日期: 2025年 9月 22日