Spark DataFrame コーディング支援
Spark プラグインは、Scala および Python コード内の Apache Spark DataFrames のコーディング支援を提供します。
使用可能な列の補完
DataFrame を作成する場合、またはファイルから読み取る場合、IntelliJ IDEA は、たとえば DataFrame の選択またはフィルタリング中に DataFrame 列にアクセスするのを支援します。
未解決の列の検出
DataFrame に存在しない列を参照すると、IntelliJ IDEA はその列をハイライトし、使用可能な列名のいずれかに置き換えることを提案します。
このインスペクションは、IDE 設定 (Ctrl+Alt+S) の で有効または無効にすることができます。
スキーマの取得
IntelliJ IDEA が DataFrame スキーマにアクセスできる場合は、列名の補完と対応するインスペクションを使用できます。 スキーマは複数の方法で指定できます。
列とその型は、
readメソッドで直接指定されます。df = (spark.read .schema("name STRING, value BIGINT, planet STRING") .parquet("aliens.parquet")) .parquet("aliens.parquet"))スキーマは別個の変数として指定され、
readメソッドで使用されます。schema = StructType([ StructField("name", StringType(), False), StructField("value", LongType(), False), StructField("planet", StringType(), False), ]) df = spark.read.schema(schema).parquet("aliens.parquet")
これらの方法のいずれでもスキーマを指定していない場合は、専用のインレイヒントを使用して、Parquet ファイルからスキーマを推測できます。 ファイルはローカルまたはリモートストレージに配置できます。
ファイルからスキーマを推測する
Spark コードで
read.parquet()メソッドを使用します。例：df = spark.read.parquet("/myfilepath")スキーマの選択インレイヒントをクリックしてください。
開いたウィンドウで、スキーマを推測できるファイルを選択します。
選択したファイルから推測されたスキーマは、メソッドの横にインレイヒントとして表示されます。 カーソルを合わせると、使用可能な列とそのタイプをプレビューできます。 また、それをクリックして、
schemaメソッドを使用してスキーマを挿入するか、別のスキーマを選択することができます。
このインレイヒントは、IDE 設定 (Ctrl+Alt+S) の Python の場合は 、Scala の場合は で有効または無効にできます。