Разрыв вложенной структуры в области данных Spark

Я работаю над примером Databricks. Схема для блока данных выглядит так:

> parquetDF.printSchema
root
|-- department: struct (nullable = true)
|    |-- id: string (nullable = true)
|    |-- name: string (nullable = true)
|-- employees: array (nullable = true)
|    |-- element: struct (containsNull = true)
|    |    |-- firstName: string (nullable = true)
|    |    |-- lastName: string (nullable = true)
|    |    |-- email: string (nullable = true)
|    |    |-- salary: integer (nullable = true)

В этом примере показано, как взорвать столбец сотрудников в 4 дополнительных столбца:

val explodeDF = parquetDF.explode($"employees") { 
case Row(employee: Seq[Row]) => employee.map{ employee =>
  val firstName = employee(0).asInstanceOf[String]
  val lastName = employee(1).asInstanceOf[String]
  val email = employee(2).asInstanceOf[String]
  val salary = employee(3).asInstanceOf[Int]
  Employee(firstName, lastName, email, salary)
 }
}.cache()
display(explodeDF)

Как мне сделать что-то подобное с столбцом отдела (т.е. добавить два дополнительных столбца в фреймворк данных "id" и "name" )? Методы не совсем то же самое, и я могу только выяснить, как создать новый фрейм данных, используя:

val explodeDF = parquetDF.select("department.id","department.name")
display(explodeDF)

Если я попробую:

val explodeDF = parquetDF.explode($"department") { 
  case Row(dept: Seq[String]) => dept.map{dept => 
  val id = dept(0) 
  val name = dept(1)
  } 
}.cache()
display(explodeDF)

Я получаю предупреждение и ошибку:

<console>:38: warning: non-variable type argument String in type pattern Seq[String] is unchecked since it is eliminated by erasure
            case Row(dept: Seq[String]) => dept.map{dept => 
                           ^
<console>:37: error: inferred type arguments [Unit] do not conform to    method explode type parameter bounds [A <: Product]
  val explodeDF = parquetDF.explode($"department") { 
                                   ^