Я хотел бы написать кодировщик для Row типа в DataSet для операции с картой, которую я делаю. По сути, я не понимаю, как писать кодировщики.
Ниже приведен пример операции с картой:
In the example below, instead of returning Dataset<String>, I would like to return Dataset<Row>
Dataset<String> output = dataset1.flatMap(new FlatMapFunction<Row, String>() {
@Override
public Iterator<String> call(Row row) throws Exception {
ArrayList<String> obj = //some map operation
return obj.iterator();
}
},Encoders.STRING());
Я понимаю, что вместо строки Encoder нужно записать следующим образом:
Encoder<Row> encoder = new Encoder<Row>() {
@Override
public StructType schema() {
return join.schema();
//return null;
}
@Override
public ClassTag<Row> clsTag() {
return null;
}
};
Однако, я не понимаю clsTag() в кодере, и я пытаюсь найти пример выполнения, который может демонстрировать нечто подобное (например, кодер для типа строки)
Изменить - это не копия упомянутого вопроса: Ошибка кодирования при попытке сопоставить строку dataframe с обновленной строкой, поскольку в ответе говорится об использовании Spark 1.x в Spark 2.x(я этого не делаю), также я ищу кодировщик для класса Row, а не для устранения ошибки. Наконец, я искал решение на Java, а не в Scala.