У меня есть класс ImageInputFormat в Hadoop, который читает изображения из HDFS. Как использовать свой InputFormat в Spark?
Вот мой ImageInputFormat:
public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> {
@Override
public ImageRecordReader createRecordReader(InputSplit split,
TaskAttemptContext context) throws IOException, InterruptedException {
return new ImageRecordReader();
}
@Override
protected boolean isSplitable(JobContext context, Path filename) {
return false;
}
}
