Получить входной путь из задания conf в hadoop

Я устанавливаю путь как входное местоположение для conf

FileInputFormat.setInputPaths(conf, new Path("path/to/folder"));

Как я могу вернуть это местоположение из conf, поскольку я пытаюсь реализовать свой собственный RecordReader

Заранее спасибо...

0

1 ответы

Свойством, заданным этим вызовом, является map.input.dir , поэтому это должно сработать для вас:

conf.get("map.input.dir");

С другой стороны, ваш считыватель записей должен воздействовать на разделение ввода, которое оно задано в методе initialize (InputSplit, TaskAttemptContext) , поскольку папка, которую вы передаете в setInputPath, будет фактически разрешена для нескольких входных разделов , обычно один для каждого файла в папке (и возможные множественные входные расщепления для больших, разделяемых файлов).

FileInputFormat based input formats are passed a FileSplit to the initialize method, and you should be able to pull out the actual file to be processed from the FileSplit.getPath() method.

3
добавлено
Чтобы увеличить ответ на @ChrisWhite, он также может находиться под хэш-ключом «mapred.input.dir».
добавлено автор David Beveridge, источник
pro.jvm
pro.jvm
3 503 участник(ов)

Сообщество разработчиков Java Scala Kotlin Groovy Clojure Чат для нач-их: @javastart Наш сайт: projvm.com projvm.ru Наш канал: @proJVM Вакансии: @jvmjobs Конфы: @jvmconf

Java & Co
Java & Co
2 370 участник(ов)

Можно обсуждать с матом и без всё, что касается жабы, вплоть до холиваров. НЕ ИМЕЕТ ОТНОШЕНИЯ К САЙТУ JAVARUSH.RU ПРАВИЛА - https://t.me/javarush/75723 Вакансии сюда - https://telegram.me/joinchat/B7IzvUCnfo6d8t3yIxKguQ По вопросам - @thedude

learn.java
learn.java
1 888 участник(ов)

Чат для начинающих и не только Статистика: https://combot.org/chat/-1001083535868 Основной чат - @jvmchat

Java Underground
Java Underground
169 участник(ов)

https://vk.com/javatutorial

Javanese Questions
Javanese Questions
109 участник(ов)

Чат предназначен для обмена знаниями строго в формате в вопрос-ответ. Тема — Java, Kotlin и Android. Вопрос должен быть предварительно прогуглен, понятно и грамотно сформулирован, помечен хэштегами. Ответ — тем более. Куски кода размером в несколько строк можно писать прямо здесь, для больших кусков кода стоит использовать http://gist.github.com/, http://pastebin.com/, https://codeshare.io/ или любой аналогичный сервис. В некоторых случаях можно прикреплять скриншоты. Стикеры и гифки запрещены. Дополнять и уточнять вопросы и ответы — редактированием исходного сообщения. Обсуждения должны приводить к редактированию вопроса/ответа и удаляться. По хештегам можно искать существующие вопросы и овтеты: #вопрос #ответ #git #generics #java #server #awt #javafx #swing #kotlin #anko #tornadofx #ktor #android #recyclerView #performance #arch #network #permissions #storage #async