Считайте частоту слов огромного текстового файла

Question

Считайте частоту слов огромного текстового файла

У меня огромный текстовый файл (больше, чем доступная оперативная память). Мне нужно подсчитать частоту всех слов и вывести слово и частоту в новый файл. Результат должен быть отсортирован в порядке убывания частоты.

Мой подход:

Сортировка данного файла - внешний вид
Считайте частоту каждого слова последовательно, сохраните счет в другом файле (вместе со словом)
Сортировка выходного файла по частоте - внешняя сортировка.

Я хочу знать, есть ли лучшие подходы к этому. Я слышал о хэш-таблицах на основе дисков? или B +, но никогда не пробовали их раньше.

Примечание. Я видел похожие вопросы, заданные в SO, но ни один из них не должен решать проблему с данными, большими, чем память.

Изменить. Основываясь на комментариях, согласился, что словарь на практике должен вписываться в память современных компьютеров. Но давайте возьмем гипотетический словарь слов, который достаточно огромен, чтобы не вписываться в память.

5

добавлено 07 Февраль 2013 в 08:09 автор vikky.rk отредактировано 07 Февраль 2013 в 08:23

Просмотры: 3

источник

nl ja de

если вы просто хотите подсчитать слова, вы можете прочитать файл по очереди или потоком файлов. Вам не нужно загружать весь файл в ОЗУ.

добавлено 07 Февраль 2013 в 08:14, автор Raptor, источник

на каком языке программирования вы работаете?

добавлено 07 Февраль 2013 в 08:13, автор Raptor, источник

Все разные слова еще больше, чем RAM?

добавлено 07 Февраль 2013 в 08:13, автор xvorsx, источник

Ну, в этом случае огзд дает хороший ответ ниже: нарежьте его!

добавлено 07 Февраль 2013 в 08:23, автор Mörre, источник

В самом деле? Сколько оперативной памяти? Даже полный словарь вписывается в сегодняшние компьютеры RAM ...

добавлено 07 Февраль 2013 в 08:17, автор Mörre, источник

@ vikky.rk Вопрос был не в том, что одно слово будет вписываться в память, но если будет список уникальных слов.

добавлено 07 Февраль 2013 в 08:17, автор Matteo, источник

На практике да словарь должен соответствовать, но скажите словарь, если он достаточно большой, чтобы не вписываться в память, я хочу знать, какой подход будет лучше

добавлено 07 Февраль 2013 в 08:21, автор vikky.rk, источник

Да, количество уникальных слов больше, чем размер ОЗУ. Поэтому, если у меня есть хеш-таблица, она не поместится в памяти

добавлено 07 Февраль 2013 в 08:16, автор vikky.rk, источник

@xvorsx: ни одно слово больше, чем ОЗУ, если это то, о чем вы спрашиваете.

добавлено 07 Февраль 2013 в 08:15, автор vikky.rk, источник

@ShivanRaptor: Java

добавлено 07 Февраль 2013 в 08:14, автор vikky.rk, источник

Сколько разных слов есть в файле? Поместили бы они в память, если вы не храните дубликаты?

добавлено 07 Февраль 2013 в 08:15, автор comocomocomocomo, источник

4 ответы

Видеокурс "Создание приложений для Android"

Получи множество видеоуроков по Android сейчас

Я бы пошел с подходом map :

Распределите текстовый файл на узлах, предполагая, что каждый текст в узле может поместиться в ОЗУ.
Рассчитайте каждую частоту слов в узле. (используя хэш-таблицы )
Соберите каждый результат в главном узле и объедините все его.

13

добавлено 07 Февраль 2013 в 08:15 автор ogzd

источник

Сортируйте каждый файл результата индивидуально, затем откройте их все и прочитайте по строкам, решив, добавить ли результаты (то же слово) и/или, в зависимости от последовательности в алфавите, какую пару слов/nr записать в файл результатов.

добавлено 07 Февраль 2013 в 08:28, автор Mörre, источник

Поскольку плакат утверждает, что даже словарь слов, используемых в файле, не помещается в его маленькую RAM (???), я голосую +1 над этим решением - и это также работает, когда есть только одна машина, когда вы делаете фрагменты последовательно.

добавлено 07 Февраль 2013 в 08:21, автор Mörre, источник

Я думал об этом подходе последовательно, но как бы я мог эффективно объединить результаты?

добавлено 07 Февраль 2013 в 08:26, автор vikky.rk, источник

Да, это почти то, что делает внешний вид. За исключением того, что нам не нужно сортировать весь файл, достаточно просто отсортировать фрагменты.

добавлено 07 Февраль 2013 в 08:42, автор vikky.rk, источник

Видеокурс по Java для начинающих

Получи видеокурс по Java для начинающих с упражнениями

Система управления ссылками ReDirector 3.0

Автор: Евгений Попов

Мини-курс по Angular и NgRx

16 видео-уроков

автор Sani Singh Huttunen · Answer 1 · 2013-02-07T08:16Z

Все уникальные слова, вероятно, вписываются в память, поэтому я бы использовал этот подход:

Create a dictionary (HashMap).
Read the huge text file line by line.
Add new words into the dictionary and set value to 1.
Add 1 to the value of existing words.

После того, как вы проанализировали весь огромный файл:

Сортировка словаря по частоте.
Напишите в новый файл отсортированный словарь со словами и частотой.

Имейте в виду, что для преобразования слов в строчные или прописные.

автор pushy · Answer 2 · 2013-02-07T08:24Z

Лучший способ добиться этого - прочитать файл по строке и сохранить слова в Multimap (например, гуавы ). Если эта карта расширяет вашу память, вы можете попробовать использовать хранилище ключей (например, Berkeley JE DB или MapDB ). Эти хранилища с ключевыми значениями работают аналогично карте, но они сохраняют свои значения на жестком диске. Я использовал MapDB для аналогичной проблемы, и он быстро вспыхивал.

автор Matteo · Answer 3 · 2013-02-07T08:15Z

Если список уникальных слов и частоты вписывается в память (а не только уникальные слова), вы можете использовать хеш-таблицу и читать файл последовательно (без сохранения).

Затем вы можете сортировать записи хэш-таблицы по количеству вхождений.