Добавляемый формат числового файла?

Я пишу какое-то программное обеспечение для удаленного мониторинга в Python 3. В настоящее время gzip CSV-данные собираются около 8 часов для передачи на сервер, но я ищу что-то с более низкими требованиями к пропускной способности, поскольку некоторые из устройств имеют довольно экстремальные ограничения пропускной способности. Я ищу библиотеку Python 3, которая может сериализовать числовые данные записи со следующими свойствами:

  • Файл должен иметь строку заголовка (т. е. одну запись с заголовками столбцов)
  • Строки фиксированной длины (то же самое количество полей в каждой строке)
  • Все данные (кроме заголовков столбцов) являются 8-байтовыми с плавающей запятой
  • Общеизвестно, что целые столбцы, которые все равны нулю (и поэтому могут быть опущены), но для любого конкретного столбца, это не может быть известно наверняка до тех пор, пока не будет написан весь файл (хотя можно узнать с 99% уверенность после нескольких записей, и я могу жить с 1% -ной потерей, что это подразумевает)
  • Должно быть возможно повторно открыть файл и добавить новые записи
  • Обычно файлы составляют около 80 колонок и 80 000 строк. Строки обычно добавляются партиями по сто или около того.
  • Поддержка библиотеки Python 3 - я не хочу откатывать свои собственные.
  • Проверка целостности данных - это бонус

HDF5 - это возможность, но кажется, что его размерная производительность не так велика в этом файле размера. Главным недостатком этого было бы то, что было бы относительно легко удалить все нулевые столбцы (я думаю), которые значительно помогли бы размер файла.

Я сейчас gzipping CSV-файлы. XZ может сделать несколько лучше (около 30%, говорят неофициальные тесты), но ценой много циклов процессора.

Кто-нибудь может что-то рекомендовать?

1
de
Да, было бы. Это было именно то, что я собирался предложить. Это лучший сайт, который вы хотите задать, но вы также должны знать iot.stackexchange.com , если вы этого не знаете
добавлено автор Mawg, источник
Python
Python
7 654 участник(ов)

Уютный чат для профессионалов, занимающихся поиском питоньих мудростей. Как не получить бан: https://t.me/ru_python/577926

Python beginners
Python beginners
4 449 участник(ов)

Вопросы про Python для чайников. Cпам и троллинг неприемлем. Не злоупотребляйте стикерами. Частозадаваемые вопросы: https://github.com/ru-python-beginners/faq/blob/master/README.md Статистика тут: https://grstats.me/chat/x4qym2k5uvfkr3al6at7

pro.python
pro.python
1 090 участник(ов)

Сообщество разработчиков под Python Создатель: @rodgelius

Rude Python
Rude Python
971 участник(ов)

Python без „девочек”, здесь матерятся и унижают Django. Not gay friendly. Правила: t.me/rudepython/114107 @rudepython | t.me/rudepython

rupython
rupython
509 участник(ов)

Группа создана с целью оперативного получения ответов на возникающие вопросы по разработке на яп python, смежные темы, а также человеческого общения. Приветствую!

Python-programming
Python-programming
266 участник(ов)

Чат группы вконтакте https://vk.com/python_community