Как создать список, который превышает максимальный размер в Пайтоне

Согласно это, максимальный размер списка Пайтона на 32-битной системе - 536,870,912 элементов .

Там какой-либо возможный путь состоит в том, чтобы инициализировать список с большим размером, чем это?

Скажем:

list1 = [None]*1000000000
7
nl ja de
Вы принимали во внимание, что каждый элемент списка, по крайней мере, занимает 4 байта, таким образом 4 * 536,870,912 = 2147483648 . Теперь That' s 2 ГБ RAM только для списка. Если элементы не идентичный I' m вполне уверенный you' ll получают MemoryError путь прежде, чем достигнуть того размера.
добавлено автор Bakuriu, источник
Ну, нет, that' s, что означает "максимальный размер". Можно itertools.chain связка кусков вместе, я предполагаю, если у вас есть память.
добавлено автор Pavel Anossov, источник
Спасибо @bakuriu за указание на это. Я действительно получал MemoryError.: (
добавлено автор Thanakron Tandavas, источник

1 ответы

Списки, настолько большие, подняли бы значительную сумму пространства, поскольку каждый элемент в списке займет по крайней мере 4 байта, поэтому всего один список с максимальными позволенными элементами поднял бы минимальных 2 ГБ RAM <глоток> 1 . И это, даже не рассматривая 64-битные системы <глоток> 2 .

  1. 4 * 5.4e+8 = 2.1e+9, 2.1 GB
  2. 8 * 1.2e+18 = 9.2+18, 9.2 EB (yes, exabytes)

Однако ради вопроса, давайте предположим, что у вас есть много RAM.


Один из самых простых вариантов состоял бы в том, чтобы создать вас собственный объект держать и обращаться с крупным списком. Это в основном разделило бы крупный список на меньшие списки, и затем получило бы доступ к ним соответственно при необходимости. Как есть no real benefits of subclassing list потому что необходимо было бы переписать все методы так или иначе, вы будете лучше из просто подклассификации объект и затем пойдете оттуда. Единственная вещь, которая важна здесь, никогда не состоит в том, чтобы объединять или копировать подсписки (потому что они крупные), так использование itertools.chain образовать петли по спискам при необходимости.

Вот пример самых простых методов списка , прилагают , продлевают , get/setitem работа:

import sys
from itertools import chain

class largeList(object):
    def __init__(self, mylist=[]):
        self.maxSize = sys.maxsize/4
        self.src = [[]]
        self.extend(mylist)

    def __iter__(self):
        return chain(*self.src)

    def __getitem__(self, idx):
        return self.src[int(idx/self.maxSize)][idx%self.maxSize]

    def __setitem__(self, idx, item):
        self.src[int(idx/self.maxSize)][idx%self.maxSize] = item
        # expand set/getitem to support negative indexing.

    def append(self, item):
        if len(self.src[-1]) < self.maxSize:
            self.src[-1].append(item)
        else:
            self.src.append([item])

    def extend(self, items):
        remainder = self.maxSize - len(self.src[-1])
        self.src[-1].extend(items[:remainder])
        for i in xrange(0, len(items[remainder:]), self.maxSize):
            self.src.append(items[remainder:][i:i+self.maxSize])

    def __len__(self):
        return sum(len(l) for l in self.src)

    def __str__(self):
        size = self.__len__()
        if size >= 8:
            first, last = [], []
            for i, ele in enumerate(self.__iter__()):
                if i < 3:
                    first.append(ele)
                if i >= size - 3:
                    last.append(ele)
            return str(first)[:-1] + ', ..., ' + str(last)[1:]
        return str(list(self.__iter__()))

Использование в качестве примера (, если у вас есть свободная RAM на меньше чем 4 ГБ или вы находитесь на 64-битной системе, изменение sys.maxsize прежде, чем попробовать это! ):

#sys.maxsize = 1000

list1 = largeList(xrange(sys.maxsize/4 + 2))
print len(list1)
# 53687093
print list1
#[0, 1, 2, ..., 536870910, 536870911, 536870912]
print list1.src
#[[0, 1, 2 ..., 536870910], [536870911, 536870912]]
list1.extend([42, 43])
print list1
#[0, 1, 2, ..., 536870912, 42, 43]

Результат: внутренне списки разделяются на многочисленные списки, в то время как они, кажется, просто тот, работая с ними. Больше список функциональности может легко быть добавлено, добавив больше методов. Например, поп , удаляют , вставка и индекс :

(...)

    def pop(self, idx):
        listidx = int(idx/self.maxSize)
        itempopped = self.src[listidx].pop(idx%self.maxSize)
        for i in xrange(listidx, len(self.src)-1):
            self.src[i].append(self.src[i+1].pop(0))
        if not self.src[-1]:
            del self.src[-1]
        return itempopped

    def remove(self, item):
        for i, ele in enumerate(self.__iter__()):
            if ele == item:
                self.pop(i)
                break

    def insert(self, idx, item):
        listidx = int(idx/self.maxSize)
        itemtoshift = self.src[listidx].pop(-1)
        self.src[listidx].insert(idx%self.maxSize, item)
        for i in xrange(listidx+1, len(self.src)-1):
            itemremoved = self.src[i].pop(-1)
            self.src[i].insert(0, itemtoshift)
            itemtoshift = itemremoved
        if len(self.src[-1]) < self.maxSize:
            self.src[-1].insert(0, itemtoshift)
        else:
            self.src.append([self.src[-1].pop(-1)])
            self.src[-2].insert(0, itemtoshift)

    def index(self, item):
        for i, ele in enumerate(self.__iter__()):
            if ele == item:
                return i
        return -1

Использование в качестве примера, продолженное:

#sys.maxsize = 1000

list1 = largeList(xrange(sys.maxsize/4 + 2))
list1.insert(0, 'a')
print list1
#['a', 0, 1, ..., 536870910, 536870911, 536870912]
list1.pop(2)
#1
list1.remove(536870910)
print list1.index('a')
#0
print len(list1)
#536870911
print list1
#['a', 0, 2, ..., 536870909, 536870911, 536870912]
print list.src
#[['a', 0, 2, ..., 536870909, 536870911], [536870912]]
11
добавлено
Python
Python
7 654 участник(ов)

Уютный чат для профессионалов, занимающихся поиском питоньих мудростей. Как не получить бан: https://t.me/ru_python/577926

Python beginners
Python beginners
4 449 участник(ов)

Вопросы про Python для чайников. Cпам и троллинг неприемлем. Не злоупотребляйте стикерами. Частозадаваемые вопросы: https://github.com/ru-python-beginners/faq/blob/master/README.md Статистика тут: https://grstats.me/chat/x4qym2k5uvfkr3al6at7

Верстка сайтов HTML/CSS/JS/PHP
Верстка сайтов HTML/CSS/JS/PHP
3 439 участник(ов)

Правила группы: напишите !rules в чате. Группа Вк: vk.com/web_structure Freelancer: @web_fl Веб Дизайн: @dev_design Маркетолог: @topmarkening Автор: @M_Boroda

CSS — русскоговорящее сообщество
CSS — русскоговорящее сообщество
1 502 участник(ов)

Сообщество любителей CSS Возникли проблемы с CSS? – пиши сюда, обсудим и предложим самое лучшее решение Работа: @css_ru_jobs Правила: https://teletype.in/@css_ru/r1EWtQ2w7 Приходите в наши чаты @javascript_ru и @frontend_ru Флуд: @css_flood

pro.python
pro.python
1 090 участник(ов)

Сообщество разработчиков под Python Создатель: @rodgelius

Чат — Типичный Верстальщик
Чат — Типичный Верстальщик
1 080 участник(ов)

Основной канал: @tpverstak Обратная связь: @annblok Все ссылки на соц.сети проекта: http://taplink.cc/tpverstak ПРАВИЛА ЧАТА — https://teletype.in/@annblok/BygPgC3E7

Rude Python
Rude Python
971 участник(ов)

Python без „девочек”, здесь матерятся и унижают Django. Not gay friendly. Правила: t.me/rudepython/114107 @rudepython | t.me/rudepython

rupython
rupython
509 участник(ов)

Группа создана с целью оперативного получения ответов на возникающие вопросы по разработке на яп python, смежные темы, а также человеческого общения. Приветствую!

Python-programming
Python-programming
266 участник(ов)

Чат группы вконтакте https://vk.com/python_community

Веб-Технологи: UI/UX, Вёрстка, Фронтенд
Веб-Технологи: UI/UX, Вёрстка, Фронтенд
167 участник(ов)

Всё про веб-дизайн и вёрстку. А также: HTML, CSS, флекс и бутстрапы, шаблонизаторы, препроцессоры, методологии, аглифаеры, улучшаторы и обфускаторы. Обсуждаем темы юзабилити, устраиваем А/В тесты лендингов, и проводим аудит.

DTP :: @DTPublish
DTP :: @DTPublish
147 участник(ов)

Обсуждаемые темы: полиграфия, препресс, верстка, дизайн, иллюстрации, скрипты, плагины. Канал - @DTPublishing

css_jobs
css_jobs
26 участник(ов)

Чат для вопросов по css и html: @css_ru Флуд: @css_flood Канал с вакансиями и резюме: @css_jobs_feed

css_флуд
css_флуд
10 участник(ов)