Такая проблема: у меня берутся пути ко всем файлам в одной папке, загружаются через json.load, после использования я делаю del переменной, которой присваиваю json, затем после 300к чекнутых файлов, скорость проверки последующих очень сильно снижается. Как это исправить?
>>246100519 >не знает как работает контроллер ssd >продолжает обрабатывать на ssd Это только хуже делает, лолка. Любая операция модификации = пизда диску и скорости.
>>246100023 (OP) 1. print - дорогая операция. У тебя, может, терминал тормозит, лол. 2. del не нужен. 3. сделай list и записывай туда собранные значения. Потом выведешь. 4. А кто дескрипторы закрывать будет? Сделай как все нормальные люди через with
with open(filename, 'r') as f: friends = json.loads(f.read())
>>246102292 Да, но открытие дескриптора - тоже запись? Попробуй создать легионы пустых, как жизнь дединсайдов и битордов, файлов и прочитать их. Вангую, после 20к тоже будет ПАДЕНИЕ ПОКАЗАТЕЛЕЙ
На диск ничего не пишется при открытии файла на чтение, не гони. Только last access в fs обновляется, но нам на этот уровень похуй. Тут он просто забыл вообще закрывать файлы, от чего и тормоза.
Это не отменяет того, что твой код говно. Ну и так, на будущее - то, что ты простенько обрабатываешь до хуя файлов, ещё не делает это "большими данными"
>>246102682 Ну пусть попробует тогда открытие и обработку файла в отдельном дочернем процессе. Должно помочь. Если все гут, то можно будет не по одному, а пакетами засылать в отдельные процессы.
>>246103466 Ну так по завершению подпроцесса вся оперативка выделенная под него освободиться. Шо куча, шо стек. Да похуй, у него просто файлы в хвосте больше весят.
>>246106788 ну я их обрабатываю по типу скрина вот решил узнать в чём трабла со скоростью, потом выяснилось что есть и другие темы которые нужно пофиксить, всё