Теперь, помимо фильмов, пропадают ещё коллекции, почему?

Енот
Новичо́к, через «о́»
Регистрация
17 Ноя 2019
Сообщения
171
#1
После обновления движка теперь с сайта, помимо фильмов, пропадают ещё и коллекции. Должно быть 65, а сейчас осталось 54. Обновление качества и озвучки реализовано только в одной и она на месте. С учётом того, что это автоматические коллекции, следить за ними смысла не видел и заметил отсутствие только потому, что некоторые должны выводиться на главной странице. Я понимаю, что причина исчезновения, как и в случае с фильмами, кроется в оперативной памяти сервера. Хотя @Alisa уверяет, что 2 Гб должно хватать, но скорее всего нет. Теперь вопрос - что с этим делать и как быть. @Alisa, возможно есть команда которая вернёт коллекции ( аналогично команде для сохранения недоступных фильмов)? Ведь если нет - придётся вычислять отсутствующие коллекции, создавать их заново (описания, картинки и прочее), а это лишний геморой на новый год и в будущем, каждый раз после обновления движка.
 
Регистрация
15 Дек 2017
Сообщения
5,068
#2
Восстановите бэкап за то число, где коллекций 65.
 
Регистрация
15 Дек 2017
Сообщения
5,068
#4
Тоесть вы не собираетесь разбираться и решать эту проблему?
Все данные хранятся в памяти ОЗУ, если из памяти что-то выбрасывается, значит её нехватает (только когда происходит изменение, в статическом состоянии они там навсегда).
Будет стоять условие на наличие свободной памяти теперь и на обновление коллекции.

У Вас 65 автообновляемых коллекций или какое количество?
Их обновление через API или через парсинг?
Сколько сайтов на сервере?

Вы делали переезд с одного домена на другой?
 
Енот
Новичо́к, через «о́»
Регистрация
17 Ноя 2019
Сообщения
171
#5
65 коллекций через API, 1 через парсинг и ещё 1 через API у которой обновляется качество и озвучка. Переезд делал, сайт на сервере один.
 
Регистрация
15 Дек 2017
Сообщения
5,068
#6
Как происодит обновление фильма или коллекции:
  1. Отправляются новые данные (качество и перевод или список фильмов);
  2. Делается запрос на получение текущих данных;
  3. Новые данные заменяют только измененные поля;
  4. Происходит сохранение данных.
Т.е. операции удаления нет, фильм или коллекция как была на сайте, так и остаётся.

В момент, когда нужно получить текущие данные, сервер отдаёт пустой результат из памяти, без каких либо ошибок и сохраняется у фильма только качество и перевод, у коллекции только список новых фильмов, без названия, описания и т.д.

Завтра будет добавлено еще больше проверок на каждом шаге сохранения.

Восстановите коллекции из бэкапа за дату, где они были доступны.
 
Енот
Новичо́к, через «о́»
Регистрация
22 Апр 2019
Сообщения
92
#7
@Alisa, Проверки очевидно не помогают. У меня периодически некоторые коллекции пропадают, устал уже восстанавливать из бэкапа.
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
701
#10
Все данные хранятся в памяти ОЗУ, если из памяти что-то выбрасывается, значит её нехватает (только когда происходит изменение, в статическом состоянии они там навсегда).
Будет стоять условие на наличие свободной памяти теперь и на обновление коллекции.

У Вас 65 автообновляемых коллекций или какое количество?
Их обновление через API или через парсинг?
Сколько сайтов на сервере?

Вы делали переезд с одного домена на другой?
да у него памяти просто не хватает и диск маленький 100 пудов
 
Енот
Новичо́к, через «о́»
Регистрация
22 Апр 2019
Сообщения
92
#11
Сколько памяти и оперативы на сервере???🔥
vSWAP 512MB и 30GB SSD.

Интересно, память забирает сам процесс парсинга? Или если много автоматических коллекций, но у них большой промежуток времени, это тоже берет память?

Удалятся у меня коллекции с самой большой частотой обновления, остальные живые...
 
Енот
Новичо́к, через «о́»
Регистрация
17 Ноя 2019
Сообщения
171
#12
@Patrickvrn, Удалось решить проблему с пропаданием коллекций?
Я просто отключил автообновление через API. Обновляются автоматически только серии сериалов и одна коллекция через парсинг. Дело скорее всего в малом количестве оперативной памяти.
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
701
#13
Я просто отключил автообновление через API. Обновляются автоматически только серии сериалов и одна коллекция через парсинг. Дело скорее всего в малом количестве оперативной памяти.
у меня на старом серве оперативы был 1 гиг так на главной дажэ постеры не отображались...
 
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
701
#14
vSWAP 512MB и 30GB SSD.

Интересно, память забирает сам процесс парсинга? Или если много автоматических коллекций, но у них большой промежуток времени, это тоже берет память?

Удалятся у меня коллекции с самой большой частотой обновления, остальные живые...
жесть 512 это печаль.
 
Енот
Новичо́к, через «о́»
Регистрация
22 Апр 2019
Сообщения
92
#15
Енот
Новичо́к, через «о́»
Регистрация
9 Май 2020
Сообщения
701
#16
Трафик мало, вот пока и не вижу смысла больше денег тратить. Отключил часть авто обновлений, пока больше не пропадали коллекции.
так поэтому и трафик мал потому что не справляется с телефонов и пк вс долгая загрузка с чего ему быть большим то народ закодит если загрузка больше 6 сек сваливает ищет где быстрее
 
Енот
Новичо́к, через «о́»
Регистрация
22 Апр 2019
Сообщения
92
#17
так поэтому и трафик мал потому что не справляется с телефонов и пк вс долгая загрузка с чего ему быть большим то народ закодит если загрузка больше 6 сек сваливает ищет где быстрее
При проблемах на сайте появится высокий показатель отказов, он сейчас хороший.