Действительно ли сайт закрыт для индексирования в файле robots.txt?

URL сайта
скрыто
Енот
Новичо́к, через «о́»
Регистрация
10 Янв 2018
Сообщения
104
#1
После обновления cinemapress, сайт закрыт к индексированию. И нет кнопки как на демо чтобы открыть.
User-agent: *
Disallow: /
 

Вложения

Енот
Новичо́к, через «о́»
Регистрация
10 Янв 2018
Сообщения
104
#3
Сайт открыт, проверять это можно в вебмастере Яндекса или Google.

https://enota.club/threads/blokirov...-podozritelnoj-aktivnosti-na-kino-sajte.2759/
Сайт закрыт для индексирования в файле robots.txt
При последнем обращении к файлу robots.txt робот обнаружил, что сайт закрыт для индексирования. Из-за этого сайт может полностью пропасть из поиска. Убедитесь в корректности файла robots.txt — обратите внимание на директиву вида Disallow: / (запрещает обход всего сайта).
Проверьте robots.txt и снимите установленный запрет. О том, как правильно написать указания для робота Яндекса, читайте в Справке.
 
Енот
Новичо́к, через «о́»
Регистрация
10 Янв 2018
Сообщения
104
#4
Также, автоматически не скрываются фильмы в разделе Автоматическое скрытие фильмов, все данные заполнены
 
Думает, что помогает
Регистрация
15 Дек 2017
Сообщения
5,031
#5
Анализ и ответ сервера, что говорит в Яндексе?

1610992351430.png
 
Енот
Новичо́к, через «о́»
Регистрация
10 Янв 2018
Сообщения
104
#6

Вложения

Енот
Новичо́к, через «о́»
Регистрация
10 Янв 2018
Сообщения
104
#9

Вложения

Последнее редактирование:
Думает, что помогает
Регистрация
15 Дек 2017
Сообщения
5,031
#10
Откройте терминал и посмотрите, не блокируются ли боты как FAKE.

cinemapress upd

cinemapress logs bot

1611159349467.png
 
Думает, что помогает
Регистрация
15 Дек 2017
Сообщения
5,031
#15
Выполние в терминале:

docker exec -it example_com bash -c 'wget -qO r.js https://pastebin.com/raw/8sRqEDVA && node r.js'

где example_com - Ваш домен через нижнее подчеркивание.

Вы должны увидеть такой результат:

1611163359469.png
 
Енот
Новичо́к, через «о́»
Регистрация
10 Янв 2018
Сообщения
104
#16
Енот
Новичо́к, через «о́»
Регистрация
10 Янв 2018
Сообщения
104
#18
Значит в логах FAKE, это действительно фейковые боты, а не настоящие.

Выполните обновление еще раз: cinemapress upd && cinemapress update
Готово, после переустановки опять:
User-agent: *
Disallow: /
 
Енот
Новичо́к, через «о́»
Регистрация
10 Янв 2018
Сообщения
104
#20
Не важно что видит человек в robots. Там всегда будет Disallow. Важно что видит бот.
Доступ к отправленному URL заблокирован в файле robots.txt - это гугл в вебмастере, также не работает sitemap