Нет robots.txt в корне сайта, как открыть индексацию?

Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#1
Это нормально что нет robots.txt в корне сайта? сегодня были проблемы с подключением Яндекс вебмастер и гугла. В итоге еще и сайт не отображается в гугле, пишет "Информация о странице не доступна"
 

Вложения

  • 17.7 KB Просмотры: 24
Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#4
@Alisa, открыто, а почему Гугл не видет сайт например если написать сайт.ru, но при добавлении https://сайт.ru то в поиске все нормально. В чем проблема?
 
Регистрация
15 Дек 2017
Сообщения
5,067
#6
@Alisa, открыто, а почему Гугл не видет сайт например если написать сайт.ru, но при добавлении https://сайт.ru то в поиске все нормально. В чем проблема?
Посмотирте в терминале cinemapress logs bot нет ли заблокированных ботов, которых система посчитала FAKE

Работа с терминалом:

 
Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#9
@Alisa, Так почему боты яндекса и гугла не могут индексировать если путь открыт для них?
 
Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#10
Яндекс пишет "Сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска."

Код:
User-agent: *
Allow: /
Disallow: /type/*/*
Disallow: /type-*/*
Disallow: /movie/*/*
Disallow: /movie-*/*
Disallow: /year/*/*
Disallow: /year-*/*
Disallow: /genre/*/*
Disallow: /genre-*/*
Disallow: /country/*/*
Disallow: /country-*/*
Disallow: /director/*/*
Disallow: /director-*/*
Disallow: /actor/*/*
Disallow: /actor-*/*
Disallow: /search
Disallow: /*?sorting*
Disallow: /*?tag*
Disallow: /*?q*
Disallow: /*?random*
Disallow: /*?PageSpeed*
Disallow: /*?desktop*
Disallow: /*?year*
Disallow: /*?genre*
Disallow: /*?country*
Disallow: /iframe
Disallow: /noindex
Disallow: /mobile-version/type/*/*
Disallow: /mobile-version/type-*/*
Disallow: /mobile-version/movie/*/*
Disallow: /mobile-version/movie-*/*
Disallow: /mobile-version/year/*/*
Disallow: /mobile-version/year-*/*
Disallow: /mobile-version/genre/*/*
Disallow: /mobile-version/genre-*/*
Disallow: /mobile-version/country/*/*
Disallow: /mobile-version/country-*/*
Disallow: /mobile-version/director/*/*
Disallow: /mobile-version/director-*/*
Disallow: /mobile-version/actor/*/*
Disallow: /mobile-version/actor-*/*
Disallow: /mobile-version/search
Disallow: /mobile-version/*?sorting*
Disallow: /mobile-version/*?tag*
Disallow: /mobile-version/*?q*
Disallow: /mobile-version/*?random*
Disallow: /mobile-version/*?PageSpeed*
Disallow: /mobile-version/*?desktop*
Disallow: /mobile-version/*?year*
Disallow: /mobile-version/*?genre*
Disallow: /mobile-version/*?country*
Disallow: /mobile-version/iframe
Disallow: /mobile-version/noindex
Disallow: /tv-version
Disallow: /admin*
 
Регистрация
15 Дек 2017
Сообщения
5,067
#11
Зайдите в Я.Вебмастере в раздел с анализом robots.txt и проверьте, видит бот его или нет.
 
Регистрация
15 Дек 2017
Сообщения
5,067
#13
Доступен значит.
Там еще есть инстумент проверки, какие страницы сайта разрешены индексировать, а какие нет.
Тоже можно провести анализ.
 
Новичо́к, через «о́»
Регистрация
7 Янв 2021
Сообщения
77
#16
@Alisa, а почему с https:// гугл сайт находит и инфа есть, а без информация скрыта?
 
Похожие темы Раздел Ответов Дата
Контент 0