Как правильно настроить блокировку по ГЕО через GeoLite?

Енот
Новичек
Регистрация
17 Янв 2018
Сообщения
100
#1
Настроил блокировку по Гео через nginx и geolite. Отличная штука, теперь наконец-то отвалились многочисленные клоны моего сайта, которые парсили его через американские прокси. Но возникла проблема - ГуглБот теперь тоже не видит сайт. Разблокировать Америку в конфиге не вариант - опять заработают клоны. Что можно добавить в конфиг, чтобы блокировать USA, но разрешать определенные IP оттуда (ГуглБот)?
 
Енот
Новичек
Регистрация
17 Янв 2018
Сообщения
100
#2
UPD: Разобрался. Добавляем US в список разрешенных. Затем в конфиге nginx делаем такую логику: создаем переменную $google в секции http и присваиваем ей значение default 0; Вписываем диапазон ip гуглобота и присваиваем айпишникам значение 1. Теперь в секции server конфига хоста добавляем переменную set $block_us 0; и условие if ($geoip_country_code = US) { set $block_us 1; }. Потом условие if ($google = 1){ set $block_us 0; } и делаем запрет всему US кроме айпишников гугла: if ($block_us = 1) {return 444;}. Вроде все ОК, если юзер имеет регион США но не имеет айпи гугла, сайт он не увидит. Заранее сорри за быдлокод, я только учусь. Если есть более удобный и простой вариант, просьба разработчикам отписаться.
 
Енот
Новичек
Регистрация
17 Янв 2018
Сообщения
100
#3
Хочу задать вопрос в продолжении темы, ибо для моего сайта эта тема больная: сайт-скраппер ранжируется в Гугл уже выше, чем мой. Т.е. Гугл уже думает, что мой сайт - это зеркало клона! Если блокировать ip по гео, то это выход, но, как оказалось не совсем верный - отвалилось много пауков Гугла, при этом добавить их все в вайт-лист нереально. Что имеем сейчас: простенькие сайты-клоны, которые зеркалят мой сайт я забанил по IP. А вот что мне делать с теми, кто зеркалит через динамические прокси? Т.е. все их IP отследить и забанить нереально - их сотни, если не больше. При этом каким-то образом зеркалу удалось обойти протокол Https! Т.е. мой сайт только на https, а сайт-зеркало на Http и спокойно проксирует в реальном времени мой контент. Выход есть? Или это фиаско?
 
Думает, что помогает
Регистрация
15 Дек 2017
Сообщения
1,772
#4
Клоны делаются через DNS? Покажите клон.