Що таке «semalt.com» і як його заблокувати?

Останнім часом багато веб-майстрів, переглядаючи статистику, стали помічати відвідування з semalt.com. Я теж недавно виявив цього "гостя" на одному зі своїх сайтів.

Що таке «semalt.com» і чи варто з ним боротися?

Так що ж це таке? Сервіс «semalt.com» — ніщо інше, як SEO-аналізатор сайтів, причому його послуги платні. Боти «semalt.com» відвідують ваш сайт і збирають статистику для аналізу.

Чи небезпечний «semalt.com»? – Ні, він не є небезпечним! Всупереч поширеній в мережі думці, сервіс «semalt.com» не становить небезпеки для вашого сайту; однак і користі від нього теж ніякої немає — він тільки навантажує ваш сайт, "їсть" трафік та збиває статистику. Тому «semalt.com» краще заблокувати.

Як заблокувати «semalt.com» і заборонити йому доступ до ваших сайтів?

Як вже було написано вище, для сервісу «semalt.com» бажано заблокувати доступ до вашого сайту. Нижче представлені способи блокування «semalt.com».

Спосіб блокування «semalt.com» за допомогою .htaccess

Щоб заблокувати «semalt.com» доступ до вашого сайту, в файл .htaccess пропишіть наступні правила:

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt.semalt.com.*$[NC]
RewriteRule .* http://semalt.com [L]

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?crawler.semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]

За допомогою цих правил ви заблокуєте ботів «semalt.com», «semalt.semalt.com», «crawler.semalt.com».

Також у файлі .htaccess можна прописати й такий код:

SetEnvIfNoCase Via evil-spam-proxy spammer=yes
SetEnvIfNoCase Referer evil-spam-domain.com spammer=yes
SetEnvIfNoCase Referer evil-spam-keyword spammer=yes
SetEnvIfNoCase Via pinappleproxy spammer=yes
SetEnvIfNoCase Referer semalt.com spammer=yes
SetEnvIfNoCase Referer poker spammer=yes

Order allow,deny
Allow from all
Deny from env=spammer

Виключити свій сайт зі списку відвідуваних сервісом «semalt.com» сайтів

Сервіс «semalt.com» надає можливість веб-майстрам видалити свої сайти з його бази. Зробити це можна за адресою: http://semalt.com/project_crawler.php.

Аналогічна ситуація може виникнути з сервісом «tnwbill.com». Інструкції по боротьбі з ним такі ж, як і з «semalt.com».