Возросла нагрузка на сайт из-за паука Aport

Документация о программных продуктах, тематические статьи.
Правила форума
Убедительная просьба быть вежливыми и терпимыми.
Если вы нашли ошибку или какую-то неточность в статье, сообщите нам об этом любым удобным для вас способом.

Возросла нагрузка на сайт из-за паука Aport

Сообщение kaba » 17 фев 2010, 00:16

Итак, вы попали сюда не случайно, так как испытываете туже проблему.
Лекарство:

1) Можно регулировать нагрузку на сервер через robots.txt
Код: Выделить всё
User-agent: Aport
Crawl-delay: 2

где 2 - это число - пауза в секундах между запросами.

2) чтобы запретить обращение паука Aport к сайту
Правильный robots.txt должен выглядеть так:
Код: Выделить всё
User-agent: Aport
Disallow: /
---
Best regards
Ihor R.
GoodNet Ukraine Support Team
goodnet.com.ua
Аватара пользователя
kaba
Site Admin
 
Сообщения: 121
Зарегистрирован: 08 июл 2009, 07:27
Откуда: GoodNet Ukraine

Вернуться в Статьи

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 0

cron