GoodNet.com.ua - качественный хостинг в Украине ( KH-IX | UA-IX )

[kaba]

Итак, вы попали сюда не случайно, так как испытываете туже проблему.
Лекарство:

1) Можно регулировать нагрузку на сервер через robots.txt

Код: Выделить всё

User-agent: Aport
Crawl-delay: 2

где 2 - это число - пауза в секундах между запросами.

2) чтобы запретить обращение паука Aport к сайту
Правильный robots.txt должен выглядеть так:

Код: Выделить всё

User-agent: Aport
Disallow: /