ScrappasBot

ScrappasBot, yayımlanan içerikleri (RSS/Atom, sitemap ve sayfalar) değişiklik takibi için tarayan bir web tarayıcısıdır. Sayfa başlıkları, tarihler ve içerik özetleri saklanır; kişisel veri toplanmaz.

Davranış

• robots.txt ve Crawl-delay kurallarına uyar.
• Aynı siteye en fazla 2 eşzamanlı istek, istekler arasında en az 1 saniye bekler.
• If-None-Match / If-Modified-Since ile değişmeyen sayfaları yeniden indirmez.

Engellemek için

User-agent: ScrappasBot
Disallow: /

User-Agent

Mozilla/5.0 (compatible; ScrappasBot/0.2; +https://scrappas.asveas.com/bot)

İletişim: bot@asveas.com