ScrappasBot

ScrappasBot, Scrappas içerik izleme hizmetinin web tarayıcısıdır. Yayımlanan içeriği (RSS/Atom akışları, site haritaları ve sayfalar) kurumsal içerik analizi için toplar. Sayfa başlığı, yayın tarihi ve metin saklanır; kişisel veri toplanmaz, form doldurulmaz, oturum açılmaz.

Davranış

• robots.txt ve Crawl-delay kurallarına uyar.
• Aynı siteye eşzamanlı istek sayısı sınırlıdır ve istekler arasında bekleme uygulanır.
• Erişilemeyen bir kaynak artan aralıklarla yeniden denenir, ısrarla hata veren kaynak izlemeden çıkarılır.
• If-None-Match / If-Modified-Since ile değişmeyen sayfaları yeniden indirmez.

Erişimi kapatmak için

User-agent: ScrappasBot
Disallow: /

User-Agent

Mozilla/5.0 (compatible; ScrappasBot/0.2; +https://scrappas.asveas.com/bot)

İletişim: bot@asveas.com