Bir önceki yazımızda Burp Suite içerisinde yer alan ve uygulamanın temel yapı taşı olan Proxy aracından bahsetmiştik. Bu yazımızda da Burp araçlarından Spider’dan bahsedeceğiz.
Spider, bir web crawler dır Bir web sayfası içerisinde yer alan linkleri dolaşarak statik, dinamik web kaynaklarını bulur.
Spider > Control tabında spider’ı başlatıp durdurabilirsiniz.
Spider, linklerin içerisine girdiğinden scope dışına çıkılabiliyor. Yani asıl hedefinizin dışındaki bağlantılarda craw ediliyor ve bunları Target > Sitemap altında gösteriyor. Target > Scope tabında yer alan scope’ı kullanabileceğiniz gibi Custom scope’da belirleyebilirsiniz. İsterseniz Load diyerekten bir dosya içerisinden liste şeklindeki bağlantıları da custom scope ile ekleyebilirsiniz.
Spider > Options altında ise crawler ayarlarınızı yapabilirsiniz. Örneğin derinlik bilgisi önemlidir. Ne kadar alt seviyede link kadar dolaşacağınızı belirleyebilirsiniz.
Linkler içerisinde robots.txt bilgisi dahi olmasa arama motorları için katılmış olan robots.txt’nin olup olmadığını kontrol edilir.
Craw edilen sayfa içerisinde form varsa alanları otomatik doldurup spider ile aksiyon alabilirsiniz.
Sayfa içerisinde giriş yapabileceğiniz giriş formları varsa bunlarıda spider içerisinde tanımlayabilirsiniz.
Crawler’ınızın thread sayısını artırarak hedefi daha hızlı dolaşabilirsiniz. Ancak sisteminizin yeterli kaynakları olduğundan emin olunuz.
Spider ile yapılan isteklerde başlık bilgisi önemli olabilir. Düzenlemeniz gerekebilir. Bunu aşağıdaki gibi yapılandırabilirsiniz.