Daha önce arama motorlarının web sayfalarını bazı programlar ile gezerek, buldukları web sayfalarını indekslediklerinden söz etmiştik. Bu aşamada ise meseleyi biraz daha detaylandırmaya çalışacağız ve Google yapısından biraz bahsedeceğiz…
Arama motorları milyonlarca siteyi bulmak, incelemek ve onları bir kategoride sıralamak için Türkçe karşılığı örümcek olan ve genellikle sitelerde Google botları diye duyacağınız programlar sayesinde binlerce siteye girer ve yazılan programın algoritmasına göre örümcekler sitenizden kendine göre önemli olan bilgileri toplar ve kendi datalarından bir sıralamaya sokarlar. Yani Google botlarının sitenizde önemsediği etkenler ile Yahoo botlarının sitenizdeki kriterleri farklıdır.Sonuç olarak bütün arama motorları botlarının Yapısal olarak üç evreden oluştuğunu belirterek başlayalım. Bunlar; tarama, indeksleme ve sıralamadır.
