Fresh Crawl, Deep Crawl und Google Everflux
In grauer Vorzeit, vor dem sogenannten Google Dance-Update im Mai 2003 war das Indizierungsverhalten von Google zweigeteilt. Es gab den Fresh Crawl und den Deep Crawl.
Deep und Fresh Crawl
Der Deep Crawl fand ungefähr einmal im Monat statt. Aufgabe dieses Crawls war das Finden von neuen Inhalten. Der Fresh Crawl verhielt sich deutlich anders. Er fand etwa täglich statt und besuchte ausgewählte Seiten, die bereits im Index der Suchmaschine waren. Ziel war es, neue Seiten schnell in die Suchergebnisse zu bringen. Die neu gefundenen Seiten wurden jedoch nicht in den Index der Suchmaschine aufgenommen. Erst beim nächsten Deep Crawl wurde dies nachgeholt.
Google Everflux
Im Jahr 2003 hat Google dieses System aufgegeben und durch eine kontinuierliche Indizierung, den sogenannten Google Everflux, ersetzt. Es handelt sich praktisch um ein kontinuierliches Fresh Crawling, wobei die Ergebnisse direkt in den Index übernommen werden. Durch diese ständige Indizierung befinden sich die Suchergebnisseiten in einem ständigen Fluss. Viele Platzierungsänderungen auch innerhalb weniger Stunden sind so möglich.