Webkruiper: Verskil tussen weergawes

Vir eienaars en administrateurs van webwerwe is metodes beskikbaar gestel om die gedrag van webkruipers te beïnvloed. So kan in die wortel (Engels: ''root'') van 'n webwerf 'n tekslêer namens 'robots.txt' geplaas word, wat beperkings vir webkruipers voorskryf. Daar kan aangegee word watter dele van die webwerf deur bepaalde webkruipers ''nie'' besoek mag word nie. 'n Goeie webkruiper sal dus voor dit 'n webwerf bekruip, eers hierdie lêer opsoek en kyk of daar enige toepaslike beperkings aangegee word.<ref>Sien byvoorbeeld die tekslêer [http://nl.wikipedia.org/robots.txt robots.txt] van Wikipedia.</ref>

 

 

== Voetnotas ==