Wysiging soos op 11:24, 16 Desember 2015 wysig JCBrand (besprekings \| bydraes) 3 195 edits No edit summary Etiket: Visuele teksverwerker ← Ouer wysiging		Wysiging soos op 13:54, 16 Desember 2015 wysig maak ongedaan Oesjaar (besprekings \| bydraes) Burokrate, Administrateurs 195 668 edits →‎Robots.txt: Tikfout Nuwer wysiging →
Lyn 6: == Robots.txt == Vir eienaars en administrateurs van webwerwe is metodes beskikbaar gestel om die gedrag van webkruipers te beïnvloed. So kan in die wortel (Engels: ''root'') van 'n webwerf 'n tekslêer namens 'robots.txt' geplaas word, wawat beperkings vir webkruipers voorskryf. Daar kan aangegee word watter dele van die webwerf deur bepaalde webkruipers ''nie'' besoek mag word nie. 'n Goeie webkruiper sal dus voor dit 'n webwerf bekruip, eers hierdie lêer opsoek en kyk of daar enige toepaslike beperkings aangegee word.<ref>Sien byvoorbeeld die tekslêer [http://nl.wikipedia.org/robots.txt robots.txt] van Wikipedia.</ref> Sommige webkruipers ignoreer die ''robots.txt'' lêer wat nadelige gevolge vir die besoekte webwef kan inhou. Om dit teen te werk kan mens op 'n webbediener die [[IP-adres\|IP-adresse]] van die betreffende webkruipers blokkeer.

Webkruiper: Verskil tussen weergawes