Webkruiper: Verskil tussen weergawes

Content deleted Content added
JCBrand (besprekings | bydraes)
No edit summary
JCBrand (besprekings | bydraes)
No edit summary
Lyn 1:
'n '''''Webkruiper''''' (Engels: ''webcrawler'' of ''spider'') is 'n sagteware robot wat die [[Wêreldwye web|wêreldwyde web]] op 'n metodiese en geoutomatiseerde manier deurblaai. Webkruipers maak gewoonlik 'n lokale kopie van die gevindeopgeroepte bladsye om hulle sodoende later te kan verwerk, soos byvoorbeeld om hulle te indekseer vir [[Soekenjin|soekenjins]].
 
Die wekswyse is eenvoudig: die webkruiper begin met 'n lys van [[URL]] addresse en besoek hulle een vir een, waarby ál die [[Skakel|webskakels]] wat in die besoekte bladsye voorkom ook aan die lys van addresse toegevoeg word. Op dié wyse kan 'n webkruiper feitlik alle toeganklike bladsye op die internet besoek.
Lyn 5:
Webkruipers kan bladsye baie vinniger as mense opvra en verwerk, en dit is dus belangrik dat hulle hulself gedra sodat hulle nie die webbedieners wat die webblaaie beskikbaarstel oorlaai nie. Die meeste webkruipers neem die moeite om bladsye van een webbediener nie almal ágter mekaar op te vra maar om hulle oor 'n tydsbestek te versprei om sodoende te verhoed dat die betreffende [[webbediener]] oorlaai word.
 
== Robotte seRobots.txt ==
Vir eienaars en administrateurs van webwerwe is metodes beskikbaar gestel om die gedrag van webkruipers te beïnvloed. So kan in die wortel (Engels: ''root'') van 'n webwerf 'n tekslêer namens 'robots.txt' geplaas word, wa beperkings vir webkruipers voorskryf. Daar kan aangegee word watter dele van die webwerf deur bepaalde webkruipers ''nie'' besoek mag word nie. 'n Goeie webkruiper sal dus voor dit 'n webwerf bekruip, eers hierdie lêer opsoek en kyk of daar enige toepaslike beperkings aangegee word.<ref>Sien byvoorbeeld die tekslêer [http://nl.wikipedia.org/robots.txt robots.txt] van Wikipedia.</ref>