Sökmotorroboten ansvarar för genomsökning av webbsidor. Programmet läser automatiskt data från alla webbplatser och registrerar dem i en form som är förståelig för själva sökmotorn, så att systemet senare visar de mest lämpliga resultaten för användaren.
Funktioner
All indexerad information registreras i en gemensam databas.
En sökrobot är ett program som automatiskt färdas genom Internet-sidorna, begär nödvändiga dokument och tar emot strukturen på genomsökta webbplatser. Roboten väljer självständigt vilka sidor som ska skannas. I de flesta fall väljs slumpmässigt webbplatser slumpmässigt.
Bottyper
En felaktigt fungerande robot ökar belastningen på nätverket och servern avsevärt, vilket kan orsaka att resursen inte är tillgänglig.
Varje sökmotor har flera program som kallas robotar. Var och en av dem kan utföra en specifik funktion. Till exempel på Yandex är vissa robotar ansvariga för att skanna RSS-nyhetsflöden, vilket kommer att vara användbart för indexering av bloggar. Det finns också program som bara söker efter bilder. Det viktigaste är dock indexeringsboten, som utgör grunden för varje sökning. Det finns också en snabb snabbrobot som är utformad för att söka efter uppdateringar om nyhetsflöden och händelser.
Skanningsprocedur
Ett annat sätt att förhindra genomsökning av innehåll är att skapa åtkomst till webbplatsen via registreringspanelen.
När du besöker webbplatsen skannar programmet filsystemet efter förekomst av robots.txt instruktionsfiler. Om det finns ett dokument börjar läsningen av de direktiv som skrivs i dokumentet. Robots.txt kan förbjuda eller omvänt tillåta skanning av vissa sidor och filer på webbplatsen.
Skanningsprocessen beror på programtyp. Ibland läser robotar bara sidtitlarna och några stycken. I vissa fall görs skanning i hela dokumentet beroende på HTML-markeringen, vilket också kan fungera som ett medel för att ange nyckelfraser. Vissa program är specialiserade på dolda eller metataggar.
Lägger till i listan
Varje webbansvarig kan förhindra att sökmotorn genomsöker sidor genom robots.txt eller META-taggen. Webbplatsskaparen kan också manuellt lägga till webbplatsen i indexeringskön, men att lägga till den betyder inte att roboten genast genomsöker den önskade sidan. För att lägga till en webbplats i kön tillhandahåller sökmotorer också speciella gränssnitt. Att lägga till en webbplats påskyndar indexeringsprocessen avsevärt. För snabb registrering i en sökmotor kan även webbanalyssystem, webbplatskataloger etc. användas.
