Indexering är processen för att skanna filer som finns på en internetresurs av en sökrobot. Denna procedur utförs så att webbplatsen är tillgänglig i sökresultaten för olika frågor i sökmotorn. Bland de största sökmotorerna idag är Yandex, som utför denna skanning på sitt eget sätt.
Instruktioner
Steg 1
Indexeringen av webbplatsen utförs av speciella automatiska program - sökrobotar, som automatiskt spårar utseendet på nya webbplatser på Internet, ständigt skannar internetsidor på Internet, filer och länkar till dem på varje resurs.
Steg 2
För att skanna går roboten till katalogen där resursen finns på en viss server. När du väljer en ny webbplats styrs roboten av dess tillgänglighet. Till exempel finns det en åsikt att Yandex först genomsöker webbplatser som skapats på en rysskspråkig domän och på ryska - ru, rf, su eller ua, och först sedan flyttar till andra regioner.
Steg 3
Roboten navigerar till webbplatsen och genomsöker dess struktur och letar först efter filer som indikerar ytterligare sökning. Till exempel skannas en webbplats efter Sitemap.xml eller robots.txt. Dessa filer kan användas för att ställa in sökrobotens beteende vid skanning. Med hjälp av webbplatskartan (sitemap.xml) får roboten en mer exakt uppfattning om resursens struktur. Webmastern använder robots.txt för att definiera filer som han inte vill att ska visas i sökresultaten. Det kan till exempel vara personlig information eller annan oönskad information.
Steg 4
Efter att ha skannat dessa två dokument och fått de nödvändiga instruktionerna börjar roboten analysera HTML-koden och bearbeta de mottagna taggarna. I avsaknad av en robots.txt-fil börjar sökmotorn som standard att bearbeta alla dokument som är lagrade på servern.
Steg 5
Genom att klicka på länkar i dokument får roboten också information om andra webbplatser som står i kö för skanning efter denna resurs. De skannade filerna på webbplatsen sparas som en textkopia och struktur på servrar i Yandex-datacenter.
Steg 6
Behovet av omskanning bestäms också automatiskt av robotar. Programmet jämför det befintliga skanningsresultatet med den uppdaterade versionen av webbplatsen när den går igenom indexeringen igen. Om data som mottas av programmet skiljer sig, uppdateras webbplatskopian också på Yandex-servern.
