Uppgiften att ta bort enskilda sidor eller hela webbplatsen från sökmotorer står inför en webbansvarig när han ändrar information, byter domän, kombinerar flera resurser och ett antal andra orsaker. Det finns flera sätt att lösa problemet, beroende på önskat resultat.
Instruktioner
Steg 1
Ta bort sidan som ska avindexeras så att servern returnerar ett felmeddelande när den försöker navigera till den valda webbsidan HTTP / 1.1 404 hittades inte. För att tillämpa de valda ändringarna måste du vänta på att roboten ska komma åt önskad sida igen.
Steg 2
Använd robotens rotfil robots.txt för att utesluta valda avsnitt eller sidor från sökmotorindexering. För att förhindra visning av adminpanelen i sökmotorn, använd kommandot: User-Agent: * Diaallow: / admin / Eller, för att utesluta den valda sidan från indexering, ange värdet: User-Agent: * Disallow: / selected_page.html # För att tillämpa ändringarna måste roboten besöka den valda sidan igen.
Steg 3
Använd metataggningsmetoden för att lägga till en regel som anges i HTML-kod till alla nödvändiga sidor: Detta är nödvändigt för att utesluta oönskade sidor från sökmotorn.
Steg 4
Välj en metod för att skapa X-Robots-Tag för att införa kommandon i http-rubriken som inte visas i sidkoden: X-Robots-Tag: noindex, nofollow Denna metod är mest användbar för att utesluta valda sidor eller sektioner från indexering av utländska sökmotorer.
Steg 5
Använd en speciell webmaster-kontrollsida i Yandex: https://webmaster.yandex.ru/deluri.xml eller på Google: https://www.google.com/webmasters/tools. Detta görs för att förhindra visning av önskad sida, sektion eller hela webbplatsen i den valda sökmotorn.
