Forskellige former for sejlads kan vanskeliggøre eller helt stoppe den indeksering af området, især de materialer af dit websted. Bots søgemaskiner ignorere internettet, stole på linkstrukturen af websteder for at finde nye sider og scanne dem, der kan ændres. Om link-struktur og et stort indlejringsniveau navigation på webstedet med en lille mængde af unikke indhold, kan være et problem for en god indeksering site. Mulige problemer for bots i indeksering site: * URL-adresse med 2 eller flere dynamiske parametre, dvs (edderkopper kan ikke kravle ikke simpel URL-adresse, er det fordi de undertiden føre til problemer med automatiserede gennemgangen) * Sider med mere end 100 unikke links til forskellige ressourcer af webstedet (edderkopper kan ikke komme rundt i dem alle) * Artikler i mere end 3 klik fra rodwebstedet (hvis der er mange andre udgående links, edderkopper ofte glip af intern side) * Ressourcer fra "Session ID" eller Cookie navigation struktur * Ressourcer Framed * Ressourcer kun er tilgængelige via formularen og trykke på * Sider, der kræver en drop down menu (HTML egenskab) for at få adgang * Sider kun er tilgængeligt via søgning * Låst Page (forbudt at indeksregulering) specifikt (ved hjælp af meta-tag eller fil robotter) * Dokumenter, der kræver et login (indgangen til den lukkede del af anlægget) * Sider med omdirigering (kalder det tilsløring søgemaskinerne, for at dette sker og sanktioner) til at indeksere websted og dets indhold var helt scannet bør organisere direkte links til hver side, der skal indekseres, søgemaskine bot. Hvis en side ikke er tilgængelig fra hjemmesiden (hvor de fleste af robotter kan begynde indeksering), er det sandsynligt, at disse sider ikke bliver indekseret i søgemaskiner. Og endnu, vil sitemap helt sikkert hjælpe med at indeksere webstedet.