Robots.txt
Robots.txt er en tekstfil, som ligger i roden af en hjemmeside, og den fungerer som en vejledning for søgemaskinens crawlers (robotter), der besøger siden. Denne fil instruerer crawlers om, hvilke sider eller sektioner af hjemmesiden de må eller ikke må indeksere. Robots.txt er et vigtigt værktøj for webmasters til at kontrollere og optimere, hvordan deres […]