robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

Įrankis veikia tiesiogiai naršyklėje ir yra paruoštas greitai patikrinti neįdiegiant programinės įrangos.
Įvestis gali būti nedelsiant išvalyta ir perskaičiuota, o tai naudinga atliekant kartojamas mažas užduotis.
Naudokite viso ekrano režimą, kai reikia daugiau vietos ilgam tekstui, struktūriniams duomenims arba dideliems rezultatų blokams.
Sukurtoje išvestyje yra kopijavimo mygtukai, todėl rezultatus galima pakartotinai panaudoti kode, dokumentuose ar palaikymo pokalbiuose.
Dauguma operacijų yra deterministinės: ta pati įvestis ir parinktys sukuria tą pačią išvestį.
Jei naudojate neskelbtiną turinį, pirmenybę teikite vietiniams naršyklės įrankiams ir peržiūrėkite rezultatą prieš bendrindami jį toliau.