另一方面，Robots.txt 是一個放置於網站根目錄的純文字檔，用來告訴搜尋引擎機器人哪些頁面可以抓取、哪些不行。這對於保護敏感資料、避免重複內容影響排名，以及節省爬蟲資源具有重大意義。

正確使用 Sitemap 和 Robots.txt 不僅有助於提升搜尋引擎友好度，也能優化網站的整體曝光率與訪問效率。因此，網站管理者應重視這兩項基本設定，以促進網站的長期成長與網路能見度。