About

robots.txt 是放在網站根目錄的純文字檔，主要用來告訴搜尋引擎哪些頁面可以或不能被抓取。基本語法如下：

makefile Copy Edit User-agent: * Disallow: /private/ Allow: / 這代表所有爬蟲不能訪問 /private/ 目錄，但其他部分可自由抓取。

sitemap.xml 則是一個 XML 格式的地圖檔，列出網站所有重要頁面，有助於搜尋引擎更有效地索引。你可以用工具如 Yoast SEO、Google Search Console 或手動編寫：

xml Copy Edit

https://example.com/page1 2025-05-01</ last mod > </url> 完成後，請在 robots.txt 中加入 sitemap 位置： arduino Copy Edit Sitemap: https://example.com/sitemap.xml 這樣可提升搜尋引擎效率，有助 SEO 成效。