發布于 2018-01-20 12:36:51 670次瀏覽,Google官方robots.txt系列(2)：
robots.txt 文件位于您網站的根目錄下，用于表明您不希望搜索引擎抓取工具訪問您網站上的哪些內容。此文件使用的是 漫游器排除標準，該標準是一種內含一小組命令的協議，可依照網站各部分和特定的網頁抓取工具類型（例如移動版抓取工具與桌面版抓取工具），表明可訪問的網站內容。,對于非圖片文件（即網頁），您應僅將 robots.txt 用于控制抓取流量，因為通常情況下您不會希望 Google 抓取工具造成您的服務器超負荷，或是將抓取預算浪費在抓取您網站上不重要或相似的網頁上。
如果您不想讓自己的網頁顯示在 Google 搜索結果中，請不要將 robots.txt 用作隱藏網頁的方法。 這是因為其他網頁可能會指向您的網頁，導致我們將您的網頁編入索引，而讓 robots.txt 文件失去效用。如果您想從搜索結果中屏蔽自己的網頁，請使用其他方法，例如密碼保護或 noindex 標記或指令。,robots.txt 可以阻止圖片文件出現在 Google 搜索結果中（不過它不會阻止其他網頁或用戶鏈接到您的圖片）。,如果您認為加載網頁時跳過不重要的圖片、腳本或樣式文件等資源并不會造成太大影響，那么您可以使用 robots.txt 來屏蔽這些資源文件。不過，如果缺少這些資源會增加 Google 抓取工具在分析網頁方面的難度，則建議您不要屏蔽這些資源，否則 Google 將無法正確分析需要依賴這些資源的網頁。,在創建你知道網站關鍵詞該怎么布局嗎？
robots.txt 之前，您應該了解這種網址屏蔽方法的潛在風險。有時候，您可能需要考慮采用其他機制來確保搜索引擎無法在網絡上找到您的網址。,注意：結合使用多種抓取和索引編制指令可能會導致某些指令與其他指令沖突。請參閱 Google Developers 文檔的 “結合使用抓取指令和索引編制/內容提供指令”部分，了解如何正確配置這些指令。,
,轉載請注明: 愛推站 ? Google官方robots.txt系列(1)：
|轉載請注明來源地址：蜘蛛池出租 http://m.gzxyxkj.cn/如何選擇域名更有利于SEO
專注于SEO培訓，快速排名黑帽SEO https://www.heimao.wiki