發布于 2018-01-20 12:36:50 541次瀏覽, 若為非敏感信息,則可以使用 robots.txt 阻止不必要的抓取,“robots.txt”文件會告訴搜索引擎它們是否可以訪問您網站的各個部分并執行抓取。此文件必須命名為“robots.txt”,且應位于網站的根目錄下。被 robots.txt 阻止的網頁也可能會被抓取,因此您應使用更安全的方法保護敏感網頁。,Google官方robots.txt系列(1):

Robots.txt 并不是一個適當或有效的方式。它只會告知運行良好的抓取工具不要抓取相應網頁,卻不會阻止您的服務器將這些網頁發送給請求它們的瀏覽器。其中一個原因是:如果互聯網上的某處(例如引薦來源網址日志)恰好存在指向這些被禁止訪問的網址的鏈接,那么搜索引擎仍然能夠引用這些網址(僅顯示網址,但不顯示標題或摘要)。此外,未同意遵守《漫游器排除標準》的不合規搜索引擎或流氓搜索引擎可能會違反您的 robots.txt 文件中的指令。最后,用戶可能會出于好奇查看您的 robots.txt 文件中的目錄或子目錄,并猜測您不想被看見的內容的網址。,在這些情況下,如果您只是希望網頁不顯示在 Google 中,則可使用 noindex 標記,無需擔心任何用戶會通過鏈接訪問該網頁。然而,為了做到真正的安全,您應該使用合適的授權方法(例如需要用戶密碼才能訪問)或將網頁從網站上徹底移除。,Google官方robots.txt系列(2):
,轉載請注明: 愛推站 ? Google官方SEO入門指南(3):告訴 Go
|轉載請注明來源地址:蜘蛛池出租 http://m.gzxyxkj.cn/你知道網站關鍵詞該怎么布局嗎?
專注于SEO培訓,快速排名黑帽SEO https://www.heimao.wiki