站長在查看網站日志,分析搜索引擎蜘蛛抓取過程中,經常會遇到一些莫名其妙的IP,這些怪異的行為也讓很多站長出現困惑。比如你還沒有發布網站信息,但日志中就顯示在發布之前已經抓取訪問過,再比如一些IP是無法查詢到準確來路等等。
而出現這種情況,首先需要了解什么是真假蜘蛛。搜索引擎蜘蛛的真偽,是相對來說,通常來自搜索引擎的蜘蛛,是站長優化網站的依據,然而很多采集程序,站長工具的抓取是模仿蜘蛛的抓取。那如何判斷網站搜索引擎蜘蛛的真假呢?
在查看網站常用日志的工具【加錨文本】中我們有提到金花站長工具,使用此工具可以將真假蜘蛛分辨出來,但是無法從根本上發現它為什么是假蜘蛛。在Windows操作系統中,用Dos窗口tracert可以準確查看。
220.181.68.*每天這個IP 段只增不減很有可能進沙盒或K站。220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,準備抓取你東西。121.14.89.*這個ip段作為度過新站考察期。203.208.60.*這個ip段出現在新站及站點有不正?,F象后。210.72.225.*這個ip段不間斷巡邏各站。125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分,是新上線站較多,還有使用過站長工具,或SEO綜合檢測造成的。
220.181.108.95這個是百度抓取首頁的專用IP,如是220.181.108段的話,基本來說你的網站會天天隔夜快照,絕對錯不了的,我保證。220.181.108.92 同上98%抓取首頁,可能還會抓取其他 (不是指內頁)220.181段屬于權重IP段此段爬過的文章或首頁基本24小時放出來。123.125.71.106 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。220.181.108.91屬于綜合的,主要抓取首頁和內頁或其他,屬于權重IP 段,爬過的文章或首頁基本24小時放出來。
220.181.108.75重點抓取更新文章的內頁達到90%,8%抓取首頁,2%其他。權重IP 段,爬過的文章或首頁基本24小時放出來。220.181.108.86專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。123.125.71.95 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。123.125.71.97 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。220.181.108.89專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。
220.181.108.94專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。220.181.108.97專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。220.181.108.80專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。220.181.108.77 專用抓首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。123.125.71.117 抓取內頁收錄的,權重較低,爬過此段的內頁文章不會很快放出來,因不是原創或采集文章。220.181.108.83專用抓取首頁IP 權重段,一般返回代碼是304 0 0 代表未更新。
注:以上IP尾數還有很多,但段位一樣的123.125.71.*段IP 代表抓取內頁收錄的權重比較低.可能由于你采集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定)。220.181.108.*段IP主要是抓取首頁占80%,內頁占30%,這此爬過的文章或首頁,絕對24小時內放出來和隔夜快照的,這點我可以保證!123.125.68.*這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了,或被者降權。
220.181.68.*每天這個IP 段只增不減很有可能進沙盒或K站。220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,準備抓取你東西。
經常查看網站日志的站長可以觀察,基本上從命令返回值,可以大概知道在123.125.71.*,220.181.108.* ,這兩個IP段屬于百度蜘蛛的IP。因此,在查看網站日志,可以很快的分辨出哪些是百度蜘蛛抓取的時間,哪些是其他搜索引擎抓取的時間。常見的各搜索引擎蜘蛛IP段如下
一般而言,虛假蜘蛛不會出現太多,當然,如果遇上網站被虛擬IP攻擊,或者被采集,那么如何禁止呢?常見的方法是可以通過百度推廣后臺的禁止IP工具,或者利用服務器的安全防護,可以禁止相關的IP訪問。
評論列表