抓取診斷工具常見錯誤類型解析
2021-7-10 閱讀數(shù)：9043
什么是抓取診斷呢？這對于熟悉的SEOER來說比較熟悉，可以讓站長從百度蜘蛛的視角查看抓取內(nèi)容，自助診斷百度蜘蛛看到的內(nèi)容，和預期是否一致。每個站點每周可使用70次，抓取結(jié)果只展現(xiàn)百度蜘蛛可見的前200KB內(nèi)容。接下來的內(nèi)容濰坊網(wǎng)站建設簡單介紹一下，抓取診斷工具常見錯誤類型解析。
1，【url規(guī)范】
百度支持抓取的url長度不超過1024，如果您的鏈接長度過長，請在保證正常訪問的情況下，適當精簡，保證鏈接能被百度正常抓取和收錄。
2，【重定向錯誤】
重定向是指百度spider訪問鏈接時發(fā)生了跳轉(zhuǎn)，如果跳轉(zhuǎn)后的鏈接超長或者連續(xù)跳轉(zhuǎn)的次數(shù)超過5次，就會發(fā)生重定向錯誤而導致抓取失敗。
3，【服務器連接錯誤】
這種情況是指，由于服務器響應過慢或您的網(wǎng)站屏蔽了百度spider，而導致百度無法訪問您的網(wǎng)站。從而會導致百度無法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯誤：連接超時、連接失敗、連接被拒、無響應、響應遭到截斷、連接重置、標頭遭到截斷、超時。
4，【robots封禁問題】
在抓取診斷工具中如果返回的抓取失敗結(jié)論是robots封禁，請確認您是否對該網(wǎng)址設置了robots，阻止百度spider抓取網(wǎng)站的某些內(nèi)容，如果您未使用robots文件屏蔽百度，請點擊旁邊的報錯鏈接，百度會立即更新您站點的robots信息；如果是您的誤操作導致了封禁，請及時修改robots文件，避免造成您的網(wǎng)站在百度收錄量和流量的下降。
5，【DNS問題】
DNS錯誤是指由于服務器停止運行或DNS到您網(wǎng)域的路由存在問題，導致百度spider無法與DNS服務器通信。
6，【404錯誤】
一般情況下，當百度spider訪問到不存在的網(wǎng)頁（因為您刪除或重命名了網(wǎng)頁且沒有將舊網(wǎng)址重定向到新網(wǎng)頁，或者鏈接中存在拼寫錯誤）時，就會出現(xiàn)“未找到”狀態(tài)錯誤（通常是404 HTTP狀態(tài)代碼）。
