抓取診斷工具常見(jiàn)錯(cuò)誤類(lèi)型解析
2021-7-10 閱讀數(shù)：9043
什么是抓取診斷呢？這對(duì)于熟悉的SEOER來(lái)說(shuō)比較熟悉，可以讓站長(zhǎng)從百度蜘蛛的視角查看抓取內(nèi)容，自助診斷百度蜘蛛看到的內(nèi)容，和預(yù)期是否一致。每個(gè)站點(diǎn)每周可使用70次，抓取結(jié)果只展現(xiàn)百度蜘蛛可見(jiàn)的前200KB內(nèi)容。接下來(lái)的內(nèi)容濰坊網(wǎng)站建設(shè)簡(jiǎn)單介紹一下，抓取診斷工具常見(jiàn)錯(cuò)誤類(lèi)型解析。
1，【url規(guī)范】
百度支持抓取的url長(zhǎng)度不超過(guò)1024，如果您的鏈接長(zhǎng)度過(guò)長(zhǎng)，請(qǐng)?jiān)诒ＷC正常訪問(wèn)的情況下，適當(dāng)精簡(jiǎn)，保證鏈接能被百度正常抓取和收錄。
2，【重定向錯(cuò)誤】
重定向是指百度spider訪問(wèn)鏈接時(shí)發(fā)生了跳轉(zhuǎn)，如果跳轉(zhuǎn)后的鏈接超長(zhǎng)或者連續(xù)跳轉(zhuǎn)的次數(shù)超過(guò)5次，就會(huì)發(fā)生重定向錯(cuò)誤而導(dǎo)致抓取失敗。
3，【服務(wù)器連接錯(cuò)誤】
這種情況是指，由于服務(wù)器響應(yīng)過(guò)慢或您的網(wǎng)站屏蔽了百度spider，而導(dǎo)致百度無(wú)法訪問(wèn)您的網(wǎng)站。從而會(huì)導(dǎo)致百度無(wú)法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯(cuò)誤：連接超時(shí)、連接失敗、連接被拒、無(wú)響應(yīng)、響應(yīng)遭到截?cái)唷⑦B接重置、標(biāo)頭遭到截?cái)唷⒊瑫r(shí)。
4，【robots封禁問(wèn)題】
在抓取診斷工具中如果返回的抓取失敗結(jié)論是robots封禁，請(qǐng)確認(rèn)您是否對(duì)該網(wǎng)址設(shè)置了robots，阻止百度spider抓取網(wǎng)站的某些內(nèi)容，如果您未使用robots文件屏蔽百度，請(qǐng)點(diǎn)擊旁邊的報(bào)錯(cuò)鏈接，百度會(huì)立即更新您站點(diǎn)的robots信息；如果是您的誤操作導(dǎo)致了封禁，請(qǐng)及時(shí)修改robots文件，避免造成您的網(wǎng)站在百度收錄量和流量的下降。
5，【DNS問(wèn)題】
DNS錯(cuò)誤是指由于服務(wù)器停止運(yùn)行或DNS到您網(wǎng)域的路由存在問(wèn)題，導(dǎo)致百度spider無(wú)法與DNS服務(wù)器通信。
6，【404錯(cuò)誤】
一般情況下，當(dāng)百度spider訪問(wèn)到不存在的網(wǎng)頁(yè)（因?yàn)槟鷦h除或重命名了網(wǎng)頁(yè)且沒(méi)有將舊網(wǎng)址重定向到新網(wǎng)頁(yè)，或者鏈接中存在拼寫(xiě)錯(cuò)誤）時(shí)，就會(huì)出現(xiàn)“未找到”狀態(tài)錯(cuò)誤（通常是404 HTTP狀態(tài)代碼）。
