問(wèn)：我網(wǎng)站最近連續(xù)多天百度蜘蛛突然不來(lái)抓取爬行，去百度站長(zhǎng)工具查看抓取異常有服務(wù)器錯(cuò)誤返回5XX、服務(wù)器拒絕訪問(wèn)返回403、頁(yè)面不存在404和其他各類(lèi)4XX錯(cuò)誤。請(qǐng)幫忙排查處理。之前曾經(jīng)設(shè)置過(guò)http301跳轉(zhuǎn)https，不知道是不是這個(gè)操作中產(chǎn)生了什么意外？,服務(wù)器訪問(wèn)錯(cuò)誤和拒絕

答：您好

問(wèn)：首頁(yè)是沒(méi)有問(wèn)題的。 我看過(guò)之前的網(wǎng)站日志，有問(wèn)題的是眾多內(nèi)頁(yè)和http跳轉(zhuǎn)https導(dǎo)致的。

答：您好：
請(qǐng)?jiān)谙抡鹃L(zhǎng)平臺(tái)模擬抓取試一下，并截圖反饋到本工單，我司將根據(jù)反饋的信息分析處理，非常感謝您長(zhǎng)期對(duì)我司的支持！

問(wèn)：

答：您好：

問(wèn)：

答：您好，我們查看了網(wǎng)站本身是正常的，我們查看您的https訪問(wèn)是有異常的，您網(wǎng)站內(nèi)部加載好http，提示有風(fēng)險(xiǎn)，不確認(rèn)是不是因?yàn)檫@個(gè)原因會(huì)影響抓取，請(qǐng)您先檢查下網(wǎng)站內(nèi)部加載，把調(diào)用http的圖片地址都改成https，修改以后過(guò)一會(huì)再抓取試下,非常感謝您長(zhǎng)期對(duì)我司的支持!

問(wèn)：從您截圖的信息看，是不是說(shuō)把我內(nèi)部的圖片鏈接全部從http改為https就可能解決問(wèn)題？

答：您好，不能確定是不是這個(gè)問(wèn)題，但現(xiàn)在最起碼您網(wǎng)站確實(shí)有這個(gè)問(wèn)題，訪問(wèn)也不友好，您修改后過(guò)一會(huì)再去抓取診斷看看,非常感謝您長(zhǎng)期對(duì)我司的支持!

問(wèn)：我查看到自己內(nèi)頁(yè)https://www.jiadunfood.com/cat-products/ 中有一些是http的鏈接，例如http://www.jiadunfood.com/cat-rusuanjun/31047.html 打開(kāi)后雖然能自動(dòng)跳轉(zhuǎn)為https，但是經(jīng)過(guò)工具查詢反饋是403（forbidden request）.會(huì)不會(huì)是因?yàn)樯弦粋€(gè)工單您幫我做過(guò)http跳轉(zhuǎn)https規(guī)則有問(wèn)題？  我這邊聯(lián)絡(luò)過(guò)網(wǎng)站程序商也幫我做過(guò)一次跳轉(zhuǎn)，怕是重復(fù)沖突了吧？  

答：您好，鏈接的狀態(tài)是301的，并非403，您那個(gè)檢測(cè)應(yīng)該是說(shuō)https://www.jiadunfood.com/cat-products/ 這個(gè)鏈接里面加載的http狀態(tài)是403，https本身加載http就是會(huì)被認(rèn)為不安全，所以才會(huì)讓您將鏈接全部跳轉(zhuǎn)為https。
另外關(guān)于百度抓取的問(wèn)題，我們后續(xù)做了測(cè)試，發(fā)現(xiàn)是百度自己的問(wèn)題，我們測(cè)試了一些我們員工自己的網(wǎng)站，發(fā)現(xiàn)也是提示抓取socket錯(cuò)誤，包括服務(wù)器在其他公司的網(wǎng)站，也都有這個(gè)提示，所以抓取的問(wèn)題應(yīng)該是百度自身的問(wèn)題，建議過(guò)一段時(shí)間再查看,非常感謝您長(zhǎng)期對(duì)我司的支持!

問(wèn)：感謝您的熱心解答，我已經(jīng)處理掉內(nèi)部http。我觀察網(wǎng)站日志，發(fā)現(xiàn)搜索引擎蜘蛛爬行的url居然是很多個(gè)重復(fù)域名組成的！會(huì)不會(huì)是301重定向發(fā)生了錯(cuò)誤？如果跳轉(zhuǎn)后的鏈接超長(zhǎng)或者連續(xù)跳轉(zhuǎn)的次數(shù)太多，就會(huì)發(fā)生重定向錯(cuò)誤而導(dǎo)致蜘蛛抓取失敗。

答：您好，301是正常的，本身如果是從http訪問(wèn)進(jìn)來(lái)的，會(huì)通過(guò)301跳轉(zhuǎn)到https
截圖中出現(xiàn)多個(gè)url的情況，我司通過(guò)模擬搜索引擎訪問(wèn)并未查看到此情況，建議是再觀察幾天搜索引擎的抓取情況，非常感謝您長(zhǎng)期對(duì)我司的支持!





猜你還會(huì)喜歡下面的內(nèi)容

• 網(wǎng)站為什么打開(kāi)正常，百度跳轉(zhuǎn)成非正規(guī)網(wǎng)站
• 你好，網(wǎng)站開(kāi)通一下MP4的流媒體播放功能
• MySQL 外網(wǎng)地址無(wú)法訪問(wèn)
• 登錄顯示不出來(lái)驗(yàn)證碼-虛擬主機(jī)/數(shù)據(jù)庫(kù)問(wèn)題
• 顯示連接數(shù)據(jù)庫(kù)失敗是什么原因
• dfcmotor168 的虛擬主機(jī)請(qǐng)刪除備案碼
• FTP賬號(hào)：里面的文件誤刪了還能恢復(fù)嗎
• 新開(kāi)的主機(jī)，怎么顯示空間已經(jīng)占滿了？
• 云數(shù)據(jù)庫(kù) 訪問(wèn)很慢-虛擬主機(jī)/數(shù)據(jù)庫(kù)問(wèn)題
• 無(wú)法正常php程序-虛擬主機(jī)/數(shù)據(jù)庫(kù)問(wèn)題
• mssql數(shù)據(jù)庫(kù)鏈接問(wèn)題
• gdztgc.com這個(gè)站是綁定哪個(gè)主機(jī)？
• 香港體驗(yàn)主機(jī)網(wǎng)站程序已經(jīng)上傳
• 怎么發(fā)短信說(shuō)沒(méi)有解析你們服務(wù)器是什么問(wèn)題。
• 上傳網(wǎng)站文件失敗-虛擬主機(jī)/數(shù)據(jù)庫(kù)問(wèn)題
• dghaifa服務(wù)器設(shè)置了index.html為首頁(yè)，還是打

熱門(mén)標(biāo)簽

其他問(wèn)題云服務(wù)器問(wèn)題域名及賬戶問(wèn)題企業(yè)郵局市場(chǎng)咨詢云服務(wù)器云建站/云站群/小程序虛擬主機(jī)網(wǎng)絡(luò)知識(shí)企業(yè)郵箱域名注冊(cè)域名備案域名商標(biāo)注冊(cè)云主機(jī)更多標(biāo)簽...

大家感興趣的內(nèi)容