問:生成sitemap網(wǎng)站抓取鏈接在50個(gè)之后都會(huì)失敗,很多西部數(shù)碼主機(jī)的網(wǎng)站都會(huì)這樣,用百度和阿里主機(jī)的網(wǎng)站抓取都沒有問題,生成工具試了很多都這樣,檢查看什么原因
,生成sitemap網(wǎng)站抓取失敗
答:您好,我司設(shè)置了cc防護(hù),限制了單個(gè)ip10s請(qǐng)求超過50次,正常訪問是不會(huì)達(dá)到這個(gè)頻率的。請(qǐng)調(diào)整您的抓取軟件的頻率,限制到抓取頻率在10s 50以下,抓取生成再試,非常感謝您長期對(duì)我司的支持!
問:能不能取消限制,這個(gè)會(huì)不會(huì)影響百度抓取網(wǎng)站收錄
答:您好,無法取消,對(duì)應(yīng)的設(shè)置不會(huì)影響百度抓取,百度抓取是不會(huì)達(dá)到這個(gè)頻率,這個(gè)頻率屬于非正常訪問,您生成sitemap的時(shí)候請(qǐng)注意限制抓取頻率即可,非常感謝您長期對(duì)我司的支持!
問:生成sitemap根本沒有辦法限制頻率,怎么處理
答:您好,當(dāng)前虛擬主機(jī)都是相關(guān)限制,建議您升級(jí)使用云服務(wù)器,云服務(wù)器環(huán)境可以自行設(shè)置,這樣生成沒有限制,非常感謝您長期對(duì)我司的支持!
問:其他服務(wù)商的虛擬主機(jī)就完全沒有這個(gè)限制,都是能生成地圖的,這個(gè)完全不合理
答:您好,當(dāng)前可以特殊為您處理一下,您將需要進(jìn)行生成sitemap的網(wǎng)站域名回復(fù)到工單中,我司為您添加白名單您抓取再試,同時(shí)設(shè)置后對(duì)應(yīng)的cc防護(hù)就沒有效果了,非常感謝您長期對(duì)我司的支持!
問:難道以后做一個(gè)網(wǎng)站還要提交一次工單?算了,沒意義
答:您好,非常抱歉,默認(rèn)虛擬主機(jī)均開啟CC防護(hù),在高頻訪問的情況下會(huì)觸發(fā)攻擊防護(hù),建議您控制抓取頻率,蜘蛛訪問會(huì)直接通過驗(yàn)證,所以不受影響,非常感謝您長期對(duì)我司的支持!
問: 127.0.0.1:22000這個(gè)服務(wù)器網(wǎng)站比較慢,我看監(jiān)控信息,網(wǎng)絡(luò)帶寬,cpu等都占用比較高,麻煩看下原因
答:您好,我們查看cpu占用并不高,服務(wù)器負(fù)載也不高,是帶寬高,根據(jù)進(jìn)程來看是網(wǎng)站訪問占用的,首頁加載的內(nèi)容比較多,帶寬不夠,建議將帶寬升級(jí)到10M再觀察下,非常感謝您長期對(duì)我司的支持!
問:您好,現(xiàn)在看降下來了,請(qǐng)問用什么命令可以查看?具體怎么查看
答:您好,vnstat -l -i eth0 查看實(shí)時(shí)流量,iftop可以查看當(dāng)前連接流量,nethogs可以查看進(jìn)程流量,非常感謝您長期對(duì)我司的支持!
問:請(qǐng)問一下,會(huì)不會(huì)被攻擊了什么的,比如惡意用程序訪問網(wǎng)站首頁什么的?因?yàn)槲铱粗岸己艿?,今天中午突然變高了,不知道具體什么原因
答:您好,我們之前登陸查看負(fù)載是很低的, 如果有攻擊一般負(fù)載都會(huì)偏高,并且日志里面會(huì)有記錄。您網(wǎng)站首頁加載的內(nèi)容偏多,如果同時(shí)有幾個(gè)人訪問就能把帶寬占滿,并不需要攻擊就可以造成網(wǎng)站訪問卡頓。最好檢查優(yōu)化下網(wǎng)站的結(jié)構(gòu),資源圖片可以盡可能壓縮減少,或者直接升級(jí)帶寬,非常感謝您長期對(duì)我司的支持!