問(wèn)：www.hsy188.com/xinwen/1109.html 02:00:57www.hsy188.com/m/xinwen/967.html 01:55:44www.hsy188.com/caipin/802.html 01:51:17www.hsy188.com/m/html/maocaijiamengwenda/.html 01:47:33www.hsy188.com/m/news/1126.html 01:40:52www.hsy188.com/m/xinwen/956.html 01:36:23www.hsy188.com/html/maocaipeifang/ 01:28:57www.hsy188.com/caipin/882.html 01:23:00www.hsy188.com/xinwen/910.html 01:17:02
能再幫我看看嗎。百度抓取的錯(cuò)誤鏈接，在網(wǎng)站日志中對(duì)應(yīng)不上。,接上個(gè)問(wèn)題“出現(xiàn)服務(wù)器錯(cuò)誤”
2018/07/03 02:00:57 [error] 7536#35632: * WSARecv() failed (10054: An existing connection was forcibly closed by the remote host) while reading response header from upstream, client: 127.0.0.1, server: localhost, request: "GET /xinwen/1109.html HTTP/1.1", upstream: "http://127.0.0.1:80/xinwen/1109.html", host: "www.hsy188.com"
從nginx錯(cuò)誤日中中找到問(wèn)題所在了,您在web.config中屏蔽了百度蜘蛛的部分ip地址導(dǎo)致這部分蜘蛛抓取時(shí)502了,這個(gè)時(shí)間點(diǎn)和您提供的時(shí)間點(diǎn)是對(duì)應(yīng)的,請(qǐng)去掉web.config中屏蔽ip的規(guī)則,非常感謝您長(zhǎng)期對(duì)我司的支持!
<add input="%{HTTP_X_FORWARDED_FOR}&%{REMOTE_ADDR}&%{HTTP_X_Real_IP}" pattern="(220.181.108|111.206.198|113.83.192|127.0.0.1|111.206.222|111.206.198|116.24.64|127.0.0.1)" />
問(wèn)：您好，日志保存在服務(wù)器上,是web服務(wù)所有用戶(hù)的錯(cuò)誤記錄,無(wú)法單獨(dú)提供,上一條工單給您截取了日志,其中有顯示ip地址,而恰好對(duì)應(yīng)您百度抓取時(shí)間以及具體url連接,所以這個(gè)ip就是百度的ip,請(qǐng)全部去掉您所攔截的ip,非常感謝您長(zhǎng)期對(duì)我司的支持!
問(wèn)：謝謝，220.181.108 這個(gè)ip確實(shí)是我屏蔽的，這個(gè)之前確實(shí)疑似百度蜘蛛，因?yàn)橛绊懙娇头浖?。能不能幫我看看這個(gè)錯(cuò)誤日志尼里面，這個(gè)ip的有多少呢？
問(wèn)：您好，,如果要確定哪些ip是蜘蛛的,您先取消屏蔽ip,然后觀察幾天www日志,搜索baiduspier 行,看對(duì)應(yīng)的ip地址即可,網(wǎng)上有百度蜘蛛的ip段http://www.yushuoseo.com/seopeixun/59.html 但我們無(wú)法確認(rèn)是否全面,非常感謝您長(zhǎng)期對(duì)我司的支持!
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享網(wǎng)絡(luò)內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-62778877-8306；郵箱：fanjiao@west.cn。本站原創(chuàng)內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明出處：
西部數(shù)碼知識(shí)庫(kù) »
接上個(gè)問(wèn)題“出現(xiàn)服務(wù)器錯(cuò)誤”