Welcome to OStack Knowledge Sharing Community for programmer and developer-Open, Learning and Share
Welcome To Ask or Share your Answers For Others

Categories

0 votes
554 views
in Technique[技术] by (71.8m points)

Python:网页爬取Ajax地址,结果与浏览器显示的不一致?

1.我用在火狐上获取的Ajax地址来爬取统计局的信息:
图片描述

获取的地址如下;

http://data.stats.gov.cn/easy...{"wdcode":"zb","valuecode":"A0201"}]&dfwds=[{"wdcode":"sj","valuecode":"199807"}]

我的理解是地址中包含了两个参数:"A0201"和"199807"
可以通过改变着两个参数来获取不同表中不同时间的信息
我在浏览器中直接输入地址
参数为"199807"时显示结果为:
图片描述
参数为"199907"时显示结果为:
图片描述
证明应该是行得通的

但是当我用这个地址去爬虫时爬下来的结果却不是浏览器上看到的这些数据,应该是爬取到了别的表里的数据,但是我的参数不是已经设置好了吗?在浏览器也证明参数是有效的,但是为什么就是爬不到这些数据?是不是网页缓存方面出现了问题?应该如何解决呢?劳烦大神指教


与恶龙缠斗过久,自身亦成为恶龙;凝视深渊过久,深渊将回以凝视…
Welcome To Ask or Share your Answers For Others

1 Answer

0 votes
by (71.8m points)

server端可以验证你的cookie从而将你拒之门外,或者返回其他错误数据给你也是可以的,你可以从浏览器复制出来里伪造cookie,放在请求头里面。


与恶龙缠斗过久,自身亦成为恶龙;凝视深渊过久,深渊将回以凝视…
Welcome to OStack Knowledge Sharing Community for programmer and developer-Open, Learning and Share
Click Here to Ask a Question

...