python爬虫代码示例的方法:首先获取浏览器信息,并使用urlencode生成post数据;然后安装pymysql,并存储数据到MySQL即可。
python爬虫代码示例的方法:
1、urllib和BeautifuSoup
获取浏览器信息
from urllib import request
req = request.urlopen("http://www.baidu.com")
print(req.read().decode("utf-8"))
模拟真实浏览器:携带user-Agent头
(目的是不让服务器认为是爬虫,若不带此浏览器信息,则可能会报错)
req = request.Request(url) #此处url为某个网址
req.add_header(key,value) #key即user-Agent,value即浏览器的版本信息
resp = request.urlopen(req)
print(resp.read().decode("utf-8"))
相关学习