python爬虫之伪装User-Agent

因为爬虫的需要，所以需要多个user-agent，之前一直也是这样用的，后来接触到了fake_useragent这个包后，一切都变得那么简单简单了，fake_useragent是一个集成了市面上大部分的user-agent，可以指定浏览器，也可随机生成任意一个

在工作中进行爬虫时，经常会需要提供User-Agent，如果不提供User-Agent，会导致爬虫在请求网页时，请求失败，所以需要大量User-Agent。如何生成合法的User-Agent？

使用fake-useragent库就可以解决该问题。

安装：pip install fake-useragent 模块下载

这里简单做个生成指定浏览器的请求头

from fake_useragent import UserAgent # fake_useragent模块 user-agent的获取

ua = UserAgent() # 实例化，实例化时需要联网但是网站不太稳定

print(ua.ie) # 随机打印一个 ie 浏览器的头

print(ua.opera)

print(ua.chrome)

print(ua.google)

print(ua.firefox)

print(ua.safari)

print(ua.random) # 随机打印 User-Agent

而在工作中常用的则是ua.random

我是这样来使用的

from fake_useragent import UserAgent

import requests

ua = UserAgent()

headers = {

'User-Agent': ua.random

}

url = 'https://www.baidu.com/'

response = requests.get(url, headers=headers)

print(response.status_code)

》》》 200

url定义要爬取网址，然后headers是user-agent，cook是cookie，cookie就是你登录一个网页时提交的密码，密码向网页提交的登陆数据，简单来说，cookie就是制作一个假身份骗过海关。 利用get函数提交url、cookies和headers，****然后接下来就可以肆无忌惮爬取你想要的数据了。

当然网站会有很多的反爬机制，需要随机应变，至于为什么要使用我写的这个办法爬取网站，是因为很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。