怎么使用BeautifulSoup与requests库爬取网页

首先需要安装BeautifulSoup和requests库，可以通过以下命令安装：

pip install beautifulsoup4pip install requests

接下来可以使用以下代码来爬取网页内容：

import requestsfrom bs4 import BeautifulSoup# 发起GET请求url = 'https://www.example.com'response = requests.get(url)# 解析网页内容soup = BeautifulSoup(response.text, 'html.parser')# 找到需要的内容content = soup.find('div', class_='content').textprint(content)

在上面的代码中，首先发起一个GET请求并获取网页的内容，然后使用BeautifulSoup解析网页内容。接着通过find方法找到需要的内容，最后打印出来。可以根据网页的具体结构和需要的内容做相应的调整。

上一篇：lxml怎么实现自动补全缺失的闭合标签

下一篇：怎么使用BeautifulSoup处理列表数据