python request爬虫如何进行数据存储

在Python中，使用requests库进行网络请求并将数据存储到文件或数据库中，可以通过以下步骤实现：

安装requests库：

pip install requests

导入所需的库：

import requestsimport json

发送HTTP请求并获取响应：

url = 'https://api.example.com/data'# 替换为你要请求的URLresponse = requests.get(url)

检查响应状态码，确保请求成功：

if response.status_code == 200:data = response.json()# 假设返回的数据是JSON格式else:print(f"请求失败，状态码：{response.status_code}")

将数据存储到文件中：

with open('output.json', 'w', encoding='utf-8') as file:json.dump(data, file, ensure_ascii=False, indent=4)

将数据存储到数据库中（以SQLite为例）：首先，安装sqlite3模块（Python内置）：

import sqlite3

然后，创建一个SQLite数据库连接：

conn = sqlite3.connect('output.db')cursor = conn.cursor()

接着，创建一个表格来存储数据：

cursor.execute('''CREATE TABLE IF NOT EXISTS data (id INTEGER PRIMARY KEY AUTOINCREMENT,key TEXT NOT NULL,value TEXT NOT NULL)''')

将数据插入到数据库中：

for item in data:cursor.execute("INSERT INTO data (key, value) VALUES (?, ?)", (item['key'], item['value']))

最后，提交更改并关闭数据库连接：

conn.commit()conn.close()

这样，你就可以使用Python的requests库进行网络请求，并将获取到的数据存储到文件或数据库中了。

上一篇：在线python爬虫如何实现负载均衡

下一篇：云上linux服务器如何降低成本