Python?Pymysql如何实现数据存储

这篇文章主要介绍“PythonPymysql如何实现数据存储”，在日常操作中，相信很多人在PythonPymysql如何实现数据存储问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”PythonPymysql如何实现数据存储”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

Python 连接并操作 MySQL 数据库，主要通过 Pymysql 模块实现。这里讲解如何将抓取的数据存储至 MySQL 数据库。

创建存储数据表

首先您应该确定您的计算机上已经安装了 MySQL 数据库，然后再进行如下操作：

#1.连接到mysql数据库mysql-h227.0.0.1-uroot-p123456#2.建库createdatabasemaoyandbcharsetutf8;#3.切换数据库usemaoyandb;#4.创建数据表createtablefilmtab(namevarchar(100),starvarchar(400),timevarchar(30));

Pymysql基本使用

1) 连接数据库

db=pymysql.connect('localhost','root','123456','maoyandb')

参数说明：

• localhost：本地 MySQL 服务端地址，也可以是远程数据库的 IP 地址。

• root：连接数据所使用的用户名。

• password：连接数据库使用的密码，本机 MySQL 服务端密码“123456”。

• db：连接的数据库名称。

2) 创建cursor对象

cursor=db.cursor()

3) 执行sql命令

execute() 方法用来执行 SQL 语句。如下所示：

#第一种方法：编写sql语句，使用占位符传入相应数据sql="insertintofilmtabvalues('%s','%s','%s')"%('刺杀,小说家','雷佳音','2023')cursor.excute(sql)第二种方法：编写sql语句，使用列表传参方式sql='insertintofilmtabvalues(%s,%s,%s)'cursor.execute(sql,['刺杀,小说家','雷佳音','2023'])

4) 提交数据

dbmit()

5) 关闭数据库

cursor.close()db.close()

完整的代码如下所示：

#-*-coding:utf-8-*-importpymysql#创建对象db=pymysql.connect('localhost','root','123456','maoyandb')cursor=db.cursor()#sql语句执性，单行插入info_list=['刺杀,小说家','雷佳音,杨幂','2023-2-12']sql='insertintomovieinfovalues(%s,%s,%s)'#列表传参cursor.execute(sql,info_list)dbmit()#关闭cursor.close()db.close()

查询数据结果，如下所示：

mysql> select * from movieinfo;
+-------------+-------------------+-----------+
| name| star | time |
+-------------+-------------------+-----------+
| 刺杀,小说家| 雷佳音,杨幂 | 2023-2-12 |
+-------------+-------------------+-----------+
1 rows in set (0.01 sec)

还有一种效率较高的方法，使用 executemany() 可以同时插入多条数据。示例如下：

db=pymysql.connect('localhost','root','123456','maoyandb',charset='utf8')cursor=db.cursor()#sql语句执性，列表元组info_list=[('我不是药神','徐峥','2023-07-05'),('你好,李焕英','贾玲','2023-02-12')]sql='insertintomovieinfovalues(%s,%s,%s)'cursor.executemany(sql,info_list)dbmit()#关闭cursor.close()db.close()

查询插入结果，如下所示：

mysql> select * from movieinfo;
+-------------+-------------------+------------+
| name| star | time|
+-------------+-------------------+------------+
| 我不是药神 | 徐峥 | 2023-07-05 |
| 你好,李焕英 | 贾玲 | 2023-02-12 |
+-------------+-------------------+------------+
2 rows in set (0.01 sec)

修改爬虫程序

下面修改一下爬虫程序，将抓取下来的数据存储到 MySQL 数据库。如下所示：

#coding=gbkfromurllibimportrequestimportreimporttimeimportrandomfromua_infoimportua_listimportpymysqlclassMaoyanSpider(object):def__init__(self):#初始化属性对象self.url='maoyan/board/4?offset={}'#数据库连接对象self.db=pymysql.connect('localhost','root','123456','maoyandb',charset='utf8')#创建游标对象self.cursor=self.db.cursor()defget_html(self,url):headers={'User-Agent':random.choice(ua_list)}req=request.Request(url=url,headers=headers)res=request.urlopen(req)html=res.read().decode()#直接解析self.parse_html(html)defparse_html(self,html):re_bds='<divclass="movie-item-info">.*?title="(.*?)".*?<pclass="star">(.*?)</p>.*?class="releasetime">(.*?)</p>'pattern=repile(re_bds,re.S)r_list=pattern.findall(html)self.save_html(r_list)defsave_html(self,r_list):L=[]sql='insertintomovieinfovalues(%s,%s,%s)'#整理数据forrinr_list:t=(r[0].strip(),r[1].strip()[3:],r[2].strip()[5:15])L.append(t)print(L)#一次性插入多条数据L:[(),(),()]try:self.cursor.executemany(sql,L)#将数据提交数据库self.dbmit()except:#发生错误则回滚self.db.rollback()defrun(self):foroffsetinrange(0,11,10):url=self.url.format(offset)self.get_html(url)time.sleep(random.uniform(1,3))#断开游标与数据库连接self.cursor.close()self.db.close()if__name__=='__main__':start=time.time()spider=MaoyanSpider()spider.run()end=time.time()print("执行时间:%.2f"%(end-start))

数据库查询存储结果，如下所示：

mysql> select * from movieinfo;
+----------------+----------------------------------------------------------+------------+
| name| star | time|
+----------------+----------------------------------------------------------+------------+
| 我不是药神 | 徐峥,周一围,王传君| 2023-07-05 |
| 肖申克的救赎| 蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿 | 1994-09-10 |
| 绿皮书 | 维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼| 2023-03-01 |
| 海上钢琴师 | 蒂姆·罗斯,比尔·努恩,克兰伦斯·威廉姆斯三世| 2023-11-15 |
| 小偷家族| 中川雅也,安藤樱,松冈茉优 | 2023-08-03 |
| 霸王别姬| 张国荣,张丰毅,巩俐| 1993-07-26 |
| 哪吒之魔童降世 | 吕艳婷,囧森瑟夫,瀚墨 | 2023-07-26 |
| 美丽人生| 罗伯托·贝尼尼,朱斯蒂诺·杜拉诺,赛尔乔·比尼·布斯特里克 | 2023-01-03 |
| 这个杀手不太冷 | 让·雷诺,加里·奥德曼,娜塔莉·波特曼| 1994-09-14 |
| 盗梦空间| 莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特| 2010-09-01 |
+----------------+----------------------------------------------------------+------------+
10 rows in set (0.01 sec)

到此，关于“PythonPymysql如何实现数据存储”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注主机评测网网站，小编会继续努力为大家带来更多实用的文章！

上一篇：怎么看待AI和ChatGPT

下一篇：如何使用go连接clickhouse

---