爬取(豆瓣电影 Top 250)排名前250名的电影名称(自己是初学,作为学习记录)

2021年7月21日 11点热度 0条评论 来源: 黎三岁

 1 # -*- condeing = utf-8 -*-
 2 # @Time:2021/7/19 20:40
 3 # @Author : lmb
 4 # @File:.py
 5 # @Software:
 6 
 7 import urllib.request,urllib.error  8 import re  9 from bs4 import BeautifulSoup 10 
11 #爬取多条(实例:豆瓣TOP250)
12 def GetUrl(baseurl): 13     #1.爬取网页
14     for i in range(0,10): 15         url=baseurl+str(i*25)#根据网页网址的规律例如:start=0? 16         html=AskUrl(url)#保存获取的网页源码
17 
18     #2.逐一解析数据
19         soup=BeautifulSoup(html,"html.parser") 20         for item in soup.find_all('div',class_="hd"):#div里class为“hd”的,其实也就是所需要的数据所在的标签区 21             #print(item)
22             data=[] #保存一部电影的信息
23             item=str(item)#将其转换为string类型 24 
25            
26             name=re.findall(findName,item)[0]  #[0]的意思是只要提取每个标签的出现的第一个相匹配的 27             print(name)#打印出爬取的电影名称 28 
29 
30 #爬取网页
31 def AskUrl(url):#获取html源码 32     #模拟浏览器读取网页
33     head={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4542.2 Safari/537.36"} 34     reqs=urllib.request.Request(url,headers=head)#对其进行封装 35     html=""; 36     try: 37         resposed=urllib.request.urlopen(reqs)#打开request封装好的reps 38         html=resposed.read().decode("utf-8")#用read()读取 39         
40 
41     except urllib.error.URLError as e:#可能会报错的一些情况 42         if hasattr(e,"code"): 43             print(e.code) 44         if hasattr(e,"reason"): 45             print(e.reson) 46     return html#必须返回一个读取出来的对象 47 
48 if __name__ == '__main__': 49       
50     findName=re.compile(r'<span class="title">(.*?)</span>')#获取电影名的正则表达式 51     GetUrl("https://movie.douban.com/top250?start=")#用GetUrl的方法,得到爬取的排名前250的电影名称

 

 

 

    原文作者:黎三岁
    原文地址: https://www.cnblogs.com/lmbl/p/15032915.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。