一、导入必要的模块：\n 代码首先导入了需要使用的模块：requests、lxml和csv。

\n\nimport requests\nfrom lxml import etree\nimport csv\n 如果出现模块报错\n\n\n\n 进入控制台输入：建议使用国内镜像源\n\npip install 模块名称 -i https://mirrors.aliyun.com/pypi/simple\n 我大致罗列了以下几种国内镜像源：\n\n清华大学\nhttps://pypi.tuna.tsinghua.edu.cn/simple\n \n阿里云\nhttps://mirrors.aliyun.com/pypi/simple/\n \n豆瓣\nhttps://pypi.douban.com/simple/ \n \n百度云\nhttps://mirror.baidu.com/pypi/simple/\n \n中科大\nhttps://pypi.mirrors.ustc.edu.cn/simple/\n \n华为云\nhttps://mirrors.huaweicloud.com/repository/pypi/simple/\n \n腾讯云\nhttps://mirrors.cloud.tencent.com/pypi/simple/\n \n\n二、定义了函数来解析每个电影的信息：\n 设置了请求头部信息，以模拟浏览器的请求，函数返回响应数据的JSON格式内容。\n\ndef getSource(url):\n # 反爬填写headers请求头\n headers = {\n 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'\n }\n \n response = requests.get(url, headers=headers)\n # 防止出现乱码\n response.encoding = 'utf-8'\n # print(response.text)\n return response.text\n 如何获取请求头：\n 火狐浏览器：\n打开目标网页并右键点击页面空白处。\n选择“检查元素”选项，或按下快捷键Ctrl + Shift + C（Windows）\n在开发者工具窗口中，切换到“网络”选项卡。\n刷新页面以捕获所有的网络请求。\n在请求列表中选择您感兴趣的请求。\n在右侧的“请求标头”或“Request Headers”部分，即可找到请求头信息。\n 将以下请求头信息复制出来即可\n\n三、定义了函数将电影信息写入CSV文件\n 使用csv库的DictWriter类，创建一个CSV写入对象，并指定列名为\"title\"、\"star\"、\"quote\"和\"url\"。然后，逐行写入电影信息到CSV文件中。\n\ndef getEveryItem(source):\n html_element = etree.HTML(source)\n \n movieItemList = html_element.xpath('//div[@class=\"info\"]')\n \n # 定义一个空的列表\n movieList = []\n \n for eachMoive in movieItemList:\n \n # 创建一个字典像列表中存储数据[{电影一},{电影二}......]\n movieDict = {}\n \n title = eachMoive.xpath('div[@class=\"hd\"]/a/span[@class=\"title\"]/text()') # 标题\n otherTitle = eachMoive.xpath('div[@class=\"hd\"]/a/span[@class=\"other\"]/text()') # 副标题\n link = eachMoive.xpath('div[@class=\"hd\"]/a/@href')[0] # url\n star = eachMoive.xpath('div[@class=\"bd\"]/div[@class=\"star\"]/span[@class=\"rating_num\"]/text()')[0] # 评分\n quote = eachMoive.xpath('div[@class=\"bd\"]/p[@class=\"quote\"]/span/text()') # 引言（名句）\n \n if quote:\n quote = quote[0]\n else:\n quote = ''\n # 保存数据\n movieDict['title'] = ''.join(title + otherTitle)\n movieDict['url'] = link\n movieDict['star'] = star\n movieDict['quote'] = quote\n \n movieList.append(movieDict)\n \n print(movieList)\n return movieList\n \n四、源码：\n 如果你对白嫖、有偿返现活动，感兴趣：可以关注：https://bbs.csdn.net/topics/617804998\n\n私信博主进入交流群，一起学习探讨，如果对CSDN周边以及有偿返现活动感兴趣：\n可添加博主：Yan--yingjie\n如果想免费获取图书，也可添加博主微信，每周免费送数十本\n \n \n#代码首先导入了需要使用的模块：requests、lxml和csv。\nimport requests\nfrom lxml import etree\nimport csv\n \n#\ndoubanUrl = 'https://movie.douban.com/top250?start={}&filter='\n \n \n# 然后定义了豆瓣电影TOP250页面的URL地址，并实现了一个函数getSource(url)来获取网页的源码。该函数发送HTTP请求，添加了请求头信息以防止被网站识别为爬虫，并通过requests.get()方法获取网页源码。\ndef getSource(url):\n # 反爬填写headers请求头\n headers = {\n 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'\n }\n \n response = requests.get(url, headers=headers)\n # 防止出现乱码\n response.encoding = 'utf-8'\n # print(response.text)\n return response.text\n \n \n# 定义了一个函数getEveryItem(source)来解析每个电影的信息。首先，使用lxml库的etree模块将源码转换为HTML元素对象。然后，使用XPath表达式定位到包含电影信息的每个HTML元素。通过对每个元素进行XPath查询，提取出电影的标题、副标题、URL、评分和引言等信息。最后，将这些信息存储在一个字典中，并将所有电影的字典存储在一个列表中。\ndef getEveryItem(source):\n html_element = etree.HTML(source)\n \n movieItemList = html_element.xpath('//div[@class=\"info\"]')\n \n # 定义一个空的列表\n movieList = []\n \n for eachMoive in movieItemList:\n \n # 创建一个字典像列表中存储数据[{电影一},{电影二}......]\n movieDict = {}\n \n title = eachMoive.xpath('div[@class=\"hd\"]/a/span[@class=\"title\"]/text()') # 标题\n otherTitle = eachMoive.xpath('div[@class=\"hd\"]/a/span[@class=\"other\"]/text()') # 副标题\n link = eachMoive.xpath('div[@class=\"hd\"]/a/@href')[0] # url\n star = eachMoive.xpath('div[@class=\"bd\"]/div[@class=\"star\"]/span[@class=\"rating_num\"]/text()')[0] # 评分\n quote = eachMoive.xpath('div[@class=\"bd\"]/p[@class=\"quote\"]/span/text()') # 引言（名句）\n \n if quote:\n quote = quote[0]\n else:\n quote = ''\n # 保存数据\n movieDict['title'] = ''.join(title + otherTitle)\n movieDict['url'] = link\n movieDict['star'] = star\n movieDict['quote'] = quote\n \n movieList.append(movieDict)\n \n print(movieList)\n return movieList\n \n \n# 保存数据\ndef writeData(movieList):\n with open('douban.csv', 'w', encoding='utf-8', newline='') as f:\n writer = csv.DictWriter(f, fieldnames=['title', 'star', 'quote', 'url'])\n \n writer.writeheader() # 写入表头\n \n for each in movieList:\n writer.writerow(each)\n \n \nif __name__ == '__main__':\n movieList = []\n \n # 一共有10页\n \n for i in range(10):\n pageLink = doubanUrl.format(i * 25)\n \n source = getSource(pageLink)\n \n movieList += getEveryItem(source)\n \n writeData(movieList)\n

首先，我们导入了需要用到的三个Python模块：requests、lxml和csv。\n\n 然后，我们定义了豆瓣电影TOP250页面的URL地址，并使用getSource(url)函数获取网页源码。\n\n 接着，我们定义了一个getEveryItem(source)函数，它使用XPath表达式从HTML源码中提取出每部电影的标题、URL、评分和引言，并将这些信息存储到一个字典中，最后将所有电影的字典存储到一个列表中并返回。\n\n 然后，我们定义了一个writeData(movieList)函数，它使用csv库的DictWriter类创建一个CSV写入对象，然后将电影信息列表逐行写入CSV文件。\n\n 最后，在if __name__ == '__main__'语句块中，我们定义了一个空的电影信息列表movieList，然后循环遍历前10页豆瓣电影TOP250页面，分别抓取每一页的网页源码，并使用getEveryItem()函数解析出电影信息并存储到movieList中，最后使用writeData()函数将电影信息写入CSV文件。\n\n五、效果图：

爬取豆瓣电影排行榜TOP250存储到CSV文件