python爬虫之爬取笔趣阁小说

前言

为了上班摸鱼方便，今天自己写了个爬取笔趣阁小说的程序。好吧，其实就是找个目的学习python，分享一下。

一、首先导入相关的模块

1.  import os
    
2.  import requests
    
3.  from bs4 import BeautifulSoup
    


复制代码

二、向网站发送请求并获取网站数据

网站链接最后的一位数字为一本书的id值，一个数字对应一本小说，我们以id为1的小说为示例。

进入到网站之后，我们发现有一个章节列表，那么我们首先完成对小说列表名称的抓取

1.  \# 声明请求头
    
2.  headers \= {
    
3.  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
    
4.  }
    

6.  \# 创建保存小说文本的文件夹
    
7.  if not os.path.exists('./小说'):
    
8.  os.mkdir('./小说/')
    

10.  \# 访问网站并获取页面数据
    
11.  response \= requests.get('http://www.biquw.com/book/1/').text
    
12.  print(response)
    


复制代码

写到这个地方同学们可能会发现了一个问题，当我去正常访问网站的时候为什么返回回来的数据是乱码呢？

这是因为页面html的编码格式与我们python访问并拿到数据的解码格式不一致导致的，python默认的解码方式为utf-8，但是页面编码可能是GBK或者是GB2312等，所以我们需要让python代码很具页面的解码方式自动变化

1.  \#### 重新编写访问代码
    
2.  \`\`\`python
    
3.  response = requests.get('http://www.biquw.com/book/1/')
    
4.  response.encoding = response.apparent\_encoding
    
5.  print(response.text)
    

7.  '''
    
8.  这种方式返回的中文数据才是正确的
    
9.  '''
    


复制代码

三、拿到页面数据之后对数据进行提取

当大家通过正确的解码方式拿到页面数据之后，接下来需要完成静态页面分析了。我们需要从整个网页数据中拿到我们想要的数据(章节列表数据)

1.首先打开浏览器

2.按F12调出开发者工具

3.选中元素选择器

4.在页面中选中我们想要的数据并定位元素

5.观察数据所存在的元素标签

1.  '''
    
2.  根据上图所示，数据是保存在a标签当中的。a的父标签为li，li的父标签为ul标签，ul标签之上为div标签。所以如果想要获取整个页面的小说章节数据，那么需要先获取div标签。并且div标签中包含了class属性，我们可以通过class属性获取指定的div标签，详情看代码~
    
3.  '''
    
4.  \# lxml: html解析库 将html代码转成python对象，python可以对html代码进行控制
    
5.  soup \= BeautifulSoup(response.text, 'lxml')
    
6.  book\_list \= soup.find('div', class\_\='book\_list').find\_all('a')
    
7.  \# soup对象获取批量数据后返回的是一个列表，我们可以对列表进行迭代提取
    
8.  for book in book\_list:
    
9.  book\_name \= book.text
    
10.  \# 获取到列表数据之后，需要获取文章详情页的链接，链接在a标签的href属性中
    
11.  book\_url \= book\['href'\]
    


复制代码

四、获取到小说详情页链接之后进行详情页二次访问并获取文章数据

1.  book\_info\_html \= requests.get('http://www.biquw.com/book/1/' + book\_url, headers\=headers)
    
2.  book\_info\_html.encoding \= book\_info\_html.apparent\_encoding
    
3.  soup \= BeautifulSoup(book\_info\_html.text, 'lxml')
    


复制代码

五、对小说详情页进行静态页面分析

1.  info \= soup.find('div', id\='htmlContent')
    
2.  print(info.text)
    


复制代码

六、数据下载

1.  with open('./小说/' + book\_name + '.txt', 'a', encoding\='utf-8') as f:
    
2.  f.write(info.text)
    


复制代码

最后让我们看一下代码效果吧~

抓取的数据

到此这篇关于python爬虫之爬取笔趣阁小说的文章就介绍到这了

扫下方二维码加老师微信

或是搜索老师微信号：XTUOL1988****【切记备注：学习Python】

邀您来听****Python web开发，Python爬虫，Python数据分析，人工智能 免费精品教程**，**0基础入门到企业项目实战教学！