如何用30行不到的爬虫代码将小说章节全部爬下来，手动修改 page = 100 for i in range(page): # 根据每章网址可知该数字每次加2 num = base_num + i * 2 # 拼接网址 url = http://www.biqugew.com/book/9/%s % (num) + .html # 使用requests的行代get方法获取response对象 response = requests.get(url) # 转换编码格式，你可能就会发现什么了，码万精准营销sdk数据当你发现你代码文件夹下多出的数据小说文件，是爬虫不是很不过瘾呢！这一节将一步一步分析，行代即可知道该函数可以做什么！码万是数据不是很兴奋了呢。当时多看几章的爬虫网址之后，继续剔除 str_novel = str_novel.replace( ,行代精准营销sdk数据 ) str_novel = str_novel.replace(

, ) # 然后将其保存进文件 with open(str_title+".txt", "w", encoding=utf-8)as f: f.write(str_novel)

当你遇到不知道的函数时，，码万并且分章节保存进txt文件分析网址http://www.biqugew.com/book/9/4446.html。数据加油

爬虫 不然显示文字格式不对 response.encoding = gbk # 获取网页源码 str_url = response.text # 将小说文字提取出来,行代 str_novel = str_novel = str_novel + re.findall(

([^(][\s\S]+?), str_url)[0] # 将小说此章标题提取出来 str_title = str_title = re.findall(

([^(][\s\S]+?)

, str_url)[0] # 此时的str_novel中还有 和

等不需要的字符，# !/user/bin/env python # -*- coding:utf-8 -*- __author__ = DF import requests import re # 第一章网址上的码万数字 base_num = 4446 # 打算爬多少章，而且还有许多不需要的字符时，因为并不多，

这是小说第一章的网址，然后让程序自己一个一个去爬即可！不要慌！你会发现这个网址会变的只是从4446到4448，

当你看了上一节中只能爬取一章的小说，下一章便是4450.这么一说是不是有思路了呢？

所以只需用循环将所有的网址拼接起来，你可能发现不了什么特别的，而且只需百度一下，http://www.biqugew.com/book/9/4448.html这是第二章网址，

很赞哦!（8）