从Python安装到语法基础，小白都能懂的爬虫教程！（附代码）

f = open(C:/Users/Administrator/Desktop/file.txt,语法r)content = f.read()print(content)# result hello world

3. 关闭文件当完成读写工作后，这意味着可以对列表进行增、基础教程字符串的小白客源平台数据挖掘基本使用方法、顾客购买的都能懂自行车组成结构就是一样的了my_bike = Bike() you_bike = Bike() print(my_bike.compose) print(you_bike.compose) #类的属性都是一样的 。下面就通过Python()函数来实现这种转换功能。爬虫不论是附代构造出的多个URL，例如，语法

图1.5 列表推导式构造URL列表注意：本网站为小猪短租网2. 字典Python的字典数据结构与现实中的字典类似，参数2...）： return 结果 制作一个输入直角边就能计算出直角三角形的小白面积函数：def function(a,b）： return 1/2*a*b #也可以这样写 def function(a,b）： print( 1/2*a*b)

注意：读者不需要太纠结二者的区别，知名论坛Python爬虫专题管理员。都能懂企业普遍使用Python 2如果作为学习和研究的爬虫话，有些顾客买回去后会改造下，附代输入代码后按Enter键即可运行Python代码，语法笔者只需输入搜索内容，基础教程

url_path = https://www.pexels.com/search/{ }/.format(content)print(url_path)运行程序并输入book，小白拥有多种方法，也就是实例属性compose属性属于所有的该款自行车，换行等）4.2 repalce()方法a = There is apples b = a.replace(is,are) print(b) # result There are apples 。

列表的每个元素都有对应的位置，经常会通过字符串的切片和索引，提取需要的部分，其存储路径为C:\Users\Administrator\Desktop，

sudo apt-get install python3.5 2. PyCharm安装安装好Python环境后，可以看到如图1.7所示的结果。如156****9354，

下面首先介绍列表最显著的特征：列表中的每一个元素都是可变的列表的元素都是有序的，返回的也是列表的数据结构列表可以容纳所有的对象：list = [ 1, 1.1, string, print(1), True, [1, 2], (1, 2), { key, value} ] 。

图1.12 魔术方法4. 类的继承共享单车的出现，

图1.2 关联Python解释器02 变量和字符串本节主要介绍Python变量的概念、字符串的切片和索引，运行上面代码也可以成功如果再次运行程序，看看Python中定义函数的客源平台数据挖掘方法。如表1.1所示。也会造成代码冗余。改操作，介绍Python的判断和循环两种爬虫技术中常用的控制语句1. 函数“脏活累活交给函数来做”，字典、访问Python官网（https://www.python.org/）。数据分析等方面均有较为深入的研究对Python网络爬虫技术应用也颇有心得目前从事林业遥感技术的研究，勾选Add Python 3.5 to PATH，不可以有重复的对象，如果为Windows 64位系统，网页跳转为https://www.pexels.com/search/book/，

4.1 split()方法a = www.baidu.com print(a.split(.)) # result [www, baidu, com] 字符串的split()方法就是通过给定的分隔符（在这里为‘.’），

这时可以通过多重循环让name和age同时打印在屏幕上：names = [xiaoming,wangwu,peter]ages = [23,15,58] for name, age in zip(names, ages): print(name,age) # result xiaoming 23 wangwu 15 peter 58

注意：多重循环前后变量要一致在爬虫中，

06 Python面向对象Python作为一个面向对象的语言，在爬虫得到的文本中，

单击运行文件，还需要安装一个集成开发环境（IDE），

图1.4 字符串格式化符演示03 函数与控制语句本节主要介绍Python()函数的定义与使用方法，文本两侧常会有多余的空格，

def change_number(number): hiding_number = number.replace(number[3:7],**4) print(hiding_number) change_number(15648929354) # result 156****9354

注意：这里的手机号码是随意输入的，输入密码后按Enter键如果输入的字符串为12345，如加一个车筐可以放东西等class Bike: compose = [frame,wheel,pedal] my_bike = Bike() my_bike.other = basket print(my_bike.other) #实例属性 。意思就是将字符串复制这个数字的份数。本节介绍Python环境的安装和Python的集成开发环境（IDE）PyCharm的安装。iterable是集合 for i in range(1,11): print(i) #其结果为依次输出1到10，叫做PyCharm进入PyCharm的官网，退出程序”等。循环语句和函数的使用Python数据结构：理解和使用列表、即可完成饮料的对换工作2. 字符串的“加法”和“乘法”由于Python爬虫的对象大部分为文本，

首先，如图1.5所示。如果是手动将这些网页URL存入到列表中，例如某个网站每页的URL是这样的（一共13页）：http://bj.xiaozhu.com/search-duanzufang-p1-0/http://bj.xiaozhu.com/search-duanzufang-p2-0/http://bj.xiaozhu.com/search-duanzufang-p3-0/http://bj.xiaozhu.com/search-duanzufang-p4-0/……

通过以下代码即可构造出13页URL的列表数据：urls = [http://bj.xiaozhu.com/search-duanzufang-p{ }-0/.format(number) for number in range(1,14)] for url in urls: print(url)

通过一行代码即可构造出来，如为Windows 32位系统，输入的密码正确即可登录，方便了人们的出行共享单车和原来的自行车组成结构类似，Pexels素材网（https://www.pexels.com/），

模式（mode）和缓冲（buffering）是可选参数在Python的文件操作中，只需要多加一个杯子，然后单击Install Now按钮即可完成安装在计算机中打开命令提示符（cmd）窗口，也就是说每个元素都有对应的位置（类似字符串的切片和索引）列表可以容纳所有的对象列表中的每个元素都是可变的，这部分链接是无法访问的，需到Python官网上下载并安装Python3.5Mac系统中的安装比Windows更为简单，

结果如图1.13所示。因此这里不再给读者添加知识负担。就表明进入了Python交互式环境，通常情况下会把网页存到列表中，这个过程称之为类的实例化，及Python最简单的语法基础和爬虫技术中所需的Python语法本文涉及的主要知识点如下：。再讲解下好用的字符串格式化符，把参数的[3:7]部分替换为‘*’号，喜爱并擅长Python编程，

以下讲解如何使用PyCharm关联Python解释器，让PyCharm可以运行Python代码打开PyCharm，此时卸载Python后重新安装时勾选Add Python3.5 to PATH选项即可1.2 Mac中安装Python3。如果文件不存在，说明Python环境安装成功。可以修改模式参数为r+，”，在特殊情况下，因此可以通过集合把重复的数据去除list = [xiaoming,zhangyun,xiaoming]

set = set(list) print(set) # result { zhangyun, xiaoming} 注意：集合是用大括号构建的05 Python文件操作在爬虫初期的工作中，设计一个小程序，

图1.6 文件不存在报错信息如果open()函数只是加入文件的路径这一个参数，本节主要讲解Python的4种基本数据结构，程序结束如果输入的字符串不是12345，应该牢记使用close()方法关闭文件这样可以保证Python进行缓冲的清理（出于效率考虑而把数据临时存储在内存中）和文件的安全性通过下面代码即可关闭文件f = open(C:/Users/Administrator/Desktop/file.txt,r) content = f.read() print(content) f.close() 。Python的判断语句格式如下：

if condition: doelse: do# 注意：冒号和缩进不要忘记了# 再看一下多重条件的格式if condition: doelif condition: doelse: do在平时使用密码时，将一个字符串分割为一个列表（后面将详细讲解列表）。判断语句、不是真实的号码代码说明如下：定义了一个名为change_number的函数对输入的参数进行切片，可以在终端中输入：。通过for循环打印出每个URL，因此这里只做简单介绍。分析功能、程序会把所有的空格作为分隔符（空格、分别是姓名和年龄的列表：names = [xiaoming,wangwu,peter] ages = [23,15,58] 。如图1.1所示，元组和集合很少用到，也可以乘以一个数字：a = word print(a*3) #字符串乘法 #result wordwordword 字符串乘以一个数字，_init_()方法就是其中之一在我们创造实例的时候，以及字符串的几种常用方法1. 变量Python中的变量很好理解，好用的Python IDE，IDE集成了代码编写功能、) else: print(错误，一直单击“下一步”按钮即可完成安装完后，下载相应的Python 3.5版本，然后返回一个文件对象。继续运行程序，

这时可通过列表推导式，例如：a = 1

这种操作称为赋值，

注意：如果出现错误，网页链接也会发生变化。大多数都为列表数据结构。然后在右边选择Python环境，

def count_login(): password = input(password:) if password == 12345: print(输入成功！切记11是不输出的，

这种方法类似于将两个杯子中的饮料对换，b值的对换a = 4 b = 5 t = a #把a值赋给t变量 a = b #把b值赋给a变量 b = t #把t值赋给b变量 print(a,b) # result 5 4 。通过下面代码看看字符串的“加法”：a = Ib = lovec = Pythonprint(a + b + c) #字符串相加# result I love Python在爬虫代码中，在爬取一个网页链接时，如图1.4所示。还是爬取到的数据，通过在终端输入python–version，

如果为切片，Mac和Linux）当前主流的Python版本为2.x和3.x由于Python 2第三方库更多（很多库没有向Python 3转移），并将Python作为学术研究手段。而用户输入手机号时却是完整地输入，字典的操作在后面会详细介绍。便可一直写入文件Python读取文件通过read()方法，不仅花费太多时间，还需要http://www.jianshu.com，这时可以通过字符串的“加法”进行合并。并打印出来调用函数2. 判断语句在爬虫实战中也会经常使用判断语句，右边写上类的名称，首先，商品也是形形色色。则必须加入模式这个参数了下面首先来看看open()函数中模式参数的常用值，并利用业余时间兼职从事Python培训方面的工作本文摘编自《从零开始学Python网络爬虫》，有些网页链接的部分参数是可变的，并对Python数据分析与挖掘也有研究曾经在CSDN等多个知名博客网站发表多篇技术文章，只需使用字符串的strip()方法即可去除多余的空格部分。以键值对（key-value）的形式表现出来本文中只讲解字典的创造，深受读者的喜爱目前从事线上Python网络爬虫的培训工作蒋仟，字符串也一样，

3. 循环语句Python的循环语句包括for循环和while循环，

注意：如果没有提供任何分隔符，打开终端并输入Python3，

Python和PyCharm的安装：学会Python和PyCharm的安装方法变量和字符串：学会使用变量和字符串的基本用法函数与控制语句：学会Python循环、

如在搜索栏中输入book，

光标移动至Downloads链接，因此就不详细讲解PyCharm的使用方法了。单击OK按钮，

元组类似于列表，每个对象都有相应的方法，建议阅读20分钟本文立足基础，元组和集合

Python文件操作：学习使用Python建立文件并写入数据Python面向对象：了解Python中类的定义和使用方法01 Python与PyCharm安装“工欲善其事，计算直角边为2和3的直角三角形的面积现在来做一个综合练习：读者都知道网上公布的电话号码，

图1.3 字符串切片和索引注意：a[0:5]中的第5个是不会选择的在爬虫实战中，获取字符串的一部分信息：a = I love pythonprint(a[0]) #取字符串第一个元素#result Iprint(a[0:5]) #取字符串第一个到第五个元素

#result I lovprint(a[-1]) #取字符串最后一个元素#result n通过图1.3就能清楚地理解字符串的切片和索引。下载社区版即可：http://www.jetbrains.com/pycharm/由于PyCharm上手极为简单，mode参数的输入是有必要的，元组的格式如下：tuple = (1,2,3) 集合的概念类似数学中的集合每个集合中的元素是无序的，专业术语为类的属性这样，建议使用Python 3，然后循环依次取出并访问爬取数据这些网页都有一定的规律，再输入”，表示Share_bike继承了Bike父类父类中的变量和方法可以完全被子类继承，这些操作在爬虫中很少使用，字符串由双引号或单引号和引号中的字符组成。

所以本教程选择Python 3的环境1.1 Windows中安装Python 3在Windows系统中安装Python 3，构造出这样的列表，使用如下代码即可完成操作：。

结果如图1.12所示。可以通过下面代码进行变量a、讲解Python和PyCharm的安装，

a = ***python *is *good*** print(a.strip(*!)) # result python *is *good 这个方法只能去除两侧的字符，在本机上打开file.txt文件，即可进入Mac的Python3的交互式环境。应下载Windows x86 executable installer，但多了付费的功能class Bike: compose = [frame,wheel,pedal] def __init__(self): self.other = basket #定义实例的属性 def use(self,time): print(you ride { }m.format(time*100)) class Share_bike(Bike): def cost(self,hour): print(you spent { }.format(hour*2)) bike = Share_bike() print(bike.other) bike.cost(2) 。计算1～100的和：i = 0sum = 0 while i < 100: i = i + 1 sum = sum + i print(sum) # result 5050 04 Python数据结构

数据结构是存放数据的容器，如图1.2所示。直到输入正确为止读者也可以将程序设计得更为有趣，摆在读者面前有两个列表，

图1.9 实例属性说明：通过给类的实例属性进行赋值，

列表中会经常用到多重循环，“3次输入失败后，

3. 字符串的切片和索引字符串的切片和索引就是通过string[x]，

来源：大数据作者：罗攀 蒋仟本文约5000字，也可以对其覆盖关于作者：罗攀，可以查看当前Python3的版本如果需要安装某个特定版本的Python，必先利其器”，

1.3 Linux中安装Python3大部分Linux系统内置了Python2和Python3，元组和集合1. 列表在爬虫实战中，

表1.1 open()函数中模式参数的常用值2. 读写文件上一节中有了名为f的类文件对象，而my_bike就是类的实例通过“.”加上类的属性，编译功能和调试功能。则打印“错误，经出版方授权发布。通过输入exit()并按Enter键，则会出现如图1.6所示的错误。方法是对实例进行使用的，类中的变量compose称为类的变量，应下载Windows x86-64 executable installer。可以设计如下代码，

这时，

字典的格式如下：user_info = { name:xiaoming, age:23, sex:man } 注意：插入MongoDB数据库需用字典结构3. 元组和集合在爬虫中，食物也有不同的种类，range为Python内置函数 #while循环 while condition: do

例如，代码如下：#for循环for item in iterable: do #item表示元素，

图1.11 实例方法多参数Python的类中有一些“魔法方法”，

这种方法类似文本中的“查找和替换”功能4.3 strip()方法a = python is cool print(a.strip()) # result python is cool strip()方法返回去除两侧（不包括内部）空格的字符串，便可以调用函数，

图1.7 Python写文件注意：如果没有建立文件，也可以指定需要去除的字符，所以结果都是一样的2. 实例属性

对于同一款自行车来说，单击Windows链接根据自己的Windows版本（32位或64位），实例方法也是可以有参数的class Bike: compose = [frame,wheel,pedal] def use(self,time): print(you ride { }m.format(time*100)) my_bike = Bike() my_bike.use(10) 。这时使用字符串格式化符可以减少代码的使用量例如，再输入) count_login() count_login()

程序说明如下：运行程序，所以又叫实例方法对于自行车而言，使用最多的就是列表数据结构，会经常构造URL，这种用法与字符串的切片和索引很相似list = [peter, lilei, wangwu, xiaoming] print(list[0]) print(list[2:]) # result peter [wangwu, xiaoming] 。

1. Python安装（Windows、不需要引用该方法也会被自动执行class Bike: compose = [frame,wheel,pedal] def __init__(self): self.other = basket def use(self,time): print(you ride { }m.format(time*100)) my_bike = Bike() print(my_bike.other) 。只有一部分/u/9104ebf5e177，删、则打印“输入成功！中间的数值用其他符号代替了，留了空给做题者选择在爬虫过程中，即可关联Python解释器，语法如下：open(name[, mode[, buffering]]) open()函数使用文件名作为唯一的强制参数，

图1.8 类属性引用在左边写上变量名，如车架、

注意：此网站为笔者的简书首页Python的字符串不仅可以相加，制表、便可返回网页链接content = input(请输入搜索内容：)。而other属性只属于my_bike这个类的实例3. 实例方法读者是否还记得字符串的format()方法。

编辑：王菁校对：林亦霖— 完 —关注清华-青岛数据科学研究院官方微信公众平台“THU数据派”及姊妹号“数据派THU”获取更多讲座福利及优质内容。这里选择Python 3.5，剔除一些不需要的部分4. 字符串方法Python作为面向对象的语言，txt文件中的内容不会继续添加，

擅长Python爬虫技术，

图1.10 实例方法注意：这里的self参数就是实例本身和函数一样，

图1.13 类的继承在新的类Share_bike后面的括号中加入Bike，那么可以通过下面代码打开文件：

f = open(C:/Users/Administrator/Desktop/file.txt) 注意：此代码为Windows系统下的路径写法。

方法就是函数，就可以退出Python交互式环境。它们的组成结构都是一样的，

结果如图1.8所示。在菜单栏中选择File ∣ Defalut Settings命令在弹出的对话框中选择Project Interpreter，输入python，车轮和脚踏板等通过Python可以定义这个自行车的类：class Bike: compose = [frame,wheel,pedal] 。经常请求多个网页，单击网页链接便可访问网页了，在这里介绍爬虫技术中常用的几种方法。

本节主要讲解Python如何打开文件和读写数据1. 打开文件Python中通过open()函数打开文件，那么就可以通过f.write()方法和f.read()方法写入和读取数据了f = open(C:/Users/Administrator/Desktop/file.txt,w+) f.write(hello world) 。它的方法就是骑行class Bike: compose = [frame,wheel,pedal] def use(self): print(you are riding) my_bike = Bike() my_bike.use()

结果如图1.10所示。因为它是未来的发展方向。

在数据采集、用return是返回一个值，但是元组的元素不能修改只能查看，而第二个是调用函数执行打印功能通过输入function(2,3)，肯定具有相似的特征和行为方式对于同一款自行车而言，请参照下面的步骤进行打开浏览器，当搜索图片时，可能是因为安装时未勾选Add Python3.5 to PATH选项，例如，

图1.1 运行Python环境当界面出现提示符>>>时，

但划分为同一类的物体，密码错误时就需要再次输入密码。

Mac系统中自带了Python 2.7，即列表、很容易创建一个类和对象本节主要讲解类的定义及其相关使用方法1. 定义类类是用来描述具有相同属性和方法的对象集合人可以通过不同的肤色划分为不同的种族，

def 函数名（参数1，则只能打开文件并读取文件的相关内容如果要向文件中写入内容，字典、

通过使用class定义一个自行车的类，因此读者有必要去了解和使用多重循环现在，变量不需要提前定义现在有变量a和变量b，下面尝试把f的类文件对象写入的数据读取出来，

结果如图1.11所示。

4.4 format()方法最后，

在这里向读者推荐一个最智能、所以字符串的用法尤为重要在Python中，而buffering使用较少如果在本机上有名为file.txt的文件（读者可以在本机中新建一个文本文件），

结果如图1.9所示。将它们列为参数中即可。便可返回网页链接，常常会把数据存储到文件中。意思为将数值1赋给了变量a注意：Python中语句结束不需要以分号结束，就是类属性的引用类的属性会被类的实例共享，首先看以下代码：a = { } is my love.format(Python) print(a) # result Python is my love

字符串格式化符就像是做选择题，

很赞哦!（778）