Scrapy爬虫编程补充

2018-03-05

创建数据库表格的sql语句, 输入表格名, 括号内是表格的列名(随意)及类型(字符串varchar varchar(长度), 数字int tiny, 时间datetime, 文本text)
1
2
> create table 表格名称 (column1 type, column2 type, ..., columnN type)
>

插入数据到数据库表格中(注意中英文字符, 字符串数据需要引号包裹)
1
2
> insert int 表格名称 (column1, colmn2, ..., columnN) values (值1, 值2, ..., 值N)
>
查询语句(这个可以复杂可以简单)
1
2
> select * from 表格名称
>

sqlite3链接操作

以下操作均在Python环境中生效
1
2
3
4
5
6
7
8
9
import sqlite3

conn = sqlite3.connect('ershoufang.sqlite') #conn和ershoufang这两个名称随意取,后缀也可以
cu = conn.cursor #cursor是光标的意思,在查询中很重要

cu.execute('这是要执行的sql语句')

# 在执行了查询语句后, execute函数不会返回任何结果,提取查询出来的结果,需要如下语句
all_result = cu.fetchall()
注意: fetchall函数只能执行一次,执行第二次会无法获取.
cu就是cursor,光标的意思.
查询到结果之后,光标在数据头部;执行一次后,光标在尾部.
数据获取完成后,一定要记得关闭
1
2
> conn.close()
>

piplines.py的类结构解析

def open_spider(self, spider) #该函数在爬虫开始时执行, 链接sqlite数据库可以放在这里

def process_item(self, item, spider) #爬虫从html中得到数据, 传入item, item被丢到piplines中

def spider_close(self, spider) #爬虫关闭时,所做的操作. 一般是关闭文件和关闭数据库

settings.py文件内容

1
2
3

ITEM_PIPLINES = {
	'ershoufang.piplines.ErshoufangPipline':300
}

ITEM_PIPLINES是启用的管道文件,本项目只有一个直接添加进去后面的数字,范围在1~1000内就行