如果仅考虑自己爬虫自己使用，我是推崇MongoDB的——暴力直接。一个字典insert下去，世界从混沌归于一片宁静。况且与MySQL相比，MongoDB的结构不用固定，其域（也就是MySQL中的列），可以在这个文档中6个，下个文档里4个。也不用考虑数据类型匹不匹配。当然不得不说其实各有千秋的，这里就不深究啦！
由于操作起来着实简单，上篇【二进制记得】也试演过一次，这里就不再实战了。
| SQL术语/概念 | MongoDB术语/概念 | 解释/说明 |
|---|---|---|
| database | database | 数据库 |
| table | collection | 数据库表/集合 |
| row | document | 数据记录行/文档 |
| column | field | 数据字段/域 |
| index | index | 索引 |
| table joins | 表连接/mongodb不支持 | |
| primary key | primary key | 主键/mongodb自动将_id设置主键 |
三原素：数据库，集合，文档
mongod.exe --dbpath=D:\mongodb\data\db （指定存放路径）mongod start/stop
进入shell：mongo
退出shell：exit
db
db.stats()
show dbs
use 数据库名（如果数据库不存在，就指向数据库但不会创建，直到插入数据或是创建集合之后才会创建数据库）db.dropDatabase() （先切换到将要删除的数据库，删除数据库之后并不会立马退出，但被删除的数据库已经不存在了）
db.createCollection(name, options)db.createCollection("comments", {capped:true, size:10, max:2})db.createCollection("comments") （capped默认false，即无上限；size指大小，单位字节；max指数量上限）只有在用了size的情况下才能用max
show collections
db.集合名.drop()
db.集合名.insert(document)document是构建的一个json文件（可以类比python中的字典）
db.集合名.remove({条件})db.集合名.remove({条件}, {justOne:true})db.集合名.update({原属性}, {修改属性}, {multi:true})（默认multi值为false，只更新一条；如果true，表示更新区配到的整个文档）
db.集合名.update({原属性}, {$set:{属性}}, {multi:true})db.集合名.find()显示全部文档
db.集合名.findOne()显示第一条文档
db.集合名.save{文档}$lt/lte/gt/gte/ne，小于/小于等于/大于/大于等于/不等于，默认则等于
用法：db.集合名.find({条件})
and：db.集合名.find({条件1, 条件2, ...})
满足条件1并且满足条件2，如果没有符合条件的数据，则无返回
or：db.集合名.find({$or:[{条件1}, {条件2}]})
满足条件1或者条件2
and, or的组合使用：db.集合名.find({$or:[条件1, 条件2...], 条件3, ...})
满足条件1或者条件2的同时，必须满足条件3
范围：db.集合名.find({a:{$in:[1, 2, 3]}})
a的值的范围应该是中括号里枚举出来的范围
支持正则，以下图数据为例
使用正则有以下两种方法，结果都是一样的
a. db.comments.find({name:/^黄/})
b. db.comments.find({name:{$regex:"^黄"}})
自定义查询：db.集合名.find({$where:function(){return this.age<25}})这里其实利用的是javascript的知识，function(){…}是js中的匿名函数。有编程基础的应该能够看懂，就是返回age值小于25的数据
读取指定数量的文档：db.集合名.find(...).limit(n)表示显示满足条件的前n条数据
跳过指定数量的文档：db.集合名.find(...).skip(n)表示跳过前n条满足条件的数据，再显示
limit和skip可以一起使用，不分先后顺序
投影（显示自己需要的字段）：db.集合名.find({条件...}, {字段1：1,字段2：1})，这里1表示显示的意思，0为默认值，即不显示，但针对_id字段，必须指定0，才会不显示
排序：db.集合名.find().sort({age:1, level:-1})（1表示升序，-1表示降序；先按照age升序，再按照level降序）
统计个数：db.集合名.count({条件})
消除重复：db.集合名.distinct("预设字段", {条件})，按条件返回预设字段，如果预设的字段出现重复就去重
db.集合名.aggregate([{管道:{表达式}}])
$group：将集合中的文档分组，可用于统计结果
$match：过滤数据，只输出符合条件的文档
$project：修改输入文档的结构，如重命名、增加、删除字段、创建计算结果
$sort：将输入文档排序后输出
$limit：限制聚合管道返回的文档数
$skip：跳过指定数量的文档，并返回余下的文档
$unwind：将数组类型的字段进行拆分
$sum：计算总和，$sum:1同count表示计数
$avg：计算平均值
$min：获取最小值
$max：获取最大值
$push：在结果文档中插入值到一个数组中
$first：根据资源文档的排序获取第一个文档数据
$last：根据资源文档的排序获取最后一个文档数据
这里不深入，因为我认为爬虫暂时用不到这些功能，用不到的知识，学了只是负担，对一般人而言的话
MongoDB是默认不需要密码的，但为了安全性，可以设置
第一步：use admin
第二步：db.createUser({user:..., pwd:..., roles:[role:..., db:...]})
针对role：
root：只在admin数据库中可用，超级账号，超级权限
Read：允许用户读取指定数据库
readWrite：允许用户读写指定数据库
第三步：sudo vim /etc/mongodb.conf 开启认证
第四步：重启mongodb
此时如果mongo，切换admin，对这个数据库操作将会报错
所以需要认证的方式登陆
语句：mongo -u "" -p "" --authenticationDatabase "数据库"
修改用户密码：db.updateUser("用户名", {pwd:"..."})
import pymongo
client = pymongo.MongoClient("localhost", 27017)
db = client.数据名
collection = db.集合名
内置方法1：
insert_one()insert_many()
update_one()/update_many()
delete_one()/delete_many()
find_one()/find()
remove_one()/remove_many()
在mongodb中，insert({“name”:“郭靖”})和insert({name:“郭靖”})效果是一样的；但是在与python的交互中，必须前者，后者会报错（其实就是参数得是字典啦）
利用find()函数，返回的是一个迭代器，需要用next或者for遍历
内置方法2：
count() 统计总数
sort() 排序
如果是pymon.ASCENDING则为升序；多属性排序：sort([(...), (...)])
