python 编写工具（Python工具箱系列(二十)）

数据库操作应是所有合格程序员的基本功           ，写的一手好SQL对于数据分析师而言更是安身立命之本 
  
  
  
  
  
。大部分软件开发人员使用的数据库都是MySql/MariaDB 
  
 
  
 
  
 
  
 
  
 
 ，毕竟LAMP（linux+apache+mysql+php）曾经风靡一时
  
  
  
  
  
 。但开发人员真正的瑞士小军刀却是SQLite











，它是世界上装机量第一的嵌入式数据库
 


 


 


 


 


 。

SQLite最初的构思是在一条军舰上进行的 
 
 
 
 
 
。当时在通用动力工作的SQLite的作者D.RichardHipp正在为美国海军编制一种在导弹驱逐舰上使用的程序
   
   
   
   
   
 。那个程序最初运行在HewlettPackard UNX（HPUX）上 
  
  
  
  
  ，后台使用Infomix数据库
 

 

 

 

 

 。对那个具体应用而言Informix有点儿太强大了 

 

 

 

 

 
。一个有经验的数据库管理员安装或升级Informix可能需要一整天           。其实这个应用需要的只是一个自我包含的数据库 
  
  
  
  
  
 ，它易使用并能由程序控制

 
 

 
 

 
 

 
 

 
 

 。2000年1月Hipp开始和一个同事讨论关于创建一个简单的嵌入式SQL数据库的想法










。这个数据库将使用C语言开发

 


 


 


 


 


，同时这个数据库将不需要安装和管理支持                 。

◆2000年8月SQlite1.0发布
 
 
 
 
 
 
 
 
 
 
 。Hipp用B-tree替换了gdbm
















。

◆2004年SQlite从2.0升级到3.0           。这个版本重点强化了国际化
  
 
  
 
  
 
  
 
  
 
  。程序体积继续保持240KB










。

SQLite对标的不是MySQL           、Oracle这类C/S结构数据库 
 
 
 
 
 ，而是文件系统 
  
  
  
  
  
。这样的场景基本都是对数据库高级特性（扩展 
  
 
  
 
  
 
  
 
  
 
 、并发











、权限）没什么需求时方便使用的
  
  
  
  
  
 。

经典的应用场景如下：

◆嵌入式数据库 
   
   
   
   
   
 ，开箱即用
 

 

 

 

 

，sqlite数据库本身很小（windows下只有4Mb左右
 

 

 

 

 

 ，主流linux都自带sqlite）
 


 


 


 


 


 。

◆数据量不多的情况下           ，如果系统只几万甚至几千条数据时 

 
 

 
 

 
 

 
 

 
 

，用sqlite是最适合的 
 
 
 
 
 
。

◆app中使用sqlite做缓存数据的存放










，如登陆数据缓存                 ，历史数据缓存等
   
   
   
   
   
 。

从2000年5月29日开始 
 
 
 
 
 
 
 
 
 
 
，SQLite就选择了C语言
 

 

 

 

 

 。直到今天
















，C也是实现SQLite这样软件库的最佳语言 

 

 

 

 

 
。

主要原因包括：

◆性能           。像SQLite这样被密集使用的基础库需要有很好的性能           ，因为它对标于文件系统 
  
  
  
  
  、甚至于内存操作 
  
 
  
 
  
 
  
 
  
 
 ，C语言很适合写这样有性能要求的程序

 
 

 
 

 
 

 
 

 
 

 。C语言有时被称为「便携式汇编语言」











，让开发者能尽可能的接近底层硬件编码 
  
  
  
  
  ，同时保证跨平台的便携性










。当然 
  
  
  
  
  
 ，也有其他的编程语言声称和C一样快或者更快

 


 


 


 


 


，但没有一个能和C一样通用                 。

◆兼容性
 
 
 
 
 
 
 
 
 
 
 。目前几乎所有的系统都可以调用由C语言编写的库
















。

◆低依赖性           。用C来编写库不会在运行时有太多的依赖
  
 
  
 
  
 
  
 
  
 
  。在最小的配置下 
 
 
 
 
 ，SQLite只需要C标准库里屈指可数的几个函数










。

◆稳定性 
  
  
  
  
  
。这个稳定性是指语言的稳定性
  
  
  
  
  
 。C语言相对老旧但非常成熟可靠 
   
   
   
   
   
 ，但却正好很适合开发像SQLite这样更注重长期稳定的模块
 


 


 


 


 


 。

SQLite安装极为简单：

◆linux：不用安装
 

 

 

 

 

，直接在命令行下输入sqlite3即可使用 
 
 
 
 
 
。

◆windows：访问SQlite官网
 

 

 

 

 

 ，从Windows区下载预编译的二进制文件
   
   
   
   
   
 。需要下载sqlite-tools-win32-*.zip 
  
  
  
  
  
 、sqlite-dll-win32-*.zip压缩文件
 

 

 

 

 

 。创建文件夹C:\sqlite           ，并在此文件夹下解压上面两个压缩文件 

 
 

 
 

 
 

 
 

 
 

，将得到sqlite3.def

 


 


 


 


 


、sqlite3.dll和sqlite3.exe文件 

 

 

 

 

 
。添加C:\sqlite到PATH环境变量










，最后在命令提示符下                 ，使用sqlite3命令即可           。

SQlite的使用也非常简单 
 
 
 
 
 
 
 
 
 
 
，直接使用命令进行相关的操作

 
 

 
 

 
 

 
 

 
 

 。

如果不喜欢使用命令行工具
















，也可以使用IDE工具










。在VSCODE中           ，有专用的扩展支持如下图所示 
  
 
  
 
  
 
  
 
  
 
 ，非常方便                 。

sqlite的不足包括：

◆不支持right join











，当然left join是完全可以替代的
 
 
 
 
 
 
 
 
 
 
 。

◆视图（view） 
 
 
 
 
 、触发器（trigger）功能受限
















。

◆事务处理能力受限（相较MySQL中的4种隔离级别而言）           。

◆安全性不高 
  
  
  
  
  ，不具有MySQL中详细的权限管理功能 
  
  
  
  
  
 ，甚至sqlite数据文件的访问无需用户名密码
  
 
  
 
  
 
  
 
  
 
  。

◆支持的数据类型较少










。SQLite原生支持5中数据类型：NULL 
   
   
   
   
   
 、INTEGER
 

 

 

 

 

、REAL
 

 

 

 

 

 、TEXT           、BLOB 
  
  
  
  
  
。在SQLite中

 


 


 


 


 


，所有数据最终都转化为该5中类型进行存储
  
  
  
  
  
 。在SQLite中不支持BOOLEAN 
 
 
 
 
 ，在存储时 
   
   
   
   
   
 ，会将false转换为0
 

 

 

 

 

，true转换为1
 


 


 


 


 


 。同时SQLite不支持Date和Time数据类型
 

 

 

 

 

 ，但是内置提供了一些时间操作函数           ，帮助用于转换为其他数据类型进行存储 
 
 
 
 
 
。

◆不建议基于网络的数据库访问
   
   
   
   
   
 。SQLite通常是内置在应用程序中的
 

 

 

 

 

 。如果数据和应用程序是分离的 

 
 

 
 

 
 

 
 

 
 

，则访问数据就需要访问网络 

 

 

 

 

 
。这样也是可行的










，但不是最优选择           。当数据和应用程序是分开在不同的物理设备上时                 ，通常不选择SQLite

 
 

 
 

 
 

 
 

 
 

 。

◆不建议高并发时使用










。

◆不建议用于大数据库的场景 
 
 
 
 
 
 
 
 
 
 
，毕竟超过150T
















，SQLite是无法承受的                 。

然而           ，尽管sqlite在功能完整性方面并不足以与其他关系型数据库相媲美 
  
 
  
 
  
 
  
 
  
 
 ，但考虑其拿来即用的特点











，不失为程序员开发中的瑞士军刀
 
 
 
 
 
 
 
 
 
 
 。