protools插件自动化快捷键（【分享一个工具】通过定义proto3来自动生成多进程模式的插件代码）

作者:张富春(ahfuzhang)              ，转载时请注明作者和引用链接
 
  
 
  
 
  
 
  
 
  
 
  
 
，谢谢！

cnblogs博客 zhihu Github 公众号:一本正经的瞎扯

我在多进程插件框架 hashicorp/go-plugin 的基础上












，使用 protoreflect 来解析 proto3 语法的IDL文件  
  
  
  
  
  
  ，通过命令行工具自动生成多进程框架的 callee 和 caller 代码 
  
  
  
  
  
  。

项目的地址请看：https://github.com/ahfuzhang/go-plugin/tree/main/examples/code_generator

并且已经提了PR到官方 
  
  
  
  
  
  
 。

golang自身的plugin还非常的弱 
  
  
  
  
  
  
，主要有这些限制：

其插件的编译环境必须与宿主进程的编译环境完全一致 插件可以动态加载


 


 


 


 


 


 

，但是无法动态卸载

hashicorp公司（他们更出名的产品是terra-form）开源的go-plugin使用了多进程的模式来实现插件 
 
 
 
 
 
 ，宿主进程创建子进程  
   
   
   
   
   
   
，然后通过unix套接字来通讯

 


 


 


 


 


 


。

虽然跨进程来通讯有一定的损耗

 

 

 

 

 

 
，但对于计算的场景还是OK的
 

 

 

 

 

 

 ，反之用于通讯则不太适合 
 
 
 
 
 
 。

hashicorp/go-plugin有这样一些不错的特性： 提供了多进程插件化运行的框架             ，可以以多种方式写caller端和callee端 
   
   
   
   
   
   
 。 可以动态的加载插件（创建进程）              、卸载插件（退出子进程） 因为是跨进程的通讯
 

 
 

 
 

 
 

 
 

 
 

 
 
，所以子进程的稳定性不影响宿主进程；其所有的操作系统资源都是与主进程隔离的 官方甚至提供了一个用python实现子进程的例子 如果用go + lua的方式来写插件












，相信可以做到用lua来实现动态跨进程执行的效果 基于这个框架可以很容易写出一个FAAS（Function as-a Service）框架来 提供了日志
 
  
 
  
 
  
 
  
 
  
 
  
 
、加密












、通讯等其他支撑性的功能

最后再介绍我实现的这个小工具：如果基于grpc的风格来写插件                    ，其中还是要实现一部分对grpc接口的封装
 
 
 
 
 
 
 
 
 
 
 
 
 
，如果每次写插件都要写这些重复代码


















，未免有点太繁琐了
 

 

 

 

 

 

。所以可以在proto3中定义好service              ，并通过extension的语法来定义插件名字
 

 

 

 

 

 

 。具体的步骤已经写在了文档里
 
  
 
  
 
  
 
  
 
  
 
  
 
，大致是：

通过*.proto文件来定义请求格式  
  
  
  
  
  
  、响应格式 
  
  
  
  
  
  
、服务接口； 通过plugin_name这个extension来定义服务对应的插件名字












，如果不写  
  
  
  
  
  
  ，则插件名字就是服务名             。 通过protoc来把*.proto变成xx.pb.go的golang代码 通过gen_code命令行来读取*.proto, 生成插件需要的xx.plugin.go文件 同时生成callee目录 
  
  
  
  
  
  
，生成插件对应的代码 

 
 

 
 

 
 

 
 

 
 

 
 

。然后在todo的位置填写代码 生成callee_test.go文件


 


 


 


 


 


 

，可以拷贝到宿主进程中 
 
 
 
 
 
 ，用于加载插件












。

再补充一点  
   
   
   
   
   
   
，如果需要把一堆基本类型构成的[]interface{}数组的数据在插件之间传递

 

 

 

 

 

 
，我写的上一个工具可以解决这个场景：如何在proto3中用上golang对应的interface{}类型
 

 

 

 

 

 

 ，以及这个工具：Serilizer

Have fun, 希望对你有用                    。 ?