昨天一个同事一大早在群里推荐了一个google project上的开源内存分配器（http://code.google.com/p/google-perftools/）             ，据说google的很多产品都用到了这个内存分配库 
  
 
  
 
  
 
  
 
  
 
  
 
，而且经他测试












，我们的游戏客户端集成了这个最新内存分配器后 
  
  
  
  
  
  ，FPS足足提高了将近10帧左右 
  
  
  
  
  
  
，这可是个了不起的提升

 


 


 


 


 


 

，要知道3D组的兄弟忙了几周也没见这么大的性能提升             。

如果我们自己本身用的crt提供的内存分配器 
 
 
 
 
 
 ，这个提升也算不得什么 
  
 
  
 
  
 
  
 
  
 
  
 
。问题是我们内部系统是有一个小内存管理器的 
   
   
   
   
   
   
，一般来说小内存分配的算法都大同小异
 

 

 

 

 

 
，现成的实现也很多
 

 

 

 

 

 

 ，比如linux内核的slab             、SGI STL的分配器 
  
 
  
 
  
 
  
 
  
 
  
 
、ogre自带的内存分配器            ，我们自己的内存分配器也和前面列举的实现差不多












。让我们来看看这个项目有什么特别的吧 
  
  
  
  
  
  。

一












、使用方法

打开主页 

 
 

 
 

 
 

 
 

 
 

 
 
，由于公司网络禁止SVN从外部更新












，所以只能下载了打包的源代码 
  
  
  
  
  
  
。解压后                   ，看到有个doc目录 
 
 
 
 
 
 
 
 
 
 
 
 
，进去


















，打开使用文档             ，发现使用方法极为简单：

To use TCMalloc, just link TCMalloc into your application via the

"-ltcmalloc" linker flag.再看算法 
  
 
  
 
  
 
  
 
  
 
  
 
，也没什么特别的












，还是和slab以及SGI STL分配器类似的算法

 


 


 


 


 


 

。

unix环境居然只要链接这个tcmalloc库就可以了！ 
  
  
  
  
  
  ，太方便了 
  
  
  
  
  
  
，不过我手头没有linux环境

 


 


 


 


 


 

，文档上也没提到windows环境怎么使用 
 
 
 
 
 
 ，

打开源代码包 
   
   
   
   
   
   
，有个vs2003解决方案
 

 

 

 

 

 
，打开
 

 

 

 

 

 

 ，随便挑选一个测试项目            ，查看项目属性 

 
 

 
 

 
 

 
 

 
 

 
 
，发现仅仅有2点不同：

1 
  
  
  
  
  
  、链接器命令行里多了

"..\..\release\libtcmalloc_minimal.lib"












，就是链接的时候依赖了这个内存优化库 
 
 
 
 
 
 。

2 
  
  
  
  
  
  
、链接器->输入->强制符号引用 多了 __tcmalloc 
   
   
   
   
   
   
。

这样就可以正确的使用tcmalloc库了                   ，测试了下 
 
 
 
 
 
 
 
 
 
 
 
 
，测试项目运行OK!

二

 


 


 


 


 


 

、如何替换CRT的malloc

从前面的描述可知


















，项目强制引用了__tcmalloc             ， 搜索了测试代码 
  
 
  
 
  
 
  
 
  
 
  
 
，没发现用到_tcmalloc相关的函数和变量,这个选项应该是为了防止dll被优化掉(因为代码里没有什么地方用到这个dll的符号)
 

 

 

 

 

 
。

初看起来












，链接这个库后 
  
  
  
  
  
  ，不会影响任何现有代码:我们没有引用这个Lib库的头文件 
  
  
  
  
  
  
，也没有使用过这个dll的导出函数
 

 

 

 

 

 

 。那么这个dll是怎么优化应用程序性能的呢？

实际调试

 


 


 


 


 


 

，果然发现问题了 
 
 
 
 
 
 ，看看如下代码

void* pData = malloc(100);

00401085 6A 64 push 64h

00401087 FF 15 A4 20 40 00 call dword ptr [__imp__malloc (4020A4h)]

跟踪 call malloc这句 
   
   
   
   
   
   
，step进去
 

 

 

 

 

 
，发现是

78134D09 E9 D2 37 ED 97 jmp `anonymous namespace::LibcInfoWithPatchFunctions<8>::Perftools_malloc (100084E0h)

果然
 

 

 

 

 

 

 ，从这里开始            ，就跳转到libtcmalloc提供的Perftools_malloc了            。

原来是通过API挂钩来实现无缝替换系统自带的malloc等crt函数的 

 
 

 
 

 
 

 
 

 
 

 
 
，而且还是通过大家公认的不推荐的改写函数入口指令来实现的












，一般只有在游戏外挂和金山词霸之类的软件才会用到这样的挂钩技术                   ，

而且金山词霸经常需要更新补丁解决不同系统兼容问题 

 
 

 
 

 
 

 
 

 
 

 
 
。

三 
 
 
 
 
 
 、性能差别原因

如前面所述 
 
 
 
 
 
 
 
 
 
 
 
 
，tcmalloc确实用了很hacker的办法来实现无缝的替换系统自带的内存分配函数（本人在使用这类技术通常是用来干坏事的












。                   。 
 
 
 
 
 
 
 
 
 
 
 
 
。）


















，但是这也不足以解释为什么它的效率比我们自己的好那么多


















。

回到tcmalloc 的手册             ，tcmalloc除了使用常规的小内存管理外 
  
 
  
 
  
 
  
 
  
 
  
 
，对多线程环境做了特殊处理












，这和我原来见到的内存分配器大有不同 
  
  
  
  
  
  ，一般的内存分配器作者都会偷懒 
  
  
  
  
  
  
，把多线程问题扔给使用者

 


 


 


 


 


 

，大多是加

个bool型的模板参数来表示是否是多线程环境 
 
 
 
 
 
 ，还美其名曰:可定制 
   
   
   
   
   
   
，末了还得吹嘘下模板的优越性             。

tcmalloc是怎么做的呢？ 答案是每线程一个ThreadCache
 

 

 

 

 

 
，大部分操作系统都会支持thread local storage 就是传说中的TLS,这样就可以实现每线程一个分配器了
 

 

 

 

 

 

 ，

这样            ，不同线程分配都是在各自的threadCache里分配的 
  
 
  
 
  
 
  
 
  
 
  
 
。我们的项目的分配器由于是多线程环境的 

 
 

 
 

 
 

 
 

 
 

 
 
，所以不管三七二十一












，全都加锁了                   ，性能自然就低了












。

仅仅是如此 
 
 
 
 
 
 
 
 
 
 
 
 
，还是不足以将tcmalloc和ptmalloc2分个高下


















，后者也是每个线程都有threadCache的 
  
  
  
  
  
  。

关于这个问题             ，doc里有一段说明 
  
 
  
 
  
 
  
 
  
 
  
 
，原文贴出来：

ptmalloc2 also reduces lock contention by using per-thread arenas but

there is a big problem with ptmalloc2s use of per-thread arenas. In

ptmalloc2 memory can never move from one arena to another. This can

lead to huge amounts of wasted space.

大意是这样的：ptmalloc2 也是通过tls来降低线程锁












，但是ptmalloc2各个线程的内存是独立的 
  
  
  
  
  
  ，也就是说 
  
  
  
  
  
  
，第一个线程申请的内存

 


 


 


 


 


 

，释放的时候还是必须放到第一个线程池中（不可移动） 
 
 
 
 
 
 ，这样可能导致大量内存浪费 
  
  
  
  
  
  
。

四 
   
   
   
   
   
   
、代码细节

1
 

 

 

 

 

 
、无缝替换malloc等crt和系统分配函数

 


 


 


 


 


 

。

前面提到tcmalloc会无缝的替换掉原有dll中的malloc 
   
   
   
   
   
   
，这就意味着使用tcmalloc的项目必须是 MD（多线程dll）或者MDd（多线程dll调试） 
 
 
 
 
 
 。tcmalloc的dll定义了一个

static TCMallocGuard module_enter_exit_hook;

的静态变量
 

 

 

 

 

 
，这个变量会在dll加载的时候先于DllMain运行
 

 

 

 

 

 

 ，在这个类的构造函数            ，会运行PatchWindowsFunctions来挂钩所有dll的 malloc
 

 

 

 

 

 

 、free            、new等分配函数 

 
 

 
 

 
 

 
 

 
 

 
 
，这样就达到了替换功能












，除此之外                   ，

为了保证系统兼容性 
 
 
 
 
 
 
 
 
 
 
 
 
，挂钩API的时候还实现了智能分析指令


















，否则写入第一条Jmp指令的时候可能会破环后续指令的完整性 
   
   
   
   
   
   
。

2 

 
 

 
 

 
 

 
 

 
 

 
 
、LibcInfoWithPatchFunctions 和ThreadCache
 

 

 

 

 

 
。

LibcInfoWithPatchFunctions模板类包含tcmalloc实现的优化后的malloc等一系列函数
 

 

 

 

 

 

 。LibcInfoWithPatchFunctions的模板参数在我看来没什么用处             ，tcmalloc默认可以挂钩

最多10个带有malloc导出函数的库(我想肯定是够用了)            。ThreadCache在每个线程都会有一个TLS对象：

__thread ThreadCache* ThreadCache::threadlocal_heap_ 

 
 

 
 

 
 

 
 

 
 

 
 
。

3












、可能的问题

设想下这样一个情景：假如有一个dll 在tcmalloc之前加载 
  
 
  
 
  
 
  
 
  
 
  
 
，并且在分配了内存（使用crt提供的malloc）












，那么在加载tcmalloc后 
  
  
  
  
  
  ，tcmalloc会替换所有的free函数 
  
  
  
  
  
  
，然后

 


 


 


 


 


 

，在某个时刻 
 
 
 
 
 
 ，

在前面的那个dll代码中释放该内存 
   
   
   
   
   
   
，这岂不是很危险












。实际测试发现没有任何问题
 

 

 

 

 

 
，关键在这里：

span = Static::pageheap()->GetDescriptor(p);

if (!span) {

// span can be NULL because the pointer passed in is invalid

// (not something returned by malloc or friends), or because the

// pointer was allocated with some other allocator besides

// tcmalloc. The latter can happen if tcmalloc is linked in via

// a dynamic library, but is not listed last on the link line.

// In that case, libraries after it on the link line will

// allocate with libc malloc, but free with tcmallocs free.

(*invalid_free_fn)(ptr); // Decide how to handle the bad free request

return;

}

tcmalloc会通过span识别这个内存是否自己分配的
 

 

 

 

 

 

 ，如果不是            ，tcmalloc会调用该dll原始对应函数(这个很重要)释放                   。这样就解决了这个棘手的问题 
 
 
 
 
 
 
 
 
 
 
 
 
。

五                   、其他

其实tcmalloc使用的每个技术点我从前都用过 

 
 

 
 

 
 

 
 

 
 

 
 
，但是我从来没想过用API挂钩来实现这样一个有趣的内存优化库（即使想过












，也是一闪而过就否定了）


















。

从tcmalloc得到灵感                   ，结合常用的外挂技术 
 
 
 
 
 
 
 
 
 
 
 
 
，可以很轻松的开发一个独立工具：这个工具可以挂载到指定进程进行内存优化


















，在我看来             ，这可能可以作为一个外挂辅助工具来优化那些

内存优化做的很差导致帧速很低的国产游戏             。