linux批量执行的脚本（linux批量操作时提示Argument list too long解决方法）

第一种情况：

在实际使用过程中              ，若一个目录下文件或文件夹太多 
  
 
  
 
  
 
  
 
  
 
  
 
  
，在执行“*              ” 命令时 会提示Argument list too long













，如rm -rf /tmp/*命令下 
  
  
  
  
  
  
 。

解决方案：

SSH执行以上命令 
  
  
  
  
  
  
 ，输出所有的文件名(用空格分割) xargs就是将ls的输出 
  
  
  
  
  
  
 ，每10个为一组(以空格为分隔符)

 


 


 


 


 


 


 
，作为rm ­rf的参数 也就是说将所有文件名10个为一组 
 
 
 
 
 
 
，由rm ­rf删除
  
  
  
  
  
  
  。

第二种情况：

rm 
  
  
  
  
  
  
 、cp
  
  
  
  
  
  
  、mv是unix下面常用到的档案处理指令 
   
   
   
   
   
   
  ，当我们需要删除大量的log档案
 

 

 

 

 

 

 
，如果档案数太多就会出现此讯息【/bin/rm: Argument list too long】

解决方式如下：

例如要删除 /tmp/*.log

则执行【ls /tmp/*.log | xargs rm -f】这样就可以萝^__^
 

 

 

 

 

 

 
，其他cp,mv同理!

第三种情况：

今日需要删除/tmp目录下的所有文件              ，文件数量比较多
 


 


 


 


 


 


 

。

使用 rm * 后 

 
 

 
 

 
 

 
 

 
 

 
 

 
，系统提示错误 Argument list too long

原因是在linux下













，试图传太多参数给一个系统命令(ls *; cp *; rm *; cat *; etc..)时                     ，就会出现 Argument list too long错误 
 
 
 
 
 
 
。

解决方法如下：

使用find -exec 遍历 
 
 
 
 
 
 
 
 
 
 
 
 
 
，然后执行删除便可
   
   
   
   
   
   
   。

在linux中删除大量文件时




















，直接用rm会出现：-bash: /bin/rm: 参数列表过长              ，的错误
 

 

 

 

 

 

 
。

这时可以用find命令来结合使用 

 

 

 

 

 

 

。

例：

1
 


 


 


 


 


 


 

、rm * -rf 改为:

find . -name "*" | xargs rm -rf * 就行了              。

2 
 
 
 
 
 
 
、rm test* -rf 改为:

find . -name "test*" | xargs rm -rf "test*"

mv时报参数列表过长 
  
 
  
 
  
 
  
 
  
 
  
 
  
，

for i in *.m;do mv $i ${i%.m};done

于是求助于google













，探索过程就省略了 
  
  
  
  
  
  
 ，直接说解决方法吧：

ls dir1 | xargs -t -I {} mv {} dir2/{}

这里的一对大括号是原文给的例子里用的 
  
  
  
  
  
  
 ，后来看了参数的用法

 


 


 


 


 


 


 
，其实那对大括号是可以用任意字符串替换的 
 
 
 
 
 
 
，比如：

ls dir1 | xargs -t -I asdf mv asdf dir2/asdf

效果和大括号那一版是完全一样的 
   
   
   
   
   
   
  ，就是看起来有点儿不严肃

 
 

 
 

 
 

 
 

 
 

 
 

 
 。

需要说明的是
 

 

 

 

 

 

 
，上面xargs的第二个参数
 

 

 

 

 

 

 
，是大写的i              ，读作 
  
 
  
 
  
 
  
 
  
 
  
 
  
”爱“的那个字母 

 
 

 
 

 
 

 
 

 
 

 
 

 
，不是小写的L













。至于参数的含义嘛













，我忘了                     。

Linux下 报错“命令参数列表过长













”                     ，在用mv命令一次移动3万多个文件时失败了 
 
 
 
 
 
 
 
 
 
 
 
 
 
，原始命令类似这样： 
  
  
  
  
  
  
 ”mv $(ls dir1) dir2“
 
 
 
 
 
 
 
 
 
 
 
 
 
 。错误提示的中心思想是： 
  
  
  
  
  
  
 ”你这参数也太TM多了吧“




















。

按照LZ想法大概可以这么做：find /dir1/ -maxdepth 1 | xargs -i mv {} /dir2/

如果参数过长




















，使用tar比较简单

tar -C /dir1/ -cf-. | tar -xf--C /dir2/

　　于是求助于google              ，探索过程就省略了 
  
 
  
 
  
 
  
 
  
 
  
 
  
，直接说解决方法吧：

　　ls dir1 | xargs -t -I {} mv {} dir2/{}

　　这里的一对大括号是原文给的例子里用的













，后来看了参数的用法 
  
  
  
  
  
  
 ，其实那对大括号是可以用任意字符串替换的 
  
  
  
  
  
  
 ，比如：

　　ls dir1 | xargs -t -I asdf mv asdf dir2/asdf

　　效果和大括号那一版是完全一样的

 


 


 


 


 


 


 
，就是看起来有点儿不严肃              。

　　需要说明的是 
 
 
 
 
 
 
，上面xargs的第二个参数 
   
   
   
   
   
   
  ，是大写的i
 

 

 

 

 

 

 
，读作

 


 


 


 


 


 


 
”爱“的那个字母
 

 

 

 

 

 

 
，不是小写的L
  
 
  
 
  
 
  
 
  
 
  
 
  
 。至于参数的含义嘛              ，我忘了













。

另外4种方法

作为一个linux用户/系统管理员, 有些时候你会遇到以下错误提示:

[user@localhost foo]$ mv * ../foo2

bash: /bin/mv: Argument list too long

“Argument list too long 
 
 
 
 
 
 
”参数列表过长错误经常发生在用户在一行简单命令中提供了过多的参数而导致,经常在ls *, cp *, rm * 等中出现 
  
  
  
  
  
  
 。

根据问题的原因以下提供了四种方法 

 
 

 
 

 
 

 
 

 
 

 
 

 
，可以根据自己的情况酌情选用

方法1 : 将文件群手动划分为比较小的组合

e.g 1:

[user@localhost foo]$ mv [a-l]* ../foo2

[user@localhost foo]$ mv [m-z]* ../foo2

这是最基本的方法













，只是简单的使参数数量符合要求                     ，这种方法应用范围有限 
 
 
 
 
 
 
 
 
 
 
 
 
 
，只适用于文件列表中的名字分布比较均匀




















，另外这也是个初级用户可以考虑的解决方案              ，不过需要很多重复命令和对文件名分布的观察与猜测
  
  
  
  
  
  
  。

方法2 : 使用find命令

e.g 2:

[user@localhost foo]$ find $foo -type f -name * -exec mv {}$foo2/. \;

方法2通过find命令 
  
 
  
 
  
 
  
 
  
 
  
 
  
，将文件清单输出到mv命令













，使其一次处理一个 
  
  
  
  
  
  
 ，这样就完全避免了过量参数的存在 
  
  
  
  
  
  
 ，另外通过不同的参数

 


 


 


 


 


 


 
，可以指定除了名称以外的时间戳 
 
 
 
 
 
 
，权限 
   
   
   
   
   
   
  ，以及inode等匹配模式
 


 


 


 


 


 


 

。

方法2的缺点在于比较耗费时间 
 
 
 
 
 
 
。

方法3 : 创建shell函数

e.g 3.1:

function huge_mv ()

{whileread line1; do

mv foo/$line1 ../foo2

done

}

ls -1 foo/ | huge_mv

写一个shell函数并不涉及到某种程度的复杂性
 

 

 

 

 

 

 
， 这种方法比方法1和方法2相比更加灵活
   
   
   
   
   
   
   。

下面我们来扩展一下例3.1 :

e.g 3.2:

相比例3.1
 

 

 

 

 

 

 
，例3.2生成了文件的md校验散列文件和名字备份              ，符合给自己留条后路的哲学
 

 

 

 

 

 

 
。

另外可以根据自己的需要无限制的扩展功能 

 

 

 

 

 

 

。

方法4 : 终极解决方案 

 
 

 
 

 
 

 
 

 
 

 
 

 
，重新编译内核

首先使用这个方案之前要谨慎













，因为涉及到修改内核源代码                     ，在生产环境中还是要斟酌一下并做好测试              。

另外 
 
 
 
 
 
 
 
 
 
 
 
 
 
，这个方法是从根本上解决的




















，一劳永逸的

这也是开放源码的好处之一

首先在内核源码中找到 include/linux/binfmts.h文件               ，搜索到以下字段:

/*

* MAX_ARG_PAGES defines the number of pages allocated for arguments

* and envelope for the new program. 32 should suffice, this gives

* a maximum env+arg of 128kB w/4KB pages!

*/

#define MAX_ARG_PAGES 32

修改 MAX_ARG_PAGES数值为 64 或者更高即可完善的解决参数受限问题

 
 

 
 

 
 

 
 

 
 

 
 

 
 。

然后 重新编译并启用新内核即可













。