怎么把大的压缩包分割成小压缩包（如何将一个大的Promise.all拆分为几个较小的部分依次执行）

时间2025-05-01 23:25:22分类IT科技浏览6632

导读： 前段时间在用Promise.all执行一个非常大批量的操作时遇到一个奇怪的问题。...

　　前段时间在用Promise.all执行一个非常大批量的操作时遇到一个奇怪的问题。

　　这个Promise.all需要遍历一个指定目录中的所有文件，并以异步的方式读取文件内容并进行后续操作。由于目录中的文件数目比较多（大约8000+），Promise.all在执行的过程中有许多文件读取失败，但是如果指定一个文件数量比较少的目录则不存在这个问题。查看浏览器的Network会看到一开始的时候这些文件的访问都是pending状态，但是随着数量的增加，一部分pending最后都变成failed了。然后在Console中也会看到有许多的Failed to load resource: net::ERR_INSUFFICIENT_RESOURCES错误。

　　然后又在其它不同的浏览器中进行了尝试，发现Chrome内核的浏览器（Chrome和Edge）基本都存在这个问题，但是FireFox工作正常。初步断定有可能是浏览器自身内部机制导致的，所以尝试看看能否将并发的数量减少以规避错误。

　　下面是优化之前的代码：

　　当遇到paths数组很大时，有较大的概率会出现Failed to load resource: net::ERR_INSUFFICIENT_RESOURCES错误。

　　下面是优化之后的代码：

1 var fnPromise = function(docs) { 2 var aPromises = []; 3 docs.forEach(function(sPath) { 4 aPromises.push(readDocument(sPath).then(function(oDocument) { 5 // other process 6 return oDocument; 7 })); 8 }); 9 return Q.all(aPromises); 10 } 11 12 var _MAX_COCURRENCY = 50; 13 var aFiles = []; 14 var promise; 15 var index = 0; 16 while (index < paths.length) { 17 if (index + _MAX_COCURRENCY < paths.length) { 18 aFiles.push(paths.slice(index, index + _MAX_COCURRENCY)); 19 } else { 20 aFiles.push(paths.slice(index)); 21 } 22 index += _MAX_COCURRENCY; 23 } 24 aFiles.forEach(function(aSegFiles){ 25 if (!promise) { 26 promise = fnPromise(aSegFiles); 27 } else { 28 promise = promise.then(function(results){ 29 return fnPromise(aSegFiles).then(function(aResults){ 30 return results.concat(aResults); 31 }); 32 }) 33 } 34 }); 35 return promise;

　　上面的代码中，while循环将一个较大的paths数组拆分成若干个较小的数组并存放到aFiles数组中。aFiles是一个二维数组，它的每一个元素是paths数组的一部分，其大小取决于_MAX_COCURRENCY常量的值。第24行对aFiles数组进行遍历，如果promise没有被初始化，则将函数fnPromise赋值给它。否则，通过第28行将fnPromise函数执行后的then方法重新赋值给变量promise，这一行是将多个Promise串联起来的关键。函数fnPromise只对较小的数组进行Promise.all操作。

　　通过上面的代码，可以成功将一个大的Promise.all拆分为若干个较小的Promise并串联起来执行，从而规避上述浏览器中所出现的错误。

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。