初试Python多进程

昨天处理三千多个PDF文件,把联想小服务器用上了,如果用原先j1900的机器,估计要把它累个半死。
四核八线程的CPU还是给力,连读取文件到将指定页面转化为图片保存,共花了6分钟。但运行起来还是一个核心满载工作,其他七个看热闹。
今天试着改进了一下程序,使用多进程处理文档。这也是此后工作必然要用到,而此前却一拖再拖的。
多进程应用比想象中简单的多,程序运行起来,从后台监控看多个核心在协同工作,只是时间并没有提高。估计跟每次处理CPU占用少有关系,四个跑跟一个跑速度是一样,如果处理的程序更耗用资源,可能多进程能有好的表现。
虽然还需进一步优化,但也算是有收获。

Leave a Reply

您的电子邮箱地址不会被公开。 必填项已用 * 标注

You may use these HTML tags and attributes:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>