Shell+Python文件读写问题的并行化

我有一个项目,在这个项目中,我必须经常使用一个shell脚本,对文件进行一些预处理。 根据项目要求和传统的原因,必须这样做 – 我继承了大部分的代码。

一旦这些文件被处理,输出文件就会被Python脚本进一步处理。

有没有什么好的方法来并行运行这些工作? 现在,我的工作流程是这样的。

Call shell script, processing thousands of files.
Once finished, call Python script, processing even more files.
Once finished, call SQL script to insert all of these files into a database.

如果可以将一组( 一个文件shell –> Python –> SQL )或者将每个任务( Parallel shell, Parallel Python, Parallel SQL )并行化,那就太好了。 不过我读到的所有东西似乎都暗示这是个逻辑上的噩梦,因为会遇到RW的问题。这是真的吗,如果不是,有什么正确的方向吗?

解决方案:

对于shell,你可以使用xargs来并行运行多个进程。

例子。

echo dir1 dir2 dir3 | xargs -P 3 -I NAME tar czf NAME.tar.gz NAME

-P – 比如说xargs运行3个并行进程。

对于一个python,你可以使用 线程池执行器!”从期货。

对于SQL,我什么也说不出来,我需要看你用的是哪个数据库。

给TA打赏
共{{data.count}}人
人已打赏
未分类

XML使用外部DTD进行验证--XML解析器是Python (lxml),该解析器不能从HTTPS端加载外部DTD。

2022-9-8 23:17:38

未分类

检查是否从格式字符串中提供值

2022-9-8 23:17:40

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索