文档开发者中心
我的

【综合】Python多线程爬取表情包,1秒下载五十张表情包

前言

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。


PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取


Python学习资料免费领取


从 QQ 到微信,表情包一直都是中国互联网用户的「心头好」,时至今日,甚至发展到了「无表情包不聊天」的地步。


无论是正事儿还是闲侃,表情包都必不可少。聊天到一半发现表情包不够用怎么办?今天正心老师带你彻底解决这个问题!


知识点:


requests

css选择器

开发环境:


版 本:anaconda5.2.0(python3.6.5)

编辑器:pycharm

第三方库:


requests

parsel

进行网页分析

目标站点


开发者工具的使用

network

element

concurrent.futures

Python3.2带来了 concurrent.futures 模块,这个模块具有线程池和进程池、管理并行编程任务、处理非确定性的执行流程、进程/线程同步等功能。


此模块由以下部分组成:


concurrent.futures.Executor: 这是一个虚拟基类,提供了异步执行的方法。

submit(function, argument): 调度函数(可调用的对象)的执行,将 argument 作为参数传入。

map(function, argument): 将 argument 作为参数执行函数,以 异步 的方式。

shutdown(Wait=True): 发出让执行者释放所有资源的信号。

concurrent.futures.Future: 其中包括函数的异步执行。Future对象是submit任务(即带有参数的functions)到executor的实例。

Executor是抽象类,可以通过子类访问,即线程或进程的 ExecutorPools 。因为,线程或进程的实例是依赖于资源的任务,所以最好以“池”的形式将他们组织在一起,作为可以重用的launcher或executor。


使用线程池

线程池或进程池是用于在程序中优化和简化线程/进程的使用。通过池,你可以提交任务给executor。池由两部分组成,一部分是内部的队列,存放着待执行的任务;另一部分是一系列的进程或线程,用于执行这些任务。池的概念主要目的是为了重用:让线程或进程在生命周期内可以多次使用。它减少了创建创建线程和进程的开销,提高了程序性能。重用不是必须的规则,但它是程序员在应用中使用池的主要原因。


current.Futures 模块提供了两种 Executor 的子类,各自独立操作一个线程池和一个进程池。这两个子类分别是:


concurrent.futures.ThreadPoolExecutor(max_workers)

max_workers 参数表示最多有多少个worker并行执行任务。

下面的示例代码展示了线程池和进程池的功能。这里的任务是,给一个list number_list ,包含1到10。


通过有5个worker的线程池执行

线程池运行

然后,我们使用了 futures.ThreadPoolExecutor 模块的线程池跑了一次::


ThreadPoolExecutor 使用线程池中的一个线程执行给定的任务。池中一共有5个线程,每一个线程从池中取得一个任务然后执行它。当任务执行完成,再从池中拿到另一个任务。


当所有的任务执行完成后,打印出执行用的时间:


最终实现效果




完整代码

点赞
收藏
回复
2
分享
举报
浏览398 发布于2019-11-14 01:55未知归属地
全部评论
最多点赞
最新发布
最早发布

表情包爱好者福音

2楼回复于2019-11-14 06:26 未知归属地

有趣有趣

1楼回复于2019-11-14 06:13 未知归属地
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要发帖子

目录 收起
完整代码
了解社区公约,与您携手共创和谐专业的开发者社区。