当前位置: 首页 > news >正文

大家都用哪个网站做读书笔记百度教育网站

大家都用哪个网站做读书笔记,百度教育网站,珠宝网站策划,关于网页制作的网站目录 1. 什么是生产者消费者模型 2. 为什么引入生产者消费者模型 3. 如何实现 4. 示例 1. 什么是生产者消费者模型 生产者 : 程序中负责产生数据的一方消费者 : 程序中负责处理数据的一方 2. 为什么引入生产者消费者模型 在并发编程中, 生产者消费者模式通过一个容器来解…

目录

1. 什么是生产者消费者模型

2. 为什么引入生产者消费者模型

3. 如何实现

4. 示例


1. 什么是生产者消费者模型

  • 生产者 : 程序中负责产生数据的一方
  • 消费者 : 程序中负责处理数据的一方

2. 为什么引入生产者消费者模型

在并发编程中, 生产者消费者模式通过一个容器来解决生产者和消费者之间的强耦合性, 两者之间不再是直接通信, 而是通过堵塞队列来进行通信, 生产者(生产速度快)不必再等待消费者是否处理完数据, 消费者直接从队列中取, 该队列就相当于一个缓冲区, 平衡了生产者和消费者的工作能力, 从而提高了程序整体的数据处理速度

3. 如何实现

通过队列 : 生产者------>队列------->消费者

4. 示例

producer_consumer_spider.py

import queue
import random
import threading
import timeimport blog_spiderdef do_craw(url_queue: queue.Queue, html_queue: queue.Queue):while True:url = url_queue.get()html = blog_spider.craw(url)html_queue.put(html)print(threading.current_thread().name, f"craw {url}", "url_queue.size=", url_queue.qsize())time.sleep(random.randint(1, 2))def do_parse(html_queue: queue.Queue, fout):while True:html = html_queue.get()results = blog_spider.parse(html)for result in results:fout.write(str(result) + '\n')print(threading.current_thread().name, f"results.size", len(results), "html_queue.size=", html_queue.qsize())time.sleep(random.randint(1, 2))if __name__ == '__main__':url_queue = queue.Queue()html_queue = queue.Queue()for url in blog_spider.urls:url_queue.put(url)for idx in range(3):t = threading.Thread(target=do_craw, args=(url_queue, html_queue), name=f"craw{idx}")t.start()fout = open("02.data.txt", "w", 1024, 'utf-8')for idx in range(2):t = threading.Thread(target=do_parse, args=(html_queue, fout), name=f"parse{idx}")t.start()

参考资料:

  • https://www.cnblogs.com/mingerlcm/p/8999004.html
  • Python并发编程之多进程(生产者消费者模型)
http://www.fp688.cn/news/146365.html

相关文章:

  • 平顶山做网站seo快速排名利器
  • 湖北神润建设工程网站网络快速排名优化方法
  • 广西五建公司官网seo搜索引擎推广
  • 新冠感染最新数据网站seo方案
  • 做网站维护的人叫啥网站优化外包顾问
  • 顺德网站建设市场不用流量的地图导航软件
  • 深圳建设工程交易网站推广文章的注意事项
  • 长沙推广网站外贸营销型网站建设公司
  • 阿里巴巴如何建设网站首页seo是什么意思中文翻译
  • 地方网站做哪些内容泉州全网推广
  • 网站登录模版 下载比较好的友链平台
  • 国外永久免费crm系统seo交互论坛
  • wordpress addmetabox伊春seo
  • 旅游网站的建设的意义重庆关键词优化平台
  • 桂林建设银行招聘网站视频号关键词搜索排名
  • 做网站收录真的假的域名查询 ip
  • 网络科技有限公司是做什么的昆明百度搜索排名优化
  • 重庆网上找工作哪个网站好列表网推广效果怎么样
  • 商城网站建设天软科技百度网盘搜索引擎入口在哪
  • 电子图书馆网站建设深圳网站设计实力乐云seo
  • 如何做教育公司网站网络营销知识
  • 发卡网站源码下载个人免费网站创建入口
  • 西安云英网站建设百度广告推广价格
  • 做医药代表去什么招聘网站网站性能优化
  • 网站建设背景怎么写足球世界排名国家最新
  • 苏州网站建设自助建站模板seo学途论坛网
  • 新手网站建设首页关键词排名
  • 你有网站 我做房东 只收佣金的网亚马逊跨境电商开店流程及费用
  • 做网站源码流程中国北京出啥大事了
  • 营销网站定制域名注册查询阿里云