当前位置: 首页 > news >正文

软文自助发稿平台百度seo按天计费

软文自助发稿平台,百度seo按天计费,近期做网站需要什么软件,南昌市城乡建设委员会新网站本文章仅供技术研究参考&#xff0c;勿做它用&#xff01; 5秒盾的特点 <title>Just a moment...</title> 返回的页面中不是目标数据&#xff0c;而是包含上面的代码&#xff1a;Just a moment... 或者第一次打开网页的时候&#xff1a; 这几个特征就是被Cloud…
本文章仅供技术研究参考,勿做它用!
  • 5秒盾的特点

<title>Just a moment...</title>

返回的页面中不是目标数据,而是包含上面的代码:Just a moment...

或者第一次打开网页的时候:

这几个特征就是被Cloudflare保护的网站,熟称5秒盾。

  • 免费版5秒盾的绕过方法

安装cloudscraper

pip3 install cloudscraper
import cloudscraper
scraper = cloudscraper.create_scraper()
resp = scraper.get('目标网站').text

将代码中的requests 替换成scraper即可,其他和requests一样正常使用。

  • 付费版5秒盾的绕过方法

如果网站部署的是付费版的5秒盾,用上述的cloudscraper就无法绕过,会返回下面的内容

Detected a Cloudflare version 2 (aptcha challengeeature is not available in the operce (free) version

付费版本绕过方法:docker 部署  flaresolverr 。

绕盾大致过程就是使用flaresolverr来代理我们的request请求,flaresolverr启动模拟浏览器绕盾成功之后我们保存好所需的cookies等参数,后续的requests就使用这些参数直接请求目标页面即可。如果请求的时候发现又被拒绝了,就重新启动绕盾步骤。

部署flaresolverr,本文章中的docker 和 flaresolverr  部署在爬虫程序同一台机器上。

linux 指令:

docker run -d --name=flaresolverr -p 8191:8191 -e LOG_LEVEL=info --restart unless-stopped ghcr.io/flaresolverr/flaresolverr:latest

 这里的代理端口设置的是 8191

部署完毕后使用curl 指令进行测试,不是本机部署请更换localhost 为flaresolverr 机器IP

curl -L -X POST 'http://localhost:8191/v1' -H 'Content-Type: application/json' --data-raw '{"cmd": "request.get","url":"https://你的目标网站/","maxTimeout": 160000}'

 这里有个注意点就是如果部署的机器性能比较差、目标网站性能差、或者网络通路不良等情况,maxTimeout 的值要设置 的足够大(ms),不然会失败,我在实测一个网站的时候最大一次绕盾过程用了两分钟,例子代码中设置了160秒超时。

 附上绕盾用的python代码:

    def 绕过5秒盾(self,xxxx):print("破盾中...")urlServer = "http://localhost:8191/v1"payload = json.dumps({"cmd": "request.get","url":'https://www.目标网站.com',"maxTimeout": 160000})headers = {'Content-Type': 'application/json'}response = requests.post(urlServer, headers=headers, data=payload)# print(response.status_code)# print(response.json()['solution']['cookies'])if response.status_code==200:userAgent = response.json()['solution']['userAgent']for item in response.json()['solution']['cookies']:self.cookies[item["name"]] = item["value"]self.UA = userAgentprint("破盾成功")return responseprint("绕过5秒盾错误!!!")

获取到绕盾成功的cookies ,之后的请求都使用requests 携带此cookie 直接请求即可,不需要每个请求都使用绕盾的方式。

因为flaresolverr启动绕盾浏览器会占用大量机器资源。

参考内容:

https://www.163.com/dy/article/HUM0G2U505561QYO.html

https://www.5axxw.com/wiki/content/df5u4r

http://www.fp688.cn/news/155256.html

相关文章:

  • 深圳市南山区政府在线广安网站seo
  • 网站分几个阶段建设seo关键词排名优化要多少钱
  • 沈北新区建设局网站石家庄网站建设方案
  • wordpress民俗主题aso关键词优化计划
  • 廊坊网站建设团队百度大盘指数
  • 余姚做百度网站保定百度首页优化
  • 中企动力做的网站升级收费百度seo和sem的区别
  • 网站如何做流量青岛网
  • 找人做网站需要什么条件网络seo软件
  • 爱站网关键词密度站长之家新网址
  • 池州海绵城市建设官方网站seo优化外包顾问
  • wordpress站点描述郑州seo技术外包
  • 网站开发已有的知识储备淘宝运营主要做些什么
  • 俄罗斯最新消息seo优化技术培训
  • 做物流的可以在那些网站找客户端百度网站站长工具
  • 网站开发方案论文如何优化关键词提升相关度
  • 广西网站建设服务好东莞seo计费
  • dede网站首页加悬浮广告网站搜索排优化怎么做
  • 自适应网站有哪些seo 优化 工具
  • 义乌网站建设国外网站seo免费
  • 做音乐网站的目地爱站网长尾关键词
  • 贵州疫情最新情况最新消息今天seo的收费标准
  • 厦门市建设局网站文件成都纯手工seo
  • 网站规划书 确定网站建设目的地推网推平台
  • 网站的建设与运营建设公司网站大概需要多少钱?
  • 建立一个网站需要人员建站流程新手搭建网站第一步
  • 张家港网站建设培训学校策划是做什么的
  • 兰州优化网站seo技术培训沈阳
  • 第一调查网无锡seo优化
  • 常熟公司做网站阳江seo