本人有一个 小网站，后台可以查看蜘蛛数据，经常发现有许多国外蜘蛛爬取。作为一个面向国内特定地域用户的网站，着实用不着那些蜘蛛来消耗资源，网上找到一段Nginx配置代码，加上后很灵敏，那些国外蜘蛛第二天就不来了。
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}不过这几天又冒出来许多莫名其妙的蜘蛛，以114.119和114.225IP段开头，查询IP地址为新加坡华为云，例如
由于都是华为云IP，网上搜素华为蜘蛛相关关键词，找到一篇文章：华为搜索爬虫不遵守协议高频抓爬如DDoS攻击让国内外许多网站痛苦不堪
看来华为蜘蛛黑历史早就有之。然后我查看网站log，发现该蜘蛛名字为PetalBot，中文名翻译过来就是华为花瓣搜索引擎蜘蛛。PetalBot介绍参考资料
版权声明：本文由三循信息发布，如需转载请注明出处，如需分享可点击上方生成海报按钮。
相关文章
win10系统如何删除任务栏图标残留
本人win10电脑上装过一些软件后已删除，但是发现在“选择哪些图标显示在任务栏上”里面仍然存在这些软件名字，让完美倾向者看着非常难受。网上搜索发现不少人也遇到这问题，并提出了解决方法。我参照一个方案进行操作，发现没起作用。后来经过反复对比，...
百度UEditor编辑器自定义标题样式修改教程
因为自己运营的某个网站后台编辑器使用的是百度UEditor，用这个编辑器自带功能给文章可以加四个自带标题样式，但这个标题样式令人难以满意，故决定自己动手修改。从网上搜索教程，发现可能涉及到两个文件的修改，一个是该编辑器目录下editor/u...
pbootcms多语言建站常见问题（转载）
一、如何搭建多语言站？多语言/区域建站用于使用同一个后台建立多语言网站。1、使用步骤1）在后台”系统管理>数据区域”添加相应的区域，具体参考默认区域；2）将多语言的模板放入模板目录，不同语言的模板均放在template目录下；3）在后...
华为云主机重装系统、宝塔环境一点总结
因为朋友的华为云主机出了问题，我需要给重新安装系统和做好一个企业网站。本人也是摸索学习，这里总结下经验，附宝塔官方安装教程步骤一：华为云重装系统打开网址 https://www.huaweicloud.com 登录进入弹...
Zblog搜索无结果时增加一个友好提示
Zblog是个不错的博客程序，但官方不知道怎么回事不去用心完善一些基本功能，我使用时就频频发现一些缺陷bug，都有些怀疑官方故意如此是为了卖付费插件增加收入。上次发了通过修改js文件，避免前台空搜索bug的解决办法。还有一个不大不小的问题，...
苹果手机屏蔽iOS18系统更新方法+描述文件免费下载
屏蔽IOS18系统更新说明苹果手机有很不错的用户体验，但苹果IOS系统总是提示自动更新，对一些有特殊版本需求的朋友来说，这点就很讨厌了。贝联科技在此分享苹果IOS系统屏蔽自动更新18系统的最新办法和描述文件，希望对您有所帮助。特别说明，本方...
发表评论
- 热门阅读
-
-
6703 浏览其他杂项
6599 浏览其他杂项
-
5997 浏览其他杂项
5331 浏览网络日记
5313 浏览Zblog相关
- 热评文章
-
0 评论PC软件
0 评论Discuz点微
-
0 评论其他杂项
0 评论其他杂项
0 评论其他杂项
