本人有一个 小网站，后台可以查看蜘蛛数据，经常发现有许多国外蜘蛛爬取。作为一个面向国内特定地域用户的网站，着实用不着那些蜘蛛来消耗资源，网上找到一段Nginx配置代码，加上后很灵敏，那些国外蜘蛛第二天就不来了。
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}不过这几天又冒出来许多莫名其妙的蜘蛛，以114.119和114.225IP段开头，查询IP地址为新加坡华为云，例如
由于都是华为云IP，网上搜素华为蜘蛛相关关键词，找到一篇文章：华为搜索爬虫不遵守协议高频抓爬如DDoS攻击让国内外许多网站痛苦不堪
看来华为蜘蛛黑历史早就有之。然后我查看网站log，发现该蜘蛛名字为PetalBot，中文名翻译过来就是华为花瓣搜索引擎蜘蛛。PetalBot介绍参考资料
版权声明：本文由贝联科技发布，如需转载请注明出处，如需分享可点击上方生成海报按钮。
PbootCMS模板主题可用标签大全（PbootCMS仿站必备标签）
以下为PbootCMS网站模板可用标签收集整理大全，免费分享1、公司信息标签适用范围：全站任意地方均可使用。标签作用：用于调取网站与公司相关的信息，对应后台的“基础内容>公司信息”。{pboot:companyname}公司名称{pb...
互联网项目引流的指导思想和误区
本文源自义乌之狼微信群内一个群友分享的三张引流图片，觉得挺有价值，特在此分享。一、引流指导思想1.1引流（革命）思想，指导路线革命指导思想--农村包围城市，武装夺取政权；引流指导思想-广告化（形式）策略，流水化（批量）生产。1.2思想策略，...
PbootCMS后台去版权显示教程
PbootCMS是一个很不错的PHP建站系统，但后台一些明显的PbootCMS字样看着不舒服，本人在此分享下自己和其他网友总结出来的经验。特别说明，本人只是修改一些明显的碍眼字样，请大家一起尊重PbootCMS 知识产权。（一）后台登录界面...
网站http/https/www/无www开头域名访问301重定向设置方法
众所周知，根据搜索引擎的喜好，相同内容的页面最好是只有一个URL网址，一些新手站长可能不注意，自己做的网站同个网页会出现２个或者４个URL可以访问。这些网址形式如： htttp://www.nqnh.com http://nqn...
正则表达式自学教程
因为本人有时需要批量替换改写文章，简单的关键词替换不能满足需求，不得不学习正则表达式，作为一个新手，这里记录一些正则规则和遇到的问题。 一、正则常用到符号含义1.1.第一批正则学习[]匹配列表之中的任何单个字符.例如，"...
苹果手机屏蔽iOS18系统更新方法+描述文件免费下载
屏蔽IOS18系统更新说明苹果手机有很不错的用户体验，但苹果IOS系统总是提示自动更新，对一些有特殊版本需求的朋友来说，这点就很讨厌了。贝联科技在此分享苹果IOS系统屏蔽自动更新18系统的最新办法和描述文件，希望对您有所帮助。特别说明，本方...
- 热门阅读
-
4200 浏览Zblog相关
3989 浏览其他杂项
3898 浏览其他杂项
3659 浏览Zblog相关
3357 浏览Discuz点微
- 热评文章
-
1 评论Zblog相关
1 评论Zblog相关
0 评论Zblog相关
-
0 评论其他杂项
0 评论PC软件
