本人有一个 小网站，后台可以查看蜘蛛数据，经常发现有许多国外蜘蛛爬取。作为一个面向国内特定地域用户的网站，着实用不着那些蜘蛛来消耗资源，网上找到一段Nginx配置代码，加上后很灵敏，那些国外蜘蛛第二天就不来了。
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}不过这几天又冒出来许多莫名其妙的蜘蛛，以114.119和114.225IP段开头，查询IP地址为新加坡华为云，例如
由于都是华为云IP，网上搜素华为蜘蛛相关关键词，找到一篇文章：华为搜索爬虫不遵守协议高频抓爬如DDoS攻击让国内外许多网站痛苦不堪
看来华为蜘蛛黑历史早就有之。然后我查看网站log，发现该蜘蛛名字为PetalBot，中文名翻译过来就是华为花瓣搜索引擎蜘蛛。PetalBot介绍参考资料
版权声明：本文由贝联科技发布，如需转载请注明出处，如需分享可点击上方生成海报按钮。
网站http/https/www/无www开头域名访问301重定向设置方法
众所周知，根据搜索引擎的喜好，相同内容的页面最好是只有一个URL网址，一些新手站长可能不注意，自己做的网站同个网页会出现２个或者４个URL可以访问。这些网址形式如： htttp://www.nqnh.com http://nqn...
如何给网站文章页前面自动加个目录导航
一些网站文章正文前有个目录导航，这是根据本文的h标签自动添加上去的，一些朋友可能需要这样的功能，其实本站文章页面也是如此显示，但此种写法只适用Zblog系统，下面给出个通用方案。要实现的效果类似下图修改简要文字说明本文分享具体代码，主要涉及...
PbootCMS后台去版权显示教程
PbootCMS是一个很不错的PHP建站系统，但后台一些明显的PbootCMS字样看着不舒服，本人在此分享下自己和其他网友总结出来的经验。特别说明，本人只是修改一些明显的碍眼字样，请大家一起尊重PbootCMS 知识产权。（一）后台登录界面...
WIN10系统Edge浏览器如何启用IE模式访问网银网站
因为本人需要和长安银行每季度进行网银对账，每每碰到Win10系统不好登录长安银行网银网站问题，在此分享解决办法。不得不说这些银行真的落伍，什么年代了还让客户必须用IE浏览器访问你的网站才可以登录。微软公司启用了谷歌内核的Edge浏览器，不再...
转载的CSS两列布局，三列布局方法
下面方法主要用的display:inline-block属性，设置同行DIV宽度，另一个DIV用margin限制宽度。按照文档流默认显示方法CSS两列布局，右侧固定，左侧自适应宽度 <div style="widt...
win10系统如何删除任务栏图标残留
本人win10电脑上装过一些软件后已删除，但是发现在“选择哪些图标显示在任务栏上”里面仍然存在这些软件名字，让完美倾向者看着非常难受。网上搜索发现不少人也遇到这问题，并提出了解决方法。我参照一个方案进行操作，发现没起作用。后来经过反复对比，...
- 热门阅读
-
4181 浏览Zblog相关
-
3973 浏览其他杂项
-
3879 浏览其他杂项
3649 浏览Zblog相关
3348 浏览Discuz点微
- 热评文章
-
1 评论Zblog相关
1 评论Zblog相关
0 评论Zblog相关
-
0 评论其他杂项
0 评论PC软件
