與我們合作

我們專注：網(wǎng)站策劃設(shè)計(jì)、網(wǎng)絡(luò)輿論監(jiān)控、網(wǎng)站優(yōu)化及網(wǎng)站營(yíng)銷、品牌策略與設(shè)計(jì)
主營(yíng)業(yè)務(wù)：網(wǎng)站建設(shè)、移動(dòng)端微信小程序開(kāi)發(fā)、APP開(kāi)發(fā)、網(wǎng)絡(luò)運(yùn)營(yíng)、云產(chǎn)品·運(yùn)維解決方案

有一個(gè)品牌項(xiàng)目想和我們談?wù)剢?

您可以填寫右邊的表格，讓我們了解您的項(xiàng)目需求，這是一個(gè)良好的開(kāi)始，我們將會(huì)盡快與您取得聯(lián)系。當(dāng)然也歡迎您給我們寫信或是打電話，讓我們聽(tīng)到您的聲音

您也可通過(guò)下列途徑與我們?nèi)〉寐?lián)系：

地址: 上海市長(zhǎng)寧區(qū)華寧國(guó)際7L

電話: 400-825-2717(咨詢專線)

電話: 13054973230(售后客戶服務(wù))

網(wǎng) 址: http://www.whjy118.cn

傳真: 021-61488448

郵箱: admin@wumujituan.com

快速提交您的需求 ↓

分享一些惡意爬蟲(chóng)的UA特征

發(fā)布日期：2023-12-01 瀏覽次數(shù)：36456

使用寶塔面板的可以添加在Nginx防火墻里面的UA黑名單（自己整理，僅供參考）

paloaltonetworks
Go-http-client
webprosbot
python
github
libcurl
fasthttp
ZoominfoBot
Knowledge AI
RepoLookoutBot
seokicks
serpstatbot
SurdotlyBot
DataForSeoBot
DigExt
HttpClient
MJ12bot
AhrefsBot
DotBot
SemrushBot
MegaIndex
BLEXBot
ExtLinksBot
DnyzBot
Web-Crawler
Ezooms
Linguee Bot
WellKnownBot
MauiBot
HubSpot
Criteo
Barkrowler
Grapeshot
Yellowbrandprotectionbot
FlightDeckReports
Heritrix
AwarioBot

CensysInspect
InternetMeasurement
axios
curl

再分享一些冒充手機(jī)設(shè)備拼命爬的惡意UA（都是非常老的手機(jī)）
SM-G900P
OPPO A33
FRD-AL00
ALE-CL00
這些機(jī)型非常老，2012-2014年的老手機(jī)，一般不會(huì)有人在用，不過(guò)我本人是沒(méi)有屏蔽，因?yàn)樽罱l(fā)現(xiàn)，這些爬蟲(chóng)換了手機(jī)型號(hào)，現(xiàn)在還模擬了各種其他手機(jī)，比如小米，還有QQ瀏覽器等各種瀏覽器UA

還有一種方式直接在配置文件里做了跳轉(zhuǎn)：

if ($http_user_agent ~ "^Mozilla\/5\.0.\(Linux\;.Android.5\.0\;.*Chrome.*Safari\/537\.36" )
{
return 404;
}