网站要是不想被同行用工具给扒光怎么办

怎么防止同行窥探我们的网站？

我们先了解下工具是怎么工作的，说白了，工具能了解你的一切，用的是一个叫作爬虫的东西，爬虫的定义没必要去过分了解，只要知道他的作用就可以了，那么我们要做的就是防止这些爬虫过来，怎么办呢？

这个地方我们会用到一个叫做robots.txt协议的东西，这个和代码会牵扯到一点点的相关关系，一般协议位于网站的根目录下面，如果没有的话，可以新建一个，名字是”robots.txt”，然后将下面的代码全部放进去。

下面的这个代码基本上包括了市面上大多数的爬虫蜘蛛，这样也就可以让自己的网站不被别人所抓取了，肯定这个时候有个以为就是，我自己想查我自己的数据怎么办？

三种方法：

增加一个GA，google analytics。
增加一个GSC，基本上是必须增加的，全名是google search console。
在用工具爬取之前，先给他把这个文件删除，等用完工具再给他删除。

User-agent: SemrushBot
User-agent: SemrushBot-SA
User-agent: Rogerbot  
User-agent: Exabot  
User-agent: MJ12bot  
User-agent: Dotbot  
User-agent: Gigabot  
User-agent: AhrefsBot  
User-agent: BlackWidow 
User-agent: ChinaClaw  
User-agent: Custo  
User-agent: DISCo  
User-agent: Download\ Demon  
User-agent: eCatch  
User-agent: EirGrabber  
User-agent: EmailSiphon  
User-agent: EmailWolf  
User-agent: Express\ WebPictures  
User-agent: ExtractorPro  
User-agent: EyeNetIE  
User-agent: FlashGet  
User-agent: GetRight  
User-agent: GetWeb!  
User-agent: Go!Zilla  
User-agent: Go-Ahead-Got-It  
User-agent: GrabNet  
User-agent: Grafula  
User-agent: HMView  
User-agent: HTTrack  
User-agent: Image\ Stripper  
User-agent: Image\ Sucker  
User-agent: Indy\ Library 
User-agent: InterGET  
User-agent: Internet\ Ninja  
User-agent: JetCar  
User-agent: JOC\ Web\ Spider  
User-agent: larbin  
User-agent: LeechFTP  
User-agent: Mass\ Downloader  
User-agent: MIDown\ tool  
User-agent: Mister\ PiX  
User-agent: Navroad  
User-agent: NearSite  
User-agent: NetAnts  
User-agent: NetSpider  
User-agent: Net\ Vampire  
User-agent: NetZIP  
User-agent: Octopus  
User-agent: Offline\ Explorer  
User-agent: Offline\ Navigator  
User-agent: PageGrabber  
User-agent: Papa\ Foto  
User-agent: pavuk  
User-agent: pcBrowser  
User-agent: RealDownload  
User-agent: ReGet  
User-agent: SiteSnagger  
User-agent: SmartDownload  
User-agent: SuperBot  
User-agent: SuperHTTP  
User-agent: Surfbot  
User-agent: tAkeOut  
User-agent: Teleport\ Pro  
User-agent: VoidEYE  
User-agent: Web\ Image\ Collector  
User-agent: Web\ Sucker  
User-agent: WebAuto  
User-agent: WebCopier  
User-agent: WebFetch  
User-agent: WebGo\ IS  
User-agent: WebLeacher  
User-agent: WebReaper  
User-agent: WebSauger  
User-agent: Website\ eXtractor  
User-agent: Website\ Quester  
User-agent: WebStripper  
User-agent: WebWhacker  
User-agent: WebZIP  
User-agent: Wget  
User-agent: Widow  
User-agent: WWWOFFLE  
User-agent: Xaldon\ WebSpider  
User-agent: Zeus 
Disallow: /