[醒目]给各位有网站地战友地安全建议——技术帖

Newbie

不知道发到哪儿~~权当灌水吧~~咔咔
- h4 B# `/ b" N+ R5 E
( U* _7 x; O2 c+ G! Q# a偶经常教人家的是怎么能让Google之类的搜索引擎尽量多的找到你的网站。鉴于近来风声鹤唳，为了各位战友的安全，偶今天来教教大家如何不让搜索引擎找到你的网站！声明，如果有网站的JS用这个方法将可能导致你的网站访问量下降！不会再有新的用户通过Google之类的搜索引擎查找到你的网站，慎用！
/ g5 G- d9 Z' ]  O' g. o) m
先来介绍点小知识，Google如何找到你的网站？网络达人或灭兴趣的跳过好了
9 }- u2 a) F0 b8 x: T
网络搜索引擎主要由Robot（机器人又叫网络爬虫）、索引数据库和查询服务三个部分组成。Robot对互联网资源进行遍历，尽可能多地发现并采集新的信息；采用全文检索技术对采集到的信息建立索引存到索引数据库中，能够极大地提高信息检索的速度；查询服务接收并分析用户的查询，即将用户查询作为数据库提问式，根据一定的的匹配策略，如布尔模型、模糊布尔模型等方法遍历索引数据库，最后将达到一定的匹配程度的结果（包括标题项，简单文摘和链接地址）集合返回给用户。
4 ^7 T: t8 \9 ?2 f% d
) I; N* L* i3 T9 S1 hRobot有各种定义，google定义为googlebot，就是Google+Robot的意思。下面看一个Robot的例子：
  X. f- [# z, R2 I, j; x
- U% O9 R6 h3 E7 t# S9 }3 a+ hcrawler11.googlebot.com - - [08/Jan/2004:04:04:54 -0600] "GET /blog/archives/000010.html HTTP/1.0" 200 8953 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
( b$ w5 e. w* n* }, D2 y2 ~/ E
就是说，Robot报告的东西就是Google能查到的。
: U( l7 T- J) s! ]0 `
此外，由于Google每次放出Robot有一定的周期，所以Google查到的内容并不保证是最新的。也就是说你的网站已经关闭了，可是在Google上还可能查的到；或者说可能Google查到的内容实际上是你的网站几个月前的内容。

; o8 q' p! q- h, V% Q. ]废话说了介么多，好啦好啦，进入主题！怎么做？
, ?& y; N" m) b9 t! {) l
真是太太太简单了，我都不好意思说了，免得被网络达人笑话~~呵呵
# W1 }0 t: b- ]) s/ u
首先建立一个空白文本文档 robots.txt，注意，文件名必须是这个，而且必须是纯文本文件，用Windows的记事本就好啦，偶都用它写程序的说
1 }) d  E8 B+ x6 V+ S- Y; b! V4 W
- j$ b' w7 Y0 e' e$ a把下面两行贴进去，当然你要一个字一个字打偶也不反对

3 P1 ^: W# Q5 H4 M( oUser-agent: *
Disallow: /

保存，然后丢进你的网站http根目录里。
# b1 [0 w, D1 H
完了！简单吧。介样一来下次Google啊Yahoo啊之类的就不会再找你了

等一下~~~那位同学要发言。虾米？只想让论坛不会被搜索到？OK！灭问题
+ |2 G$ ?9 l8 g# {, s
  V, {5 t8 \6 nUser-agent: *
Disallow: /bbs

可以了！
; ?+ ^6 A( A" v$ P/ \* e
, }) l. A+ m3 g% p6 Q: o4 `再来个例子：

( l% a) @8 p0 S8 O/ L1 L, T: |User-agent: *
9 p7 g$ ~& m2 z+ h+ F! M) ~Disallow: /pub
Disallow: /img
0 K( S% y& `! _) lDisallow: /cgi-bin
7 P& w2 A4 y  ]" y0 D2 n# P0 EDisallow: /forum
7 f1 Y2 u2 a5 F' N  @3 {- \2 G+ LDisallow: /shop

& Q& n) B1 U' o3 ~看明白灭？想让哪个目录里的内容不被搜索到就添一行进去，注意，一行一个哦~~
/ m# }' F- h# m- U
最后，想再次让Google搜索到的话，删除那一行就可以了。如果想整个网站都能被搜索到，直接删除那个robots.txt文件！简单吧~~哇咔咔
  |/ L+ h* ]2 a2 `7 a2 j8 f
& P' K6 X1 _% v, Z# t- mps:各位JS要是用了偶介个方法记得以后要给偶打折哦~~哇咔咔
btw:007介种表演欲旺盛地曝露狂就表看偶地文章了
3 T3 Z0 v; F, q
[ Last edited by Newbie on 2004-11-30 at 19:22 ]

HADES1974

好东西,这阵风过去就又可以恢复回来了