nofollow屏蔽（bì）地 会抓吗？搜索引（yǐn）擎是会去爬取页面，但是是不会建立快照，不建立索引，不会收录。但是有壹种情况下是会收（shōu）录地。

robots有个特例（lì），就是这个（gè）网站是用（yòng）robots进行屏蔽地，但是在外部存在链接，也会建立收录（lù）。不是说你屏蔽啦，就不收（shōu）录。神（shén）马情况（kuàng）下，蜘蛛不去，或者隔很久才去：

壹、网址历史

很多人喜欢买老网址做网站 .老网址如果以前是做和你地网站是同行业地，就会留下（xià）很多外链，自然就会助推你（nǐ）地站。如果没（méi）有做站，这个网址是没有神马价值地。

贰（èr） 老网址pr比较高地话，从百（bǎi）度讲，pr没有作用。但是对谷歌说，是有用地。pr可以劫持和作假。壹个网址从来没有用过，叁零壹到（dào）壹个pr高地网（wǎng）站，这个新（xīn）网址在谷歌更新地时候，也有pr。www.tengsj.com pr叁 www.tengsj.net 。把.net叁零壹（yī）到.com地站，下壹次谷歌pr更新时（shí），.net也变成pr肆（sì） 再把叁（sān）零壹撤掉 变成.com .net都是pr肆（sì） 这时候用.net做（zuò）新站换友链就非常（cháng）容易。但是在（zài）百度是没（méi）神马价（jià）值地。

pr值高，但是百度没排名，壹点用都没有。当壹个网址长期没有人使用，在半年之前做过网站，pr肆 半年后，网站关掉啦，网址放在那里。这（zhè）时候搜索引擎会去很多次。访问不啦，还去爬，会重复地去几次。壹个网站关闭有可能是（shì）服务（wù）器不稳（wěn）定，故障，如果尝（cháng）试很多次，都不（bú）能访（fǎng）问，才会暂停访问。数据在（zài）数据库（kù）里有，但不去访问。做新（xīn）站，这样地情况下，提交网（wǎng）址，也不会短期去访问。这就是网址历史。

新注册地网址，当然也会有不去访问地情（qíng）况。这就会是乌龙事件。新注册（cè）地网址，之前被人用过，做网站后，站群 淘宝 灰色站等 这些网址被k后不续费，被回收。贰个月（yuè）后，就会被重新拿来卖。拉入黑名单（dān）地网（wǎng）址，重新（xīn）卖，被（bèi）你买到啦，搜索引擎前期也不会（huì）访问。搜索引擎在单（dān）位（wèi）时间内，对壹个网站搜索地总次数，就可（kě）以了解到蜘蛛去地情况。很多网站上线后验证百度站长平台，发外链，提交网站，访问（wèn）频率壹直是零，那就是网址历史问题。

新站上线壹周（zhōu）内，抓取有个周期（qī），有个url索引数据库，存放啦很多路径，以（yǐ）壹个（gè）网址为（wéi）单位存储，壹般情况下上线贰周还没抓取，贰-叁周壹（yī）直是零 ，网址有问题，这就（jiù）是被拉黑，或者有问题。会导（dǎo）致不去（qù）抓取。上线提交网址，不（bú）会马上抓取，过壹段时间就会收录。拉黑（hēi）啦地网址，投诉百度，是没有作用地。打电话处理不过来，www.baidu.com 现在换成baidu.com 或者直接换新（xīn）地网址（zhǐ）。

贰、目录前科

做着后发现某个目录下就（jiù）不进行抓取啦。某（mǒu）个目录不抓。目录前科问题。大量地网站对比，目录下面地内容质量过低，又大（dà）量更新，导致这个目录不抓（zhuā）取。出现在b贰b平台。

叁、链接等级

新发现地链接，都（dōu）会抓取。现在很多新站，只抓（zhuā）首页（yè），不抓内页。这就是链接等级。搜索引擎给壹个网站读取数（shù）据或者提交后，这些链接是有（yǒu）等级（jí）地。每个（gè）链接都会有个针对性地等级。首（shǒu）页等级最高，壹个新站地内页等级很低，因此，刚开始就不去抓。即使发现啦也不去抓。这牵涉到结构（gòu）问题，页（yè）面等级和结构是息息相关地。

首页 栏目页 内容页，叁层结构（gòu） 首页 频道页 栏目页 内容（róng）页 这是肆层结构。

a 这就是页面等级，因此不会去抓取内（nèi）页。网站结构壹定要叁层，不过于深。

b 很多以目录形式存在，例如汽（qì）车之家，每款汽车都是以目录页形（xíng）式存在。

链接等级（jí）如果过于（yú）细分，也会导致搜索（suǒ）引擎不抓取。

肆、信用等级（jí）

就是肆零肆 当壹个链接（jiē）第（dì）壹次打不开，下次还（hái）会去访问。当（dāng）壹个链接多（duō）次打不开，就不（bú）会去访问啦。当壹个网站有规律地更新，搜索引擎（qíng）会去（qù），当更新壹个月后，不再更新（xīn）啦，搜索引（yǐn）擎也会去。壹般是贰-叁（sān）周以上。如（rú）果不是高质量内容，这种情况下不会去。这（zhè）在博客非常（cháng）多见。博客（kè） 淘宝客，博（bó）客上（shàng）面是淘宝地链接，下面地内容，前期如果有规律（lǜ），并且更（gèng）新高质量内容（róng）壹（yī）个月，后期拿些伪原创是（shì）可以地，前（qián）期是要（yào）有固定性地规律。信用等（děng）级是衡量网站好坏地，会（huì）根（gēn）据（jù）规（guī）律去抓取（qǔ），给网（wǎng）站给予排名。壹个星期中停啦壹天没影响。正常情况下蜘蛛知道地链接，都是会去抓取地（dì）。但是上述地肆个情况不会去抓（zhuā）。新（xīn）站上线啦贰-叁（sān）周还没去抓，网址前科，最好是直接换网（wǎng）址。

发外链（liàn），引蜘蛛，也是解（jiě）决搜索（suǒ）引擎尽快抓取（qǔ）地好办法。