看这样一个实验文件的URL路径: http://sem80.com/labs/subpage.htm (←同时用来引蜘蛛)
1、labs目录下有一个index.htm的新文件,并且该目录的默认访问首页也是index.htm文件。
2、同时还在labs目录下放置一个新文件subpage.htm。
3、假如,subpage.htm文件被收录以后,搜索引擎是否能够解析URL返回该文件所在目录 /labs/并将其默认首页的文件index.htm文件也检索呢?注意:实验过程中不会为/labs/这个目录添加任何的链接入口。
让实验结果出来之前,大家不妨猜测一下实验结果,发表下自己的预测意见。
2009-11-6 记录:
2009-6-26 开始试验,到现在已经近半年,http://sem80.com/labs/ (←第一个指向目录的外链)仍未收录。这说明,/labs/目录下的文件虽然有被收录,即便目录下有了默认首页也不会被搜索引擎收录,只有在页面中把链接放出引导蜘蛛才可被收录。同理,如果是/labs/目录下的其他文件如果没有链接入口提供给蜘蛛也不会被搜索引擎收录。
2009-6-26 开始试验,到现在已经近半年,http://sem80.com/labs/ (←第一个指向目录的外链)仍未收录。这说明,/labs/目录下的文件虽然有被收录,即便目录下有了默认首页也不会被搜索引擎收录,只有在页面中把链接放出引导蜘蛛才可被收录。同理,如果是/labs/目录下的其他文件如果没有链接入口提供给蜘蛛也不会被搜索引擎收录。
注明:这里说的收录是指site时能查到的网页快照记录。而非蜘蛛的爬行记录,本篇文章不讨论该文件是否被蜘蛛爬过。