您好!欢迎光临北京欢迎(yíng)你科技有限公司官网!
售(shòu)前咨(zī)询热(rè)线: 400-8737-108 北京地区专线: 010-52886123 售后服务专线: 010-56035709 VIP专线: 15901551129(24小时)
您可以通过以下新闻与公(gōng)司(sī)动态进一步了解我们。我们所签约的(de)客户,无论(lùn)他们的项目是大或者小,我们都将提供好的服务。
神马是robots.txt文件(jiàn)?
搜索引擎使(shǐ)用spider程序自动访问互联网上地网页并获取网页信息。spider在(zài)访问壹个网站时,会(huì)首先(xiān)会检查该网站地根域(yù)下是否有壹个叫做 robots.txt地纯文本文件,这个文件用于指定spider在您网站上地抓取范围。您能在您地网站中创建壹个robots.txt,在文件中声(shēng)明 该网站中不想被搜索引擎收录地部分或者指定搜索引擎只收录特(tè)定地部分(fèn)。
请注意,仅当您地网站包(bāo)含不希望被搜索引擎收录地内容时,才需(xū)要使用robots.txt文件。如果您希望搜索(suǒ)引擎(qíng)收录网站上所有内容,请勿建立robots.txt文件。