网友提问:
测试的网站不想被百度抓取,也不想搜索关键词排名,应该怎设置?
优质回答:
当网站设计完成后,网站上线前我们应该给网站做一个基本的测试,主要是看看网站还有没有什么问题。如果不给网站做测试就上线,就有可能出现问题,直接导致网站在搜索引擎的排名。那么,给网站测试,你该关注哪些指标呢?
1、网站定位
网站一定要有准确的定位,网站的标题、核心关键词、描述都要准确,查看主页,栏目页面,内容页面,有没有错误的,不要再网站的每个页面使用相同的标题,关键词和描述,这样对网站没有任何好处的。
2、服务器速度
可以利用一些工具来检测服务器的反应时间以及是否超时。
3、HTTP状态码
当网站没有做优化的时候,网站的主页会出现四条路径,这四条路径会分散网站的权重,每条得到四分之一。301重定向对于网站来说是非常重要的,可以给网站首页设置默认index.html。还有就是404页面,404页面可以降低用户的跳转率,提高用户体验。
4、网站内容的添加
刚上线的网站内容很少,不要一次性添加大量内容,需要循序渐进的添加内容,内容最好是原创的,这样对网站的发展才有所帮助。
5、文章页优化
当进入到网站内容页时候,可以在网站的底部添加一些相关链接,或者用户喜欢的主题,这样可以提高用户停留在网站的时间,同时也能提高用户体验,增加网站排名。但要记住,不要把网站的每个页面弄得相关性太强了,这样会影响到网站的优化。
6、robots.txt设置
禁止搜索引擎抓取网站的无关页面,禁止蜘蛛爬虫进入到网站。
这些就是网站上线前必不可少的准备工作,只有经过了层层检测,网站才能正式上线,这样才对网站顺利的运行下去。
其他网友回答
有些站长比较喜欢将站点上线测试(不喜欢在本地测试),但是又不想被百度等搜索引擎抓取,那么应该怎么暂时屏蔽呢?今天boke112就跟大家简单介绍几种方法。
方法一:WordPress站点的直接后台设置
WordPress站点可以直接登录站点后台 >> 设置 >> 阅读 >> 勾选“建议搜索引擎不索引本站点”并点击【保存更改】即可。
方法二:通过robots.txt禁止
直接在网站根目录中新建一个robots.txt文件,然后在文件中添加以下代码:
User-Agent: *
Disallow: /
方法三:通过noindex标记来禁止
直接在站点的头文件header.php文件中添加以下代码:
<meta name=”robots” content=”noindex” >
方法四:通过PHP代码禁止(WordPress站点为例)
将以下代码添加到主题目录的functions.php当中:
ob_start(“Deny_Spider_Advanced”);
function Deny_Spider_Advanced() {
$UA = $_SERVER[‘HTTP_USER_AGENT’];
$Spider_UA = ‘/(spider|bot|)/i’; //定义需要禁止的蜘蛛UA,一般是spider和bot
//如果检测到UA不为空而且发现是蜘蛛则返回404
if($UA && preg_match_all($Spider_UA,$UA)) {
header(‘HTTP/1.1 403 Forbidden’);
header(“status: 403 Forbidden”);
}
}
可以自行替换或添加以上的spider|bot,多个用|隔开即可。
方法五:Nginx禁止
在server{}中添加以下代码:
#如果抓取的UA中含有spider或bot时返回403
if ($http_user_agent ~* “spider|bot”) {
return 403; #如果是删除已收录的,则可以返回404
break;
}
可以自行替换或添加以上的spider|bot,多个用|隔开即可。
方法六:Apache禁止
在.htaccess中添加以下代码:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|spider|bot) [NC]
RewriteRule ^(.*)$ – [F]
可以自行替换或添加以上的spider|bot,多个用|隔开即可。
总结
理论上以上6种方法都有效,建议找适合自己站点的一种办法来使用即可。一般采用方法二比较普遍,如果能够结合方法五或六来使用估计效果更佳。
以上就是小编关于【测试的网站不想被百度抓取也不想搜索关键词排名应该怎设置】的分享,希望对你有用。