前面筆者寫過一篇關于刪除不想被收錄的域名或頁面百度快照辦法,但由于百度有一定延遲,想到先用robots屏蔽的辦法。SEO博客原來是不帶www的作為主域,現在用www的域名作為主域,原主域已經收錄幾百個了,刪除這些快照都不知道花多長時間。提醒各位盡量減少在中途變更主域,為把排名影響減少,一定要看完本帖。
下面修改方法只適合用.htaccess把二級域名解析在子目錄的虛擬主機,不適合IIS。其他方法參考文章《》
本站域名xiuzhanwang.com,解析了www.alolpiu.com.cn,zhan.xiuzhanwang.com,兩個二級域名(www.alolpiu.com.cn實際上屬于二級域名)
期間還解析過m.vi586.com,shop.vi586.com等二級域名,這些域名已經停止使用了,空間也過期了,但網上還有快照,無法通過robots屏蔽。
(2016.6.9更新本帖)
筆者在2016年5月中旬做了下面這些操作,前面還對其他非主域名進行過閉站保護,目前已經把非主域名的內容全部成功轉到www.alolpiu.com.cn下,當然搜索引擎是比較滯后的,每個地區需要的時間不盡相等。
徹底屏蔽不需要二級域名方法
1.把不需要的二級域名分配到不同的空間進行robots屏蔽。既然已經取消二級域名的解析了,當然不推薦這樣的做法,土豪請便。
2.利用.htaccess實現非主域名訪問robots.txt實際是訪問wrobots.txt(該文件屏蔽蜘蛛抓取)。以萬網Apache平臺為例,vi586.com域名做全站301跳轉到www.vi586.com,用robots徹底屏蔽蜘蛛抓取,經秀站網秀站網測試成功。
wrobots.txt內容如下
User-Agent:* Disallow:/
.htaccess內容如下
RewriteEngine on RewriteCond %{HTTP_HOST} ^www.vi586.com [NC] RewriteRule ^robots.txt wrobots.txt [L] RewriteCond %{REQUEST_FILENAME} !robots.txt RewriteRule ^(.*) http://xiuzhanwang.com/$1 [R=301,L]
第四行說明盡在請求名稱非robots.txt的時候,才會執行后面的301跳轉,避免第三條規則被覆蓋。以上規則放在最前面,以免與原來的301規則發生沖突,下面是經測試成功的完整代碼:
RewriteEngine on RewriteCond %{HTTP_HOST} ^www.vi586.com [NC] RewriteRule ^robots.txt wrobots.txt [L] #以下為已存在規則: <IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_HOST} !^www.alolpiu.com.cn [NC] RewriteRule ^(.*)$ http://www.alolpiu.com.cn/$1 [L,R=301] </IfModule>
效果測試訪問:http://www.alolpiu.com.cn/robots.txt和http://xiuzhanwang.com/robots.txt ,出現的結果是不是不一樣了呢。
當然這個方法對二級域名解析到二級目錄也是可行的,方法參考文章《萬網利用.htaccess完美實現子域名跳轉到子目錄》,由于已經URL重寫了,要把二級目錄下的robots.txt更名為wrobost.txt(蜘蛛只會訪問robots.txt文件)不然會提示404錯誤。訪問:http://zhan.xiuzhanwang.com/robots.txt
二級域名解析到二級目錄與屏蔽不需要的域名.htaccess完整代碼如下
RewriteEngine On RewriteCond %{HTTP_HOST} !^www.alolpiu.com.cn [NC] RewriteRule ^robots.txt wrobots.txt [L] RewriteRule ^index\.(php|html|htm)$ http://www.alolpiu.com.cn/ [R=301,L] #tag偽靜態規則 RewriteRule ^tags.html$ /tags.php RewriteRule ^tags/(.*).html$ /tags.php?/$1/ #二級域名解析到二級目錄 <IfModule mod_rewrite.c> RewriteEngine On RewriteBase / RewriteCond %{HTTP_HOST} ^zhan\.xiuzhanwang\.com$ [NC] RewriteCond %{REQUEST_URI} !^/zhan/ RewriteRule ^(.*)$ zhan/$1?Rewrite [L,QSA] </IfModule> #不帶www域名301到帶www域名 <IfModule mod_rewrite.c> RewriteEngine On RewriteCond %{HTTP_HOST} !^www.alolpiu.com.cn [NC] RewriteRule ^(.*)$ http://www.alolpiu.com.cn/$1 [L,R=301] </IfModule>
3.如果需要屏蔽的是二級目錄(如:/about)但是能抓取里面的以*.html文件,直接在robots.txt寫上
Disallow:/about/ Allow:/about/*.html
4.無法用robots屏蔽的目錄或二級域名可以用跟301跳轉,那些沒用的頁面刪除,向百度提交404頁面即可。
5.如果是空間自帶的三級域名被收錄,采取規范好URL路徑,所有鏈接采用主域名的絕對路徑,不給任何不想收錄的二級域名入口,并更新高質量的內容,讓搜索引擎重新審核主域。
不需要的二級域名處理辦法總結
筆者對不需要的二級域名剛開始并沒有做太多的處理,也有朋友建議我不用去管,做好URL規范和更新內容,讓百度自己去判斷主域就好,事實是朋友們是對的,百度蜘蛛慢慢的也沒那么“蠢”了。這些快照只是時間問題,內容質量不高的頁面即使抓取了,也不會放出快照,何況一些二級域名的錯誤提示呢。
本文地址:http://www.alolpiu.com.cn/seo/1582.html
發表評論
評論列表(條)