如何讓網(wǎng)站頁面內(nèi)容不被抓?。?/h1>
2014-10-16 12:01:58王錚
計算機與網(wǎng)絡 2014年20期
■王錚
可能有的朋友會奇怪，網(wǎng)站的頁面不是讓搜索引擎抓的越多越好嗎，怎么還會有怎么讓網(wǎng)站頁面內(nèi)容不被抓取的想法。
首先，一個網(wǎng)站可以分出去的權重是有限，哪怕是Pr10的站，也不可能無限的分權重出去。這權重包括鏈到別人網(wǎng)站的處鏈以及自己網(wǎng)站內(nèi)的內(nèi)鏈。
外鏈的話，除非是想坑被鏈的人。否則外鏈都是需要讓搜索引擎所抓取，這不在本文討論范圍之內(nèi)。
而內(nèi)鏈，因為有些網(wǎng)站有不少重復或冗余的內(nèi)容。比如一些按條件查詢的搜索結果。特別是一些B2C 站，在專門查詢頁或在所有產(chǎn)品頁面的某個位置內(nèi)，都可以按產(chǎn)品類型，型號，顏色，大小等進行分類搜索。這些頁面雖然對瀏覽者來說是極大的方便，但對搜索引擎來說，這可是耗費蜘蛛極大的抓取時間，特別是網(wǎng)站頁面較多時。同時也會分散頁面權重,對SEO 不利。
另外網(wǎng)站管理登陸頁面，備份頁面，測試頁面等等，也是站長不想讓搜索引擎所收錄的。
所以就有需要讓網(wǎng)頁的某些內(nèi)容，或某些頁面不被搜索引擎所收錄。
下面筆者先介紹一下較為有效的幾種方法：
1.在FLASH 展示不想被收錄的內(nèi)容
眾所周知，搜索引擎對FLASH 的內(nèi)容抓取能力有限，不能完全抓取所有FLASH 內(nèi)的所有內(nèi)容。但遺憾的是，也不能完全保證FLASH 的所有內(nèi)容都不會被抓取。因為谷歌和Adobe 正努力的實現(xiàn)FLASH 抓取技術。
2.使用robos 文件
這是暫時最有效的方法，但有個很大的缺點。就是不傳出任何的內(nèi)容及鏈接。大家知道，在SEO 來說比較健康的頁面應該是有進有出的。有外鏈的鏈入，同時也頁面內(nèi)也需要有鏈到外部網(wǎng)站的鏈接，所以robots 文件控制，讓此頁面只進不出，搜索引擎也不知道內(nèi)容是什么。會把此頁定為低質(zhì)量頁面。權重有可能受一定的懲罰。這個多用于網(wǎng)站管理頁面，測試頁面等。
3.使用nofollow 標簽包裹不想被收錄的內(nèi)容
這個方法也不能完全保證不被收錄，因為這并不是嚴格要求遵守的標簽。另外，如果有外部網(wǎng)站鏈向了有nofollow 標簽的頁面。這樣就很有可能會被搜索引擎抓取。
4.用Meta Noindex 標簽加上follow 標簽
這個方法可以做到防止收錄而且還能傳遞出權重。要不要傳遞，看網(wǎng)站建設站長自己的需要。這個方法的缺點是，也是會較大的浪費蜘蛛的抓取頁面時間。
5. 用robots 文件的同時在頁面上使用iframe 標簽展示需要搜索引擎收錄的內(nèi)容
robots 文件可以阻止iframe 標簽以外的內(nèi)容被收錄。所以，可以把不想收錄的內(nèi)容放到正常頁面標簽下。而想被收錄的內(nèi)容放在iframe 標簽內(nèi)。
緊接著，再說一下已經(jīng)失效的方法，大家以后不要用這些方法了。
1.使用表格
谷歌和百度早已經(jīng)能抓取表格用的內(nèi)容了，無法阻止收錄。
2.使用Javascript 及Ajax 技術
以現(xiàn)在的技術來說，Ajax 和javascript 現(xiàn)在的最終運算的結果還是以HTML 的形式傳給瀏覽器以作顯示，所以這同樣無法阻止收錄。
初學者大多著眼于如何收錄，但細節(jié)決定成敗，怎么讓網(wǎng)站頁面內(nèi)容不被抓取也是SEO 進階人士需要注意的。
猜你喜歡
大狗熊在睡覺大灰狼畫報·益智版(2024年3期)2024-12-09 00:00:00 刷新生活的頁面保健醫(yī)苑(2022年1期)2022-08-30 08:39:14 無懼標簽 Alfa Romeo Giulia 200HP車迷(2018年11期)2018-08-30 03:20:32 不害怕撕掉標簽的人，都活出了真正的漂亮海峽姐妹(2018年3期)2018-05-09 08:21:02 標簽化傷害了誰公民與法治(2016年10期)2016-05-17 04:12:58 網(wǎng)絡搜索引擎亟待規(guī)范中國衛(wèi)生(2015年12期)2015-11-10 05:13:38 基于多進制查詢樹的多標簽識別方法計算機工程(2015年8期)2015-07-03 12:20:27 基于Nutch的醫(yī)療搜索引擎的研究與開發(fā)新疆大學學報(自然科學版)(中英文)(2014年2期)2014-11-06 07:49:12 廣告主與搜索引擎的雙向博弈分析技術經(jīng)濟與管理研究(2014年11期)2014-03-11 17:02:44 同一Word文檔 縱橫頁面并存電腦愛好者(2011年11期)2011-06-22 08:20:18
■王錚
可能有的朋友會奇怪，網(wǎng)站的頁面不是讓搜索引擎抓的越多越好嗎，怎么還會有怎么讓網(wǎng)站頁面內(nèi)容不被抓取的想法。
首先，一個網(wǎng)站可以分出去的權重是有限，哪怕是Pr10的站，也不可能無限的分權重出去。這權重包括鏈到別人網(wǎng)站的處鏈以及自己網(wǎng)站內(nèi)的內(nèi)鏈。
外鏈的話，除非是想坑被鏈的人。否則外鏈都是需要讓搜索引擎所抓取，這不在本文討論范圍之內(nèi)。
而內(nèi)鏈，因為有些網(wǎng)站有不少重復或冗余的內(nèi)容。比如一些按條件查詢的搜索結果。特別是一些B2C 站，在專門查詢頁或在所有產(chǎn)品頁面的某個位置內(nèi)，都可以按產(chǎn)品類型，型號，顏色，大小等進行分類搜索。這些頁面雖然對瀏覽者來說是極大的方便，但對搜索引擎來說，這可是耗費蜘蛛極大的抓取時間，特別是網(wǎng)站頁面較多時。同時也會分散頁面權重,對SEO 不利。
另外網(wǎng)站管理登陸頁面，備份頁面，測試頁面等等，也是站長不想讓搜索引擎所收錄的。
所以就有需要讓網(wǎng)頁的某些內(nèi)容，或某些頁面不被搜索引擎所收錄。
下面筆者先介紹一下較為有效的幾種方法：
1.在FLASH 展示不想被收錄的內(nèi)容
眾所周知，搜索引擎對FLASH 的內(nèi)容抓取能力有限，不能完全抓取所有FLASH 內(nèi)的所有內(nèi)容。但遺憾的是，也不能完全保證FLASH 的所有內(nèi)容都不會被抓取。因為谷歌和Adobe 正努力的實現(xiàn)FLASH 抓取技術。
2.使用robos 文件
這是暫時最有效的方法，但有個很大的缺點。就是不傳出任何的內(nèi)容及鏈接。大家知道，在SEO 來說比較健康的頁面應該是有進有出的。有外鏈的鏈入，同時也頁面內(nèi)也需要有鏈到外部網(wǎng)站的鏈接，所以robots 文件控制，讓此頁面只進不出，搜索引擎也不知道內(nèi)容是什么。會把此頁定為低質(zhì)量頁面。權重有可能受一定的懲罰。這個多用于網(wǎng)站管理頁面，測試頁面等。
3.使用nofollow 標簽包裹不想被收錄的內(nèi)容
這個方法也不能完全保證不被收錄，因為這并不是嚴格要求遵守的標簽。另外，如果有外部網(wǎng)站鏈向了有nofollow 標簽的頁面。這樣就很有可能會被搜索引擎抓取。
4.用Meta Noindex 標簽加上follow 標簽
這個方法可以做到防止收錄而且還能傳遞出權重。要不要傳遞，看網(wǎng)站建設站長自己的需要。這個方法的缺點是，也是會較大的浪費蜘蛛的抓取頁面時間。
5. 用robots 文件的同時在頁面上使用iframe 標簽展示需要搜索引擎收錄的內(nèi)容
robots 文件可以阻止iframe 標簽以外的內(nèi)容被收錄。所以，可以把不想收錄的內(nèi)容放到正常頁面標簽下。而想被收錄的內(nèi)容放在iframe 標簽內(nèi)。
緊接著，再說一下已經(jīng)失效的方法，大家以后不要用這些方法了。
1.使用表格
谷歌和百度早已經(jīng)能抓取表格用的內(nèi)容了，無法阻止收錄。
2.使用Javascript 及Ajax 技術
以現(xiàn)在的技術來說，Ajax 和javascript 現(xiàn)在的最終運算的結果還是以HTML 的形式傳給瀏覽器以作顯示，所以這同樣無法阻止收錄。
初學者大多著眼于如何收錄，但細節(jié)決定成敗，怎么讓網(wǎng)站頁面內(nèi)容不被抓取也是SEO 進階人士需要注意的。
猜你喜歡
大灰狼畫報·益智版(2024年3期)2024-12-09 00:00:00
保健醫(yī)苑(2022年1期)2022-08-30 08:39:14
車迷(2018年11期)2018-08-30 03:20:32
海峽姐妹(2018年3期)2018-05-09 08:21:02
公民與法治(2016年10期)2016-05-17 04:12:58
中國衛(wèi)生(2015年12期)2015-11-10 05:13:38
計算機工程(2015年8期)2015-07-03 12:20:27
新疆大學學報(自然科學版)(中英文)(2014年2期)2014-11-06 07:49:12
技術經(jīng)濟與管理研究(2014年11期)2014-03-11 17:02:44
電腦愛好者(2011年11期)2011-06-22 08:20:18
