鄭州網站優化,鄭州品牌推廣,鄭州網站建設公司,朗創網絡營銷歡迎您 ! 聯系我們|收藏本站|網站地圖

朗創網絡

幫助企業快速提升網絡營銷業績專注網站建設,SEO關鍵詞排名,一切用數據說話 !

咨詢電話:400-880-6422

您的位置: 鄭州網站優化 > SEO資訊 >

SEO優化的Robots.txt高級使用技巧

作者: admin 來源: 未知 發布日期: 2019-07-03
信息摘要:
您會應用robots.txt seo優化的robots.txt高級應用程序技能嗎?下面的徐州朗創網絡向您介紹robots.txt的高級應用程序。 Front / in? Be careful in the front / in the bow / in front robots.txt使用要點 在介紹高

  您會應用robots.txt seo優化的robots.txt高級應用程序技能嗎?下面的徐州朗創網絡向您介紹robots.txt的高級應用程序。

  

  robots.txt使用要點

  在介紹高級應用程序之前,讓我們先看看使用robots.txt的要點:

  1.每個域名,無論它是否是子域名,最多可以有一個robots.txt文件,可以放在網站根目錄中。YourName.com的robots.txt對abc.youname.com沒有任何限制。

  2.每個協議都可以有robots.txt。例如,http://yourname.com和https://yourname.com可以各有一個robots.txt。

  3.每個端口可以有一個robots.txt。例如,http://yourname.com和http://yourname.com:8080可以各有一個robots.txt。

  4.文件名必須是小寫。不可能是robots.txt。

  5.用戶代理的名稱和用戶代理的大小寫、允許、不允許、爬行延遲、站點地圖指示符都是不敏感的.

  6.robots.txt中包含的URL區分大小寫。通過區分大小寫,可以有效地排除索引。

  “允許”和“不允許”的URL必須是不包括協議、域名和端口的路徑。

  7.不允許:http://yourname.com/abc.htm錯了。更改為“不允許”:/abc.htm

  8.Sitemap必須包含以HTTP或HTTPS開頭的完整URL。

  9.txt不是死鎖提交工具。如果要刪除死鎖索引,則應登錄到搜索引擎網站管理員平臺提交。

  10.txt只差于robots.txt,在這個文件中沒有任何區別,也就是說,是否要做這個排除。刪除robots.txt意味著爬行對漫游完全開放。

  11.robots.txt只是一個紳士,而不是一個惡棍。歷史上有許多違反robots.txt的行為。網站想在著陸后發布機密信息。

  12.如果要嚴格防止搜索引擎索引,建議不使用索引標記。但百度不支持。

  13.Google和百度不支持爬行延遲,而Yandex和Bing則支持。Yandex還支持主機指示符來表示首選域名。

  14.符號#用于注釋。以下內容將被忽略。

  

  合并多個用戶代理

  如果你有不止一個討厭的機器人爬上你的網頁來消耗你的資源,你可以通過拒絕(當然,假設他們是紳士)來阻止他們。您可以通過用戶代理立即阻止它們。

  User Agent: bad-bot-a

  User Agent: bad-bot-b

  Not allowed: /

  當您有多個用戶代理時,這篇文章很有用,每個用戶代理都很復雜,但都是相同的。

  User Agent: bad-bot-a

  User Agent: bad-bot-b

  Not allowed: /XXX

  省略以下200行,以便使robots.txt簡潔。

  無形通配符*

  我要說的是通配符*。它代表任何長度的字符。請注意,在每一行“允許”、“不允許”之后都有一個不可見的*。

  也就是說,如果您寫的是“不允許”:/cat/,下面的內容將影響所有URL,以/cat/開頭,例如:

  http://yourname.com/cat/abc.htm

  http://yourname.com/cat/abc.html

  http://yourname.com/cat/abc/

  但也有例外,即在允許和不允許之后沒有作業。例如,這個官方的例子。

  User Agent: *

  Not allowed: / Cyber World / Map / # this is an infinite virtual URL space

  #網絡映射器可以訪問任何頁面

  User agents: network maps

  It is not allowed to:

  

  為每個用戶-代理自定義站點地圖

  “國際seo不完全介紹”一文指出了在seo上使用目錄進行多語種網站布局的問題。由于百度等中國搜索引擎對泰文、挪威文甚至英文和法文都不感興趣,讓百度蜘蛛在非中文網頁上爬行會造成大量資源浪費,這不僅會影響索引,還會影響排名。為此,我們可以使用“不允許”來阻止其他輔助頁。

  然而,對于站點地圖指示器,它并不針對特定的用戶代理。無論你的Sitemap語句出現在哪里,它對所有搜索引擎都是有效的。

  如果我們希望一些搜索引擎只訪問特定的站點地圖,我們該怎么辦?除了在網站管理員平臺上提交網站地圖之外,我們還可以在robots.txt中實現它們。不要忘記,Sitemap文件也是一個資源,我們也可以阻止它與不允許。假設我們有一個全語言的Sitemap-all-lang.xml和一個用于中文內容的sitemap-zh.xml。我們可以這樣做:

  User Agent: *

  Not allowed: / sitemap-zh.xml

  User Agent:

  Not allowed: / sitemap-all-lang.xml

  Sitemap:http:/yourdomain.com/sitemap-zh.xml

  Sitemap:http:/yourdomain.com/sitemap-all-lang.xml

  這樣,中文網站地圖只對百度可見,而整個語言地圖只對百度外的蜘蛛可見。

  

  地圖太大了。我該怎么辦?

  我們知道搜索引擎通常會限制站點地圖的大小和它們包含的URL的數量。例如,百度將5萬URL和10 MB文件的大小限制為一個站點地圖文件。在這種情況下,您可以在robots.txt中給出多個站點地圖文件的URL。除了此拆分之外,還可以使用Sitemap索引文件。

  可以索引多個站點映射。

  其他主流搜索引擎也承認這種索引格式。

  然后問題就出現了,即使有很多大文件,傳輸也會變得非常低效。為了解決這個問題,我們可以對GZIP站點地圖進行壓縮。壓縮工具,如7-zip可以壓縮文件。需要注意的是,在壓縮之前,您的單個站點地圖文件仍然必須小于10 MB,并且包含少于50,000個URL。

  以上是robots.txt的高級應用技能,您可以在此高級技能的基礎上設置您的網站。如果你不明白,你可以直接聯系徐州seo幫你建立。

 

咨詢熱線

400-880-6422
s级做人爱c视频正版免费