爬行是什么？

爬行是指搜索引擎蜘蛛從已知頁面中解析鏈接指向的網址，然后沿著該鏈接發現新頁面(即，鏈接指向的網址)的過程。當然，當蜘蛛找到新的網址時，它不會立即爬過去抓取新的頁面，而是將找到的網址存儲在要抓取的地址庫中，并且蜘蛛按照一定的順序從地址庫中提取要抓取的網址。

抓取是什么？

抓取是指搜索引擎蜘蛛從要抓取的地址庫中提取要抓取的網址，訪問該網址，并將讀取的HTML代碼存儲到數據庫中。蜘蛛的抓取是像瀏覽器一樣打開這個頁面，并且像用戶的瀏覽器訪問一樣，它還會在服務器的原始日志中留下一個記錄。

索引是什么？

索引指的是將網址的信息分類并存儲到數據庫中，即索引庫。當用戶搜索時，搜索引擎從索引庫中提取網址信息，并對其進行排序和顯示。索引的英文單詞是index。索引庫用于搜索，因此用戶可以搜索索引的網址，而沒有索引的網址用戶在搜索結果中看不到。

應該注意的是，所謂的“網址信息”并不局限于蜘蛛從網址上抓取的內容，還包括其他來源的信息，如外部鏈接、鏈接的錨文本等。有時，索引數據庫中關于該網址的信息根本沒有從該網址檢索到的內容，但是搜索引擎知道該網址的存在，并且具有一些其他信息。

抓取和索引不是一回事。

收錄是什么？

我個人認為包含和索引之間沒有區別。只是從搜索用戶的角度來看，搜索可以找到這個網址，就是這個網址被包括在內。從搜索引擎的角度來看，網址是包括在內的，也就是說，這個網址的信息存在于索引庫中。英語不包括這個單詞，索引使用相同的單詞索引。

放置在

noindex的作用是什么？

頁的標題信息中的meta noindex標記告訴搜索引擎不要索引該網址，即用戶在搜索時找不到該網址的信息，并且該網址不會在搜索結果列表中返回。

Noindex沒有告訴搜索引擎不要抓取這個網址，事實上，noindex將會工作。必須首先獲取該網址。否則，搜索引擎怎么會發現頁面的HTML代碼中沒有索引標簽呢？

robots文件的作用是什么？

機器人文件是告訴搜索引擎不要抓取一些網址。請注意，這里所說的不是抓取，不是索引。諾恩德克斯正好相反。

nofollow的作用是什么？

向鏈接添加nofollow屬性，告訴搜索引擎不要沿著鏈接爬行，就像鏈接不存在一樣。請注意，nofollow只告訴蜘蛛不要抓取鏈接，沒有說不要抓取鏈接指向的網址，也沒有說不要索引鏈接指向的網址。nofollow既不禁止爬行也不禁止索引。

在概念說完之后，指出幾個搜索引擎優化人員經常不理解的情況：

沒有被抓取的頁面是可以被索引的

，也就是說，蜘蛛沒有訪問和抓取這個頁面(例如，它被機器人禁止抓取文件)，但是這個頁面有存儲在索引庫中的信息，用戶在搜索時仍然可以看到。