搜索引擎優化如何分析網站日志
通過網站日志,您可以清楚地知道用戶訪問了您網站的哪個頁面,以及在什么IP、什么時間、什么操作系統、什么瀏覽器和顯示什么分辨率的條件下訪問是否成功。對于從事搜索引擎優化的專業人士來說,網站日志可以記錄蜘蛛機器人在各種搜索引擎的網站上爬行的詳細信息,例如哪個百度蜘蛛機器人在哪一天多次訪問了網站,訪問了哪些頁面,以及訪問這些頁面時返回的HTTP狀態代碼。
常見的蜘蛛名稱:
百度蜘蛛
百度圖片蜘蛛
谷歌機器人:谷歌機器人
谷歌機器人-圖片:谷歌照片機器人
360匹德:360蜘蛛
搜狗:搜狗蜘蛛
一、網站日志的作用
1。通過網站日志,可以了解網站上蜘蛛的基本爬行情況,以及蜘蛛的爬行軌跡和數量。2.網站的更新頻率也與蜘蛛在網站日志中的爬行頻率有關。一般來說,更新頻率越高,蜘蛛的爬行頻率越高。我們網站的更新不僅是新內容的增加,也是我們的微調操作。
3.根據網站日志的反應,我們可以對我們空間中的某些事情和問題給出預警,因為如果服務器出現問題,它將首先反映在網站日志中。我們應該知道服務器的穩定速度和打開速度都會直接影響我們的網站。
4.通過網站日志,我們可以知道網站的哪些頁面非常受蜘蛛的歡迎,哪些頁面甚至沒有被蜘蛛接觸過。同時,我們也可以發現一些蜘蛛由于過度爬行而消耗了我們服務器上的大量資源,所以我們不得不進行屏蔽工作。
二、如何下載網站日志
1。首先,我們的空間應該支持網站日志下載,這是非常重要的。購買空間時,我們需要事先知道是否支持日志下載,因為有些服務提供商不提供這種服務。如果是這樣的話,空間背景一般具有日志日志下載的功能。只需將其下載到根目錄,并通過FTP傳輸到本地。如果服務器可用,它可以設置將日志文件下載到指定路徑。
2.這里有一個非常重要的問題。強烈建議將網站日志設置為每小時生成一次。頁面內容較少的小型商業站和網站可以設定為一天。默認為一天。如果內容很大或者大型電臺被設置為每天生成一次,那么每天只會生成一個文件。這個文件會很大。有時當電腦開機時,會導致死機。如果設置了,請找一個空間提供商來協調設置。
三、網站日志數據分析
1.網站日志中的數據量太大,所以我們通常需要使用網站日志分析工具來查看它。常用的日志分析工具包括:光年日志分析工具、網絡日志解釋器、WPS表等
117.26.203.167-[02/5/2011:01:57:44-0700 ' GET/index . PHP HTTP/1.1 ' 500 19967 '-' Mozilla/4.0(兼容;MSIE 8.0Windows NT 5.1三叉戟/4.0;astbcs-ST/5 . 11 . 3 . 15590;NETCLR 2 . 0 . 50727;亞歷山大工具欄)
分析:
117.26.203.167訪問知識產權;
02/5/2011:01:6057:44-0700訪問日期-時區;
根據協議抓取(在域名下)/索引這個頁面(獲取意味著服務器動作);
500服務器響應狀態代碼;
服務器響應狀態代碼通常有以下類型:200、301、302、304、404、500等。200表示用戶已經成功獲得所請求的文件。如果它是一個搜索引擎,它證明蜘蛛已經成功地在這個爬行中找到了一些新的內容。301意味著用戶訪問的頁面的url已經被重定向301(永久地)并且302被臨時重定向。404意味著被訪問的頁面不再存在,或者被訪問的url是錯誤的。500是服務器錯誤。
19967表示捕獲了19967字節;
Mozilla/4.0(兼容;MSIE 8.0Windows NT 5.1三叉戟/4.0;astbcs-ST/5 . 11 . 3 . 15590;NETCLR 2 . 0 . 50727;亞歷山大工具欄意味著訪問者在訪問端使用火狐瀏覽器和亞歷山大工具欄等信息;
2.如果日志中的格式不同,這意味著日志格式設置不同。
3.從許多日志中可以看出,200,000和200,064代表正常抓取。
4、捕捉頻率是通過查看每日日志獲取的百度蜘蛛捕捉次數。沒有捕獲頻率的標準時間表或頻率編號。我們通常通過比較許多天的日志來判斷它。當然,我們希望百度蜘蛛能每天捕捉盡可能多的次數。
5.有時,當我們的路徑不一致時,斜線和無斜線都有問題。蜘蛛會自動識別301跳至帶斜線的頁面。這里我們發現搜索引擎可以判斷我們的目錄,所以我們需要統一我們的目錄。
6.我們已經分析日志很長時間了,我們可以看到蜘蛛的捕捉規則??梢钥吹酵荒夸浵聠蝹€文件的捕獲頻率間隔和不同目錄下的捕獲頻率間隔。這些捕獲頻率間隔由蜘蛛根據網站權重和網站更新頻率自動確定。
7.蜘蛛抓取我們的網頁是根據它們的重量分級的,一般順序是主頁,目錄頁和內頁。
四、通過網站日志我們能知道什么?
1。我們買的空間穩定嗎?2.蜘蛛比我們更喜歡哪一頁?
3.蜘蛛什么時候經常爬我們的網站,我們什么時候需要更新內容?