網站建設日志文件的功能有：

　　1、獲取網站目錄的抓取信息

　　當蜘蛛到你的網站上爬行收錄內容時，你的網站日志會對蜘蛛的行為會進行自動的記錄，因此只要你去分析網站的日志，你就會發現蜘蛛到你的網站上爬取了那些目錄，另外也可以知道蜘蛛是否到那些不會提升網站權重的目錄（例如：圖標目錄，下載目錄，留言目錄，廣告頁面）上進行了爬行。另外對于網站的數據庫，后臺目錄也完全不需要被蜘蛛爬行，如果任由蜘蛛爬行，也是一種安全隱患。另外一方面，搜索引擎對于不同的站點都有著抓取配額，無用目錄，更不要占用這樣的配額，以免減少有效配額的抓取量。還有就是能夠有效的規避百度認為網站是垃圾網站的風險。

　　2、分析網站內容抓取情況

　　頁面是否被蜘蛛抓取是我們分析網站的一個重要內容，而通過網站日志我們可以非常容易的分析出來很多對我們有幫助的信息。比如我們的網站上是否有垃圾頁面被抓取，多重url鏈接的抓取，哪些頁面經常被抓取，哪些是抓取頻率更高的高價值的頁面，這樣我們就可以把我們想要優化但是抓取頻率低的頁面適當的增加曝光度；要對一些垃圾頁面進行屏蔽，防范因為垃圾頁面被抓取過多導致網站被降權；還可以分析出高質量的內容頁，并且多撰寫這樣的內容，從而吸引蜘蛛前來抓取，抓取越多權重就會越高。

　　3、分析網站狀態碼信息

　　狀態碼分為兩種，一種是蜘蛛狀態碼，另一種是用戶狀態碼，通過蜘蛛狀態碼可以準確的查看到網站是否存在抓取問題。例如：404代表的是錯誤頁，301、302代表的是重定向，還有一些：504、500、等狀態碼，值得說的是：除去200狀態碼，出現其他的狀態碼都是應當值得注意的，當然，如果只是個別幾條則無需理會。但是如果數量一旦偏多，網站則出現問題了。

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com