如果你的網(wǎng)站發(fā)生一些問題，我們可以通過網(wǎng)站日志查看搜索引擎蜘蛛對(duì)網(wǎng)站訪問的具體情況來找到一些答案。今天網(wǎng)域動(dòng)力與大家分享一下自己平時(shí)的做法，希望能對(duì)大家有幫助。

查看搜索引擎蜘蛛爬行總次數(shù)

　　一個(gè)網(wǎng)站的收錄首先要搜索引擎蜘蛛來到網(wǎng)站爬去才能夠?qū)崿F(xiàn)。通過查看日志能夠清楚的看到每天蜘蛛訪問網(wǎng)站的總次數(shù)有多少，從而大致的判斷唐山網(wǎng)站制作的權(quán)重如何。一個(gè)高權(quán)重的網(wǎng)站，蜘蛛來訪的次數(shù)相對(duì)是較多的，相反，一個(gè)低權(quán)重的網(wǎng)站，即使有非常龐大規(guī)模的內(nèi)容，蜘蛛來訪的次數(shù)依舊有限。爬行次數(shù)有限，分配的時(shí)間和深度也就有限，所以收錄也就受到了限制。所以我們的重點(diǎn)就是多提供百度來訪我們網(wǎng)站的入口，只有入口多了，訪問次數(shù)才能得到提升。

　　查看所有被爬行目錄的整體情況

　　通過日志查看所有被爬行目錄的整體情況，能讓我們知道搜索引擎爬行最多的目錄是哪些，是否是我們想要提供給用戶的目錄。一般可以非常清楚的看到排名前十位的目錄，如果這些目錄并不是我們重點(diǎn)提供給用戶內(nèi)容的目錄，那么就需要做出調(diào)整，說明當(dāng)前的一些目錄被多度爬行了，而真正有價(jià)值的目錄沒有被搜索引擎過度重視，要及時(shí)發(fā)現(xiàn)并找到原因。

　　查看爬行榜前十名的頁面情況

　　除了查看蜘蛛總訪問次數(shù)以及爬行目錄的整體情況，剩下一個(gè)非常重要的就是查看爬行總頁面的情況。我平時(shí)分析網(wǎng)站的時(shí)候，時(shí)常會(huì)看到，被蜘蛛爬行前幾名的頁面都是一些無關(guān)緊要的頁面，比如B2C購物車鏈接頁面、比如聯(lián)系我們頁面、一些主題中CSS文件，這些頁面和文件對(duì)排名和收錄本來沒有實(shí)際的幫助，但現(xiàn)實(shí)情況是蜘蛛爬行的最多，所以就會(huì)造成浪費(fèi)，畢竟蜘蛛來訪一個(gè)網(wǎng)站的總時(shí)間和總爬行次數(shù)是一定的，總抓取深度也是一定的，如果時(shí)間都浪費(fèi)在了這些頁面上，那么對(duì)于重點(diǎn)的內(nèi)頁收錄就會(huì)受到影響。因此通過日志發(fā)現(xiàn)之后，就需要在robots.txt中屏蔽掉，或者在頁面meta中屏蔽掉。

　　查看平均爬行一次的抓取深度

　　通過日志查看平均一次的抓取深度能有效的了解到唐山網(wǎng)站設(shè)計(jì)內(nèi)部結(jié)構(gòu)的不足。比如百度蜘蛛在某天訪問網(wǎng)站總共688次，抓取量是789，那么平均每次抓取的頁面數(shù)就為1.2頁。其實(shí)這個(gè)數(shù)據(jù)也是普遍存在的現(xiàn)象，很多網(wǎng)站都存在這樣的現(xiàn)象。這充分說明了網(wǎng)站的內(nèi)部鏈接做的不足，或者網(wǎng)站結(jié)構(gòu)存在問題，或者是內(nèi)容出現(xiàn)了高度重復(fù)現(xiàn)象，導(dǎo)致蜘蛛來到網(wǎng)站，要么沒有什么新發(fā)現(xiàn)，要么被結(jié)構(gòu)所阻止，爬行不到新的頁面。畢竟，蜘蛛平均在我們網(wǎng)站存在的整體時(shí)間是有限的，在這個(gè)有限的時(shí)間內(nèi)，如果我們自己設(shè)置了障礙，那么蜘蛛就會(huì)走掉，是非常可惜的事情。