搜索引擎蜘蛛低爬行率和不完整的收錄是很多站點(diǎn)存在的問題，特別是針對(duì)那些大型網(wǎng)站和新站，在很多論壇和網(wǎng)站我看到有人問到如何解決這個(gè)問題，很多我的SEO客戶也在問我這個(gè)問題，下面給大家一些解答，當(dāng)然，個(gè)人對(duì)谷歌比較了解，所以解答主要針對(duì)于谷歌進(jìn)行，當(dāng)然，同樣的法則也適用于其他搜索引擎的SEO優(yōu)化中，包括百度，雅虎等等。

首先，谷歌的收錄率對(duì)于大型網(wǎng)站來說很難去計(jì)算，收錄數(shù)量由于各種原因可能并不是真實(shí)收錄數(shù)量，所以我們得出的收錄率對(duì)于大型網(wǎng)站來說并不準(zhǔn)確，谷歌提供的webmaster工具可能要好一些，里面收錄的信息更有可信性，但是，如果你的站點(diǎn)確實(shí)太大，那么收錄多少肯能真的無法準(zhǔn)確得出。當(dāng)然，如果你硬要計(jì)算出網(wǎng)站的收錄率，對(duì)大網(wǎng)站來說，不如隨機(jī)選取幾十個(gè)界面，手動(dòng)查詢每個(gè)界面是否收錄，通過概率的方法，大致得到收錄率，當(dāng)然，這也不可能絕對(duì)準(zhǔn)確。

蜘蛛的爬行和收錄不可能被準(zhǔn)確的控制，但是我們可以用一些積極的因素來影響它，盡量的讓它收錄的更好，下面具體分析：

1.域名重要性，谷歌的MATT CUTTS最近接受采訪的時(shí)候承認(rèn)，網(wǎng)站的收錄率和蜘蛛爬行深度和PR大概成正比關(guān)系，也就是說，PR越高，你的站收錄絕對(duì)會(huì)越好。

2.反向鏈接，PR是基于反相鏈接的，于是，它當(dāng)然會(huì)成為影響收錄的主要原因，一個(gè)站點(diǎn)內(nèi)容增加迅速，但是鏈接增加緩慢，搜索引擎會(huì)認(rèn)為你的站點(diǎn)比較垃圾。

3.深度鏈接，深度鏈接就是指向內(nèi)容頁面的反向鏈接，這些鏈接會(huì)讓你的內(nèi)頁有非常好的SEO優(yōu)化效果，有深度鏈接的頁面排名和收錄都會(huì)非常不錯(cuò)。

4.導(dǎo)航欄和清晰的層次，對(duì)于網(wǎng)站，扁平結(jié)構(gòu)最為合理，可以讓搜索引擎很好的識(shí)別你的內(nèi)容，更方便收錄，同時(shí)要有明確的導(dǎo)航，讓最重要的頁面，無論在哪里都可以在4次點(diǎn)擊之內(nèi)進(jìn)入，最好2次以內(nèi)，這樣搜索引擎會(huì)更好的識(shí)別抓取重要頁面。

5.XML 網(wǎng)站地圖，這是一個(gè)必須要做的事情，網(wǎng)頁的地圖一定會(huì)幫助你的網(wǎng)站提高收錄和收錄速度，毋庸置疑。

6.減少雷同內(nèi)容，在做網(wǎng)站時(shí)，一定盡量多的原創(chuàng)，搜索引擎可以根據(jù)模糊匹配很好的識(shí)別雷同內(nèi)容，從而不會(huì)給予高權(quán)重，大家可以看看信息論，深入了解一下雷同網(wǎng)頁如何分配權(quán)重的規(guī)則，目前百度等搜索引擎基本都是以信息論為這方面的計(jì)算核心。

7.別致的標(biāo)題，如果你的標(biāo)題已經(jīng)存在很多同樣的文章，那么搜索引擎會(huì)考慮是不是有必要收錄，所以標(biāo)題要盡量別致一些。

8.手動(dòng)設(shè)置更新頻率，在提交網(wǎng)站地圖時(shí)手動(dòng)設(shè)置網(wǎng)站更新頻率，盡量讓搜索引擎快些更新站點(diǎn)。

9.更新，回復(fù)，Ping命令，經(jīng)常對(duì)內(nèi)頁和主頁進(jìn)行更新維護(hù)，細(xì)節(jié)上的，而不是整體的，這樣做會(huì)很好的提升爬蟲爬行效率，同時(shí)多的回復(fù)也能提高你的首旅率，RSS要充分利用，因?yàn)槟强梢岳斫獬梢粋€(gè)自動(dòng)生成的網(wǎng)站地圖，建議把RSS也提交給搜索引擎。

10.社交網(wǎng)絡(luò)，盡管類似于校內(nèi)的這些社交網(wǎng)的鏈接可能用了nofollow標(biāo)簽，但是谷歌也有針對(duì)這些社交網(wǎng)站的計(jì)算方法，在社交網(wǎng)站多一些你網(wǎng)站的內(nèi)容，相信也會(huì)提升你的網(wǎng)頁網(wǎng)頁收錄率。