在建網(wǎng)站時，如何充實網(wǎng)站的內(nèi)容是最具挑戰(zhàn)性的問題，如果網(wǎng)站中有成百上千的網(wǎng)頁就更困難了。有些人試圖購買內(nèi)容，有的網(wǎng)站甚至從其他網(wǎng)站抓取內(nèi)容。實際上，這些投機取巧的辦法會帶來一系列與搜索引擎相關(guān)的問題。
       譬如，網(wǎng)站的內(nèi)容是介紹某種營銷方式。很容易就能在網(wǎng)上找到無數(shù)的相關(guān)網(wǎng)站，為您的網(wǎng)站免費提供各種相關(guān)的內(nèi)容。但問題是，其他人建網(wǎng)站的時候也能這么干。這會導致什么后果？同一篇文章會出現(xiàn)在數(shù)百個網(wǎng)站上—用戶在搜索引擎中搜索相關(guān)主題時，所得到的網(wǎng)頁都是同一篇文章，千篇一律。
      為了避免出現(xiàn)這種情況，搜索引擎在其搜索算法中針對網(wǎng)站內(nèi)容的新意設(shè)計了專門的衡量標準。如果爬蟲發(fā)現(xiàn)網(wǎng)站的內(nèi)容與其他數(shù)百個網(wǎng)站的內(nèi)容重復，就可能會降低網(wǎng)站的排名或是將網(wǎng)站從搜索引擎的索引庫中刪除。