在建网站时，如何充实网站的内容是最具挑战性的问题，如果网站中有成百上千的网页就更困难了。有些人试图购买内容，有的网站甚至从其他网站抓取内容。实际上，这些投机取巧的办法会带来一系列与搜索引擎相关的问题。
       譬如，网站的内容是介绍某种营销方式。很容易就能在网上找到无数的相关网站，为您的网站免费提供各种相关的内容。但问题是，其他人建网站的时候也能这么干。这会导致什么后果？同一篇文章会出现在数百个网站上—用户在搜索引擎中搜索相关主题时，所得到的网页都是同一篇文章，千篇一律。
      为了避免出现这种情况，搜索引擎在其搜索算法中针对网站内容的新意设计了专门的衡量标准。如果爬虫发现网站的内容与其他数百个网站的内容重复，就可能会降低网站的排名或是将网站从搜索引擎的索引库中删除。