网站结构优化实战指南：掌握404与301重定向策略

网站的URL层级结构和导航结构优化之后，今天我们接着讲站内优化的其它内容。

网站地图

robots.txt文件

404错误页面

301重定向

网站地图/sitemap

网站地图有两种版本；HTML版本，用来索引用户浏览网站内容，针对用户制作；XML版本，针对搜索引擎制作，用来集中提交网站链接，提升网站整体爬取效率。

制作地图的方法，使用爱站SEO工具包，需要下载安装；在工具包选择网站地图/sitemap选项添加网址；在抓取网址类型，选择静态URL后缀的类型，XML设置选择stiemap格式，选择.xml和.html后缀，然后点击爬取，自动生成地图文件了。

制作好两个版本的地图文件上传至根目录下，然后增加xml地图首页入口，通常建议在底部导航处增加，写A标记，将标记放置在底部导航。

最后一步就是提交搜索引擎了，在搜索引擎的站长平台提交；因为网站会经常更新，建议至少每周更新一次地图，然后提交，目的是告诉搜索引擎网站有更新，让蜘蛛主动来爬取。

robots.txt文件

robots.txt文件可以理解为是网站机器人或蜘蛛协议，该文件是搜索引擎蜘蛛抓取网站时读取的第一个文件；只能放置在根目录下；

常见命令：User-agent，指定搜索引擎制定规则；Allow，允许抓取的目录或文件；Disallow，不允许抓取的目录或文件；星号为通配符，指所有；根目录和常更新目录都不可以禁止搜索引擎的抓取，只要不禁止根目录以及常更新栏目就不影响SEO。

robots.txt文件里面除了有这些命令之外，还要指定网站地图的地址，用来提升整站的抓取效率和频次。

404错误页面

404错误页面的作用是减少用户跳出率，减少搜索引擎蜘蛛丢失率；

制作404错误页面的要求是要有返回网站的链接，可以返回至首页或栏目页；不能使用强制跳转功能，对搜索引擎不友好。

制作方法：扒别的网站404错误页面代码，替换里面返回链接、title、文字等，PS一张404图片，然后打包放在一个文件夹里上传至根目录下。

最后在主机上设置404功能，指定404错误页面的文件夹地址就搞定了。

301重定向

301重定向指把多个网站域名重定向至主推域名上，可以实现权重导入，适用于更换域名；

有的公司为了品牌保护注册了多个不同后缀的域名，为了不让域名闲置，他们会把所有域名做成相同内容网站，这种做法是错误的；会导致搜索引擎不收录，最简单的方法就是做一个网站，然后把其它域名重定向至这个网站域名即可。

单个网站解析主域名和3w子域名之后，把主域名重定向至3W子域名上，使首页地址唯一，集中首页权重。

总结：制作网站地图提交站长平台，robots.txt命令不能禁止根目录和常更新栏目，设置404错误页面和301重定向。