Tags : Ajax  apache  awk  besttrace  bootstrap  CDN  Django  git 

常见问题

SEO细节:Content-Type首行

stevezhou      2018.11.26   


今天在更新robots文件时,技术遇到一个奇怪问题:

更新robots文件后,用测试环境URL www.test.xxx.com/robots.txt访问,发现在换行消失了,所有规则揉成了一行。但查看源码发现是有换行的。

各种百度后也没有人说明过这个问题,最后用线上正常的robots.txt文件与测试环境对比发现,它们在返回的header头的content-type值不一样。访问线上正常robots.txt文件时content-type头值为" text/plain; charset=utf-8",而访问测试环境robots.txt文件时,content-type值为" text/html; charset=utf-8"。

忽然明白了,原来浏览器是将测试环境的robots.txt当作html来解析了,所以没能呈现出换行,后将测试环境返回头中content-type值修改为" test/plain;charset=utf-8"后,恢复正常。

记此,希望有同样问题的同学能注意到这个坑。



标签 :  seo 上一篇     下一篇