SEO细节：Content-Type首行
stevezhou 2018.11.26
今天在更新robots文件时，技术遇到一个奇怪问题：
更新robots文件后，用测试环境URL www.test.xxx.com/robots.txt访问，发现在换行消失了，所有规则揉成了一行。但查看源码发现是有换行的。
各种百度后也没有人说明过这个问题，最后用线上正常的robots.txt文件与测试环境对比发现，它们在返回的header头的content-type值不一样。访问线上正常robots.txt文件时content-type头值为" text/plain; charset=utf-8"，而访问测试环境robots.txt文件时，content-type值为" text/html; charset=utf-8"。
忽然明白了，原来浏览器是将测试环境的robots.txt当作html来解析了，所以没能呈现出换行，后将测试环境返回头中content-type值修改为" test/plain;charset=utf-8"后，恢复正常。
记此，希望有同样问题的同学能注意到这个坑。