※こちらは旧サイトです(新サイトはこちら

Nginxでrobots.txtを参照する

2017-05-29 09:08:21

たくさんWebサイトをリリースするお仕事をしていると、毎回用意するのが面倒になってくるので、よく使うやつは予めサーバに置いときます

// たとえば全拒否するtxt
$ cat /usr/local/share/robots/disallow.txt

User-Agent:*
Disallow: /

Nginx側

location /robots.txt {
    alias /usr/local/share/robots/disallow.txt
}