※こちらは旧サイトです(新サイトはこちら)
たくさんWebサイトをリリースするお仕事をしていると、毎回用意するのが面倒になってくるので、よく使うやつは予めサーバに置いときます
// たとえば全拒否するtxt $ cat /usr/local/share/robots/disallow.txt User-Agent:* Disallow: /
location /robots.txt { alias /usr/local/share/robots/disallow.txt }