1、网站目录下会有一个robots.txt文件，规定爬虫可以/不可以爬取的网站。

2、URL编码细则：URL栏中字符若出现非ASCII字符，则对其进行URL编码，浏览器将该请求发给服务端；服务端会可能会先对收到的url进行解码，然后交给后端代码。

3、Post传参

• 将头部中第一行中的GET改成POST
• POST头部数据格式声明Content-Type: application/x-www-form-urlencoded
• 消息主体填post变量

4、lab8 inget

• 输入id，通过多次给id传参，可以确定，此处可能存在sql注入漏洞；
• 用sqlmap跑SQL注入，命令为sqlmap -u "可能存在注入点的url";
• 然后进行sqlmap，一把梭：