有什么办法 不让网站 被各大搜索引擎收录
除了去 暗网 本帖最后由 余晖脉脉 于 2017-8-19 19:27 编辑设置Robots.txt,但会有不听话的乱收录 全站必须登录才能访问就是 设置Robot.txt是可以的。。。 "
还是会收录登陆页面
余晖脉脉 发表于 2017-8-19 19:19
还是会收录登陆页面
static/image/smiley/yct/020.gif
robost.txt? 我记得meta头部信息也可以设置好像 robost.txt加上nginx判断一下蜘蛛的ua 就是robots.txt,“各大搜索引擎”还是能遵守的,不遵守的都是些不知道什么玩意儿的搜索引擎
页:
[1]