OpenAI现支持禁止GPTBot爬取网站
速途元宇宙研究院讯 根据OpenAI文件,OpenAI现支持用户禁止OpenAI网络爬虫GPTBot访问自己的网站。使用GPTBot用户代理抓取的网页可能会被用于改进未来的模型,帮助AI模型变得更加准确、提高总体功能和安全性。如果想要禁止GPTBot访问自己的网站,可将GPTBot添加到网站的robots.txt中。
速途元宇宙研究院讯 根据OpenAI文件,OpenAI现支持用户禁止OpenAI网络爬虫GPTBot访问自己的网站。使用GPTBot用户代理抓取的网页可能会被用于改进未来的模型,帮助AI模型变得更加准确、提高总体功能和安全性。如果想要禁止GPTBot访问自己的网站,可将GPTBot添加到网站的robots.txt中。