話說有一個網站，平常瀏覽的對象比較固定，所以應該不太會有大增(真希望流量就是錢量)
但突然間流量爆表，問了SERVER廠商說是流量不夠的關係，可能被搜尋蜘蛛抓抓抓，所以建議用roboots來阻擋。
謝謝新視野提供：如何使用robots.txt阻止搜尋引擎爬(抓取)你的網站?
google提供：建立roboots檔
IThome提供：研究爬蟲的世界：仁義道德篇 - robots.txt
注意：只有此網誌的成員可以留言。
沒有留言:
張貼留言
注意：只有此網誌的成員可以留言。