如何利用 robots.txt 與 IP 阻擋 ChatGPT 的網路爬蟲進入網站抓取內容?

如何利用 robots.txt 與 IP 阻擋 ChatGPT 的網路爬蟲進入網站抓取內容?

robots.txt 是一種存放於網站根目錄下的文字檔案,主要用來告訴網路搜尋引擎的爬蟲,網站中的哪些內容是不應該或可以被搜尋引擎的漫遊器取得的。OpenAI 除了要自家「GPTBot」爬蟲機器人遵守 robots.txt 的指示外,還提供 ChatGPT-User 爬蟲,而這兩個爬蟲主要的不同點是在 GPTBot 為自動執行,而 ChatGPT-User 則用於插件屬被動式,僅代為 ChatGPT 的用戶執行操作。另外,OpenAI 也公布爬蟲所使用的 IP 區段,讓網站主除了可以使用 robots.txt 文件指引爬蟲外,也能有更釜底抽薪的辦法,那就是直接在伺服器直接禁止某些 IP 存取內容。

線上印章產生器一覽表

線上印章產生器一覽表

本篇文章匯整目前網路上可供使用的印章產生器,讓您能夠輕鬆找到適合的工具,不再為製作印章而煩惱。除了介紹已經廣為人知的印章產生器外,我們還會定期更新內容,加入新發現的印章產生器,同時也會將已經失效或不再可用的網站從清單中剔除,確保文章的實用性和準確性。

HodlSoftware PDF Tool 用瀏覽器輕鬆加密、旋轉、簽名、分割、壓縮 PDF,無須上傳檔案

HodlSoftware PDF Tool 用瀏覽器輕鬆加密、旋轉、簽名、分割、壓縮 PDF,無須上傳檔案

HodlSoftware PDF Tool 是一個以瀏覽器為介面的 PDF 工具,其提供替 PDF 檔案加入開啟密碼或移除開啟密碼、最佳化、合併、旋轉、移除頁面、分割及加入數位簽名等功能。雖然是在瀏覽器內操作,但整個過程 PDF 檔案都不會上傳遠端伺服器,而是在本地端就完成處理並下載,所以不會有檔案外流的風險,而且處理速度也更有效率。

免費網路速度測試工具一覽表

免費網路速度測試工具一覽表

想要得知實際的網速,不能單純憑感覺判斷,而是需要實際的測試工具作為輔助。網速受到頻寬、距離、網路擁塞和硬體能力等諸多因素的影響。因此,想要了解安裝的網路的上傳和下載實際速率,使用多個不同的網速測試服務進行測試,這些服務通常會在完成測速後,提供上傳速率、下載速率、延遲時間或是抖動(Jitter)數據供用戶參考,從而獲得平均速率,讓實際的網路速度更加準確。

Iconify Design 隨時取用超過 150,000 個開放原始碼的 SVG 向量圖示

Iconify Design 隨時取用超過 150,000 個開放原始碼的 SVG 向量圖示

對於圖標圖示來說,使用傳統的 png、jpg 或 bmp 圖檔常會遇到縮放性問題。這些位圖格式的核心是像素,因此放大或縮小會導致像素失真,使圖片變得模糊或出現鋸齒狀效果。相較之下,SVG 是向量圖形,以數學公式表示圖像,在縮放時不會失真,保持圖片的清晰度和品質。因此,對於需要頻繁縮放的圖標圖示,使用 SVG 格式是一個不錯的選擇。

「中央氣象局風場預報顯示圖」用動畫看即時氣象資訊,還能模擬颱風路徑

「中央氣象局風場預報顯示圖」用動畫看即時氣象資訊,還能模擬颱風路徑

說到這裡,應該很多人就會連想到 Windy 網站也有同樣的功能,但 Windy 網站的預測資料是來自美國國家海洋和大氣管理局全球預報系統、歐洲中期天氣預報中心及瑞士NEMS 模型的數據。而「中央氣象局風場預報顯示圖」的預測資料是來自氣象局全球波譜模式(GFS)預報產品約15公里輸出為0.5x0.5度的結果,提供的資料有:

  • 風速(m/s)、溫度(℃):地面、1000hPa、925hPa、850hPa、700hPa 及 500hPa。
  • 地面氣壓(hPa)。
  • 累積雨量(mm:初始時間至預報時間)。
  • 低層雲量(10分量)。
  • 浪高。