サイトがOpenAI (GPTBot)の標的にされてアクセス４倍増〜ブロック処理です

今週に入ってサイトアクセスが４倍増、何がバズった？とGoogle Amaを覗いてみるとアクセス記事が４倍増してて平均時間がゼロ病ばかり、ああぁ...とCerber Securityをチェックすると案の定「Rest APIへのリクエスト」攻撃？  全てはCerber Securityでブロック

ユーザーエージェントがOpenAI (GPTBot)とあるので、たぶんAIモデルのトレーニングデータ収集目的にウェブクローラーに掛けられていたようです。全てはCerber Securityでブロックされているとは言え、IP:74.7.242.35の業者ですが他にもしつこいのが増えていたのでクローリング自体をブロックすることにしました。

# Block only GPTBot

User-agent: GPTBot

Disallow: /

上記をrobots.txtに記述して設置するだけで済みます。

上記の robots.txt設定したら、さらに２倍の攻撃にさらされておりますが、Cerber Security 頑張ってくれてて...

こいつ以外にもわんさか襲いかかってきても尽くブロックしてくれてますが....悪質な輩は腹立たしいので.htaccessで特定のIPブロックします。

Order Deny,Allow
Deny from 172.238.12.228
Allow from all