不正アクセス攻撃BOTや自動収集学習のAIクローラー迎撃に追われる日々

ChinaIPアドレスChinaIPアドレスAI が一般化した昨年あたりから...Webサイト上のありとあらゆる情報が自動収集され学習するAIクローラーが増加、半年前に「サイトがOpenAI (GPTBot)の標的にされてアクセス４倍増〜ブロック処理です」記事でも取り上げておりましたが、AIクローラーはなにもOpenAIだけではないので「Block AI Crawlers」プラグインとか試してみましたが期待するほどの効果無く、やはり手動設定で対応するしかありません。（リッチマンなら Cloudflareとかも試したい）

先週の我が家のブログへの国別サイトアクセス状況

圧倒的に中国と南米からのアクセスが多くなってます。Googleアナリティクスで「滞在時間0秒・セッション大量」が生じているいるので、攻撃型悪質ボット（Bot）に加えて自動収集学習のAIクローラーがわんさか押し寄せてるんだろうなぁ...と分かります。ちなみにサーバー契約しているヘテムルには「海外アタックガード」なるオプション設定がありますが.....ほぼほぼ役に立っておりません。

AIクローラーの功罪？

検索順位のためにページをインデックス化目的で巡回するGoogle等の検索エンジンのクローラーとは異なり、AIクローラーはアクセス可能なウェブページをスキャンするボットで、言語モデルを学習させたりAIが生成するレスポンスのために最新のコンテンツ情報を収集します。収集ターゲットになったサイトでは、AIプラットフォームがますますリアルタイムデータを取り込むようになるので不可解なアクセスがますます増える傾向にあります。友人のWebサイトではまだ怪しいアクセス増の形跡は認められていないようですが、いずれ収集ターゲットになるのは時間の問題でしょう。また「アクセス増やしたい、バズりたい！」と望むユーザーには収取ターゲット大歓迎と考える向きもあるでしょう。そうするとAIクローラーを闇雲にブロックしてしまうと、本来露出を増やしたいサイトまでAI検索結果での可視性が意図せず下がる可能性も出てきます。また逆にAIクローラーのアクセス動向が過ぎるとGoogle検索評価は逆に下る傾向も見え隠れしております。とりあえず我が家のサイトは群がるAIクローラーの不審なアクセスが気持ち悪いので迎撃したい！だけなんですがね。

我が家のブログへの攻撃型悪質ボットのアクセス状況（24時間）

攻撃型悪質ボットの迎撃

サイトコンテンツを盗み見するAIクローラーと異なり攻撃型悪質ボットは基幹システムへ不正アクセスや脆弱性を突いて侵入を試みる輩ですが、国別に言えば意外や米国からの攻撃が最も酷い。先日24時間のボット攻撃でServer Securityがロックアウトを掛ける程の凶悪な奴の「IP（Internet Protocol）アドレス」に関して言えば、「20」から始まるIPアドレス群（20.0.0.0/8など）は主に米国（マイクロソフト社など）に割り当てられているIPアドレス帯。面倒ながらもロックアウトされたIPはアクセス拒否ブラックリスト入りさせるようにしています。もちろんChinaIPアドレスも必ず混じっておりブラックリストの常連さんであるのは間違いないです。