おだら@s3_odara@mastodon.hakurei.win: robots.txtを遵守する方針とrobots.txtにgoogleだけを許可する方針が流行るとウェブはgoogleに独占されることを良しとする方向になると思うので、クローラは負荷をそこまで与えない程度のレートで、サイト制作者はクロールされても死なない程度の容量のサイトアセットを使うwebになって欲しい。

Home | Notifications | New Note | Local | Federated | Search | Logout

Note Detail

おだら@s3_odara@mastodon.hakurei.win (2026-03-13 20:21:20)
robots.txtを遵守する方針とrobots.txtにgoogleだけを許可する方針が流行るとウェブはgoogleに独占されることを良しとする方向になると思うので、クローラは負荷をそこまで与えない程度のレートで、サイト制作者はクロールされても死なない程度の容量のサイトアセットを使うwebになって欲しい。