Y!J-BSC/1.0 crawlerの挙動(ページ内のRSSを必ず読みに来る)
[参考記事] Yahoo!の検索エンジンの歴史(Inktomi Corporationとは)
[参考記事] RSS 2.0の作り方
[参考記事] サイトマップ(sitemap.xml)のつくり方とちょっとしたテクニック
Y!J-BSC/1.0 crawlerは次のIP帯域を使用してアクセスしてくる。
183.79.92.0/25 183.79.92.9〜183.79.92.72
183.79.0.0 - 183.79.255.255の帯域はYahoo Japan
ページにアクセスしたときにRSSリンクがあると都度RSSファイルを取得する。
<link rel="alternate" type="application/rss+xml" title="新着情報" href="/rss/news.xml" />
具体的には次のようなログになる。
183.79.92.16 - - [13/Jul/2014:03:35:18 +0900] "GET /hogehoge1 HTTP/1.1" 200 3518 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.16 - - [13/Jul/2014:03:35:18 +0900] "GET /rss/news.xml HTTP/1.1" 200 9556 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.15 - - [13/Jul/2014:03:35:19 +0900] "GET /hogehoge2 HTTP/1.1" 200 3374 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.15 - - [13/Jul/2014:03:35:19 +0900] "GET /rss/news.xml HTTP/1.1" 200 9556 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)"
ユーザーエージェントは
Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)
なので、ブログ検索用のボットと思われる。
ただユーザーエージェントにあるhttp://help.yahoo.co.jp/help/jp/blog-search/にアクセスしてもサービス終了のアナウンスページになる。
ブログ検索は2013年11月5日をもって終了いたしました。
長年のご愛用、誠にありがとうございました。
米Yahoo!はBing(MSN)、Yahoo!JAPANはGoogleの検索エンジンを利用しています。
米Yahoo!のクローラーのユーザーエージェントは
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
クローラーのIPは
74.6.254.49〜74.6.254.159
関連記事
- サイトマップ(sitemap.xml)のつくり方とちょっとしたテクニック
- サイトの安全性を確認するサービス McAfee SiteAdvisor
- Yahoo!の検索エンジンの歴史(Inktomi Corporationとは)
- いろんな検索エンジンのウェブマスターツールの一覧
- Android Maps API Keyを取得する方法 Google Mapsを利用する
- Google mapsから緯度経度を調べる方法
- amazonで欲しいものを検索する
- Gmailが〜@googlemail.comでも使える(Gmailの訴訟問題)
- その他
- プログラムでもっとも正確に日本の祝日を求める方法(内閣府公表CSVの過去3度の改訂履歴)
- Internet Explorer 5.0 のイースターエッグ Trident team
- RSS 2.0の作り方
- 上書きしてしまったファイルを復元する方法
- WindowsXPの壁紙『草原.bmp』
- 入力フォームの記入例、テスト用のメールアドレスでやってはいけないこと
- ExcelのCSV形式で17行目からカラムの数が変わる
- Google ChromeでHTTPリクエストヘッダーのAccept-Languageを変更する方法
- Excel97のフライトシュミレーター イースターエッグ
- Firefoxの検索バーにあるGoogleのアイコンを新しくする方法
- Outlook Expressのバックアップと復元
- Googleアカウントのプロフィール画像を削除する方法
- FlashMXでゲーム６種類 イースターエッグ
- PNG画像の特徴
- GIFファイルの既定のプログラムをWindows フォトビューアーにする方法
- 64bit版か32bit版のどちらかを調べる方法
- /dev/random と /dev/urandom の違い
- telnetの反応がなくなった時に接続を強制的に切断する方法
- メッセンジャーで日本語が入力できない
- Outlook ExpressからWindows Liveメールにメールを移行する方法
- 『アイコンの整列』でショートカットが２箇所に分かれる
- サイトの削除されたページや、ページの過去の状態を見る方法
スポンサーリンク
