Y!J-BSC/1.0 crawlerの挙動(ページ内のRSSを必ず読みに来る)
[参考記事] Yahoo!の検索エンジンの歴史(Inktomi Corporationとは)
[参考記事] RSS 2.0の作り方
[参考記事] サイトマップ(sitemap.xml)のつくり方とちょっとしたテクニック
Y!J-BSC/1.0 crawlerは次のIP帯域を使用してアクセスしてくる。
183.79.92.0/25 183.79.92.9〜183.79.92.72
183.79.0.0 - 183.79.255.255の帯域はYahoo Japan
ページにアクセスしたときにRSSリンクがあると都度RSSファイルを取得する。
<link rel="alternate" type="application/rss+xml" title="新着情報" href="/rss/news.xml" />
具体的には次のようなログになる。
183.79.92.16 - - [13/Jul/2014:03:35:18 +0900] "GET /hogehoge1 HTTP/1.1" 200 3518 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.16 - - [13/Jul/2014:03:35:18 +0900] "GET /rss/news.xml HTTP/1.1" 200 9556 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.15 - - [13/Jul/2014:03:35:19 +0900] "GET /hogehoge2 HTTP/1.1" 200 3374 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)" 183.79.92.15 - - [13/Jul/2014:03:35:19 +0900] "GET /rss/news.xml HTTP/1.1" 200 9556 "-" "Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)"
ユーザーエージェントは
Y!J-BSC/1.0 crawler (http://help.yahoo.co.jp/help/jp/blog-search/)
なので、ブログ検索用のボットと思われる。
ただユーザーエージェントにあるhttp://help.yahoo.co.jp/help/jp/blog-search/にアクセスしてもサービス終了のアナウンスページになる。
ブログ検索は2013年11月5日をもって終了いたしました。
長年のご愛用、誠にありがとうございました。
米Yahoo!はBing(MSN)、Yahoo!JAPANはGoogleの検索エンジンを利用しています。
米Yahoo!のクローラーのユーザーエージェントは
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
クローラーのIPは
74.6.254.49〜74.6.254.159
スポンサーリンク
関連記事
- サイトマップ(sitemap.xml)のつくり方とちょっとしたテクニック
- サイトの安全性を確認するサービス McAfee SiteAdvisor
- Yahoo!の検索エンジンの歴史(Inktomi Corporationとは)
- いろんな検索エンジンのウェブマスターツールの一覧
- Android Maps API Keyを取得する方法 Google Mapsを利用する
- Google mapsから緯度経度を調べる方法
- amazonで欲しいものを検索する
- Gmailが〜@googlemail.comでも使える(Gmailの訴訟問題)
- その他
- Windows7内で互換モードで動作しないアプリケーションを実行するXPモード
- Windows98 のイースターエッグ WELCOME スタッフロール
- GIFファイルの既定のプログラムをWindows フォトビューアーにする方法
- 「ID」や「ID_xxxx」という文字列があるCSVファイルをExcelで開くとSYLKエラーが出る
- Microsoft Outlook 97のスタッフロール イースターエッグ
- telnetの反応がなくなった時に接続を強制的に切断する方法
- Thumbs.dbを作成しないようにする設定
- glibcを更新するとdateコマンドが新元号の令和に対応します
- 踊り字
- PNG画像の特徴
- アクセスするだけでルーターがクラッシュするサイト
- Word97でピンボール イースターエッグ
- FlashMXでゲーム６種類 イースターエッグ
- 本当のFAQとは 富士サファリパークのCMソング
- 64bit版か32bit版のどちらかを調べる方法
- Googleなどの特定のサイト表示が遅い場合の対処法(Windows7など)
- Googleアカウントのプロフィール画像を削除する方法
- ユーザーフォルダのパスを取得する方法
- 改行コードのCRとLF (キャリッジは印字ヘッドのことではありません)
- Messages of type message/partial are not supportedとは
- 破損したストレージからのデータ復旧
- Failed to get proc address for D3DPERF_SetOptions (d3d9.dll)
スポンサーリンク
