2004年8月1日日曜日

yahooのクローラー:Yahoo! DE Slurp

yahooのクローラー:Yahoo! DE Slurp
7/20ぐらいから、yahooのクローラーYahoo! Slurpに加えて、
Yahoo! DE Slurpなるクローラーがセットで毎日くるようになりました。
ただし、Yahoo! DE Slurpは、トップディレクトリーのみGETしているようでかつ、
Yahooの登録サイトのみ対象にしているように思われます。
             Yahoo! Slurp Yahoo! DE Slurp Yahoo! Japan登録
www.picolix.jp        ○         ○       ○  (ほぼ毎日)
sozai.picolix.jp       ○         ○       ○ (ほぼ毎日)
dip.picolix.jp        ○         ×       ×
search.picolix.jp      ○         ×       ×
library.xrea.jp        ○         ×       ×
管理サイト1.co.jp       ○         ○       ○ (ほぼ毎日)
管理サイト2.co.jp      ○         ○       ○ (4日に1回)
何の目的のクローラーか現在不明です。
LOGを調べてみたところ、7/16ぐらいに変更になったようです。
15:dj5000.inktomisearch.com - - [15/Jul/2004:05:29:07 +0900] "GET / HTTP/1.0
" 304 - "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/he
lp/us/ysearch/slurp)"
17:dj5000.inktomisearch.com - - [17/Jul/2004:05:18:27 +0900] "GET / HTTP/1.0
" 200 17953 "-" "Mozilla/5.0 (compatible; Yahoo! DE Slurp; http://help.yahoo
.com/help/us/ysearch/slurp)"

2 件のコメント:

  1. inktomisearch.com と inktomi.com

    inktomisearch.com と inktomi.com はどう違うのでしょう? アクセスログのユーザエージェントを見ると、どちらも Yahoo! Slurp の文字があります。
    以下は、私が管理しているサイトの28日のアクセスログの一部です。
    時間:01:34:11
    HN:lj1319.inktomisearch.c...

    返信削除
  2. Yahoo!のボット二種

    昨日ログをチェックしていて、YのボットにYahoo! DE SlurpとYahoo! Slurpの二種があるのに気が付いた。あんまり気にしてなかったよ。
    http://crenazumina.picolix.jp/archives/2004_07.htmlでは、Yahoo! DE Slurpは、トップディレクトリーのみGETしているようでかつ、Y...

    返信削除