Sphider - a php spider and search engine

php+MySQLで出来たサーチエンジン。

静的なページだけではなく、動的なページもインデックス出来ます。
どうもこのスクリプト、Namazuのようにローカルファイルを検索するのではなくリモートのファイルを読み込んでインデックス化するようです。
<a><frame>などのタグを検索してスクリプト自体がクロールしていくイメージです。
リダイレクトやrobots.txtも読み込んでくれます。更にdoc,pdfなどのファイルもサポートしています。

日本語が使えるかどうかは試していませんが、なかなか素晴らしいソフトに思えます。
スクリプトはphpで書かれているため、解析をしてみるだけでも面白そう。