ЕМ>Никому не приходило в голову сделать универсальную поисковую машину, которую можно было бы натравить на конкретный сайт?

wget + sphinx.

Лезешь на главную страницу, бегаешь по ссылкам, постепенно выкачиваешь весь сайт. А потом индексируешь сфинксом.

И получится этакий "персональный гугл" на личном хостинге.