Здравствуйте, α, Вы писали:

α>Для ограничения доступа во время разработки думаю прописать в htaccess deny для всех и allow только для домашнего IP и для IP роботов яндекса и гугла. Как грамотно прописать директивы для этих самых роботов с учетом наличия у яндекса и гугла кучи доменов и поддоменов и возможно наличия динамических IP-адресов?

В Гугле за разный контент для робота и браузера положен бан (или сильная пессимизация). В Яндексе, полагаю, тоже.