Небольшое дополнение:
походя выяснился еще один момент — контролу BS_AUTORADIOBUTTON нельзя ставить стиль DS_3DLOOK — иначе не показывается на окне диалога