возможно стоит специализировать шаблон крайними значениями:

template <Foo::X x> 
struct X2IT<x, -1>
    { 
        enum {value = -1};
    };

в таком случае компилятор будет развертывать до крайнего значения и остановится.