S>Вопрос такой — во что в конечном итоге компилируется этот язык, в виде чего его получает видео карта?
Исполняемый бинарь.

S>Как он связан с CUDA.
Почти никак, ну то есть, есть компилятор от нвидиа, который может принимать как GLSL, так и CUDA код, а на выходе выдавать бинарь — вот и вся связь. Ну, и внутри компилятора и то, и другое частично одинаково обрабатывается.