Это уже использовали для модели Whisper- распознавание голоса с 150 языков риалтайм в браузере.

live:
https://huggingface.co/spaces/Xenova/realtime-whisper-webgpu

Я попробовал на телефоне — оно что-то вечно

Compiling shaders and warming up model...

интересно всё же чтоб именно на телефоне бегало.