Здравствуйте, Артём, Вы писали:

Аё>Мне в SPA на ios/android крутить.

Я не пользуюсь им. Для Nvidia — TensorRT, что лискретки, что Джетсоны. Для CPU практически ничего, OpenVINO годная библиотека, но гемора с ней много, я когда-то поддерживал, даже баги находил, но плюнул.
У айфонов же свой бэкенд, вполне можно в onnx, а потом к ним в Core ML. Для Андроида TFLite. Как по мне, чем нативнее, тем лучше. Хвалили ещё ncnn, но я не пробовал.