Вот сделали этих агентов, внедряются в командную строку, в IDE.

Сейчас оно может запустить компилятор и прочесть текст ошибки компилятора. Ну ОК.

А вот запустить прогу на iPhone на самом девайсе и прочесть сообщение на экране — уже не могет

Дале, запустить браузер и прочесть сообщение из консоли браузера — уже не могет

Ну или еще — запустить вирт. машину через GUI (или через браузер — к примеру девайсы  Android целый зоопарк через браузеры доступны у меня) и там что-то собрать, проверить — уже не могет.

Т.е. еще множество мест, когда мне нужно вручную за него что-то делать и сообщать ему результат.

Разрешимы ли эти задачи? Как будут решать?

Вот сделали этих агентов, внедряются в командную строку, в IDE.

Сейчас оно может запустить компилятор и прочесть текст ошибки компилятора. Ну ОК.

А вот запустить прогу на iPhone на самом девайсе, нажать там кнопку и прочесть сообщение на экране — уже не могет

Дале, запустить браузер и прочесть сообщение из консоли браузера — уже не могет

Ну или еще — запустить вирт. машину через GUI (или через браузер — к примеру девайсы  Android целый зоопарк через браузеры доступны у меня) и там что-то собрать, проверить — уже не могет.

Т.е. еще множество мест, когда мне нужно вручную за него что-то делать и сообщать ему результат.

Разрешимы ли эти задачи? Как будут решать?