Решил я поискать, что есть в сети обо мне на раннем этапе моей карьеры — студента — химика и аспиранта — химика. Вывели меня на ИИ (от Гугла), ну я его и попытал.
Сначала хотел просто процитировать, что он на мои вопросы ответил, но это было бы длинно и неинтересно. Поэтому лишь краткое резюме.
Начал я с того. что спросил о своем участии во всесоюзной олимпиаде студентов по химии 1976 года. Думал, что ничего не ответит. К удивлению, ответил, и почти правильно — лишь сказал, что занял я второе место, а в действительности было третье. Это-то ладно, но вот почему-то меня произвел в студенты ФЕН НГУ и потом долго рассказывал о моей дальнейшей карьере в НГУ в качестве преподавателя и научного сотрудника. В действительности я был студентом Томского ГУ, а к НГУ никогда отношения не имел. Ну ладно, ошибиться по вопросу, в каком вузе я учился и какое место занял — грех небольшой, но зачем же было расписывать мою дальнейшую карьеру в НГУ, если я вообще к нему не имел отношения ?
Потом спросил о том, чем я занимался во времена аспирантуры. И тут он ответил. И годы аспирантуры правильно привел, и тематику. И названия моих статей правильно привел. Правда, ошибся в названиях журналов — якобы они опубликованы в "Известиях вузов". Между тем диссертацию я делал в институте АН СССР и статьи были в Известиях АН СССР, серия химическая. Дал даже название моей диссертации и автореферата, но тут уже вообще чистая фантазия — их нет в сети и ссылок на них нет. ИИ сам это название придумал.
Потом сообщил, что я работал в Омском ГУ. Верно, работал. Вот только почему-то заявил, что преподавал я на химическом факультете и занимался научной работой в области физической и аналитической химии. Между тем работал я на математическом факультете, вел программирование, а к своей химической тематике с момента прихода в ОмГУ никогда не возвращался. А уж к аналитической химии после 2 курса вообще отношения не имел.
Причем живо все это описал. Чуть ли не в классика меня превратил — в тех областях, где я или вообще не работал, или где моя роль весьма умеренная. Договорился до того, что мои результаты попали в какие-то справочники по химии, где и пребывают. Между тем мои работы времен аспирантуры ни для какого справочника не годятся — в них нет данных, которые можно поместить в справочники.
Общий вывод — сочетание вполне достоверных данных с домысливанием (чтобы не сказать больше). Там где можно найти достоверные данные — он их приводит, иногда с простительными искажениями. Хотя и непонятно, зачем искажать. Привести правильно год журнала, номер тома и страницы, название статьи и дать название другого журнала — зачем ?
В остальном же буйный полет фантазии — домысливает по принципу "если мы о нем вот это знаем, то что бы еще могло быть ? Вот такое могло бы. Могло. Ну значит, оно и было".
Был он студентом НГУ ? Был (по его мнению. в действительности не был). Ну значит, мог быть потом там же научным сотрудником. Чем занимался там ? Сейчас придумаем.
Делал он диссертацию ? Делал. Значит, должен был быть автореферат. Названия его найти не удалось, не беда. Сейчас придумаем это название по аналогии с названиями его статей.
Был он аспирантом вуза ? Да. Ну значит, и публиковался в Известиях вузов.
Работал он потом преподавателем в ОмГУ ? Да. Он же химик ? Да. Ну , значит, и преподавал на химическом факультете в той же области химии, которой занимался в аспирантуре.
В итоге получилась вольная фантазия, где правда так перемешана с домыслами, что кому-то, ничего не знающему обо мне, отличить одно от другого практически невозможно. Поэтому общая ценность всего этого равна 0. Тут не ложка дегтя, которая портит бочку меда, тут в бочке половина меда и половина дегтя, хорошо перемешанные.
Что это — его родимое пятно ? Надеяться на то, что со временем станет лучше, в этом случае не приходится. Новых данных о ранних годах моей карьеры не появится, скорее всего. Так что дообучиться он не сможет, не на чем. Поэтому вопрос не в том, что он какие-то данные не учел, а в том, что он вольно нафантазировал там, где всего лишь нужно было сказать "не знаю".
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Он когда-нибудь так фантазировать перестанет ?
Нет.
Всё что говорит имитатор интеллекта — галюцинации. Если у него были нужные данные в обучающей выборке, то будет правда, нет — сгенерирует. Проблема в том, что для него нет фактов — галюцинацией является абсолютно всё.
Например, если его специально не учить что метры в килограммах не измеряются, то он их запросто выразит.И это будет правдеподобно, а иногда даже наукообразно. Картины мира у него нет — он просто генерирует текс, выполняет то, для чего создан. Он именно поэтому мне предлагал использовать эталонный конденсатор в 2 пФ, и подключить щуп осциллографа к контуру, в котором такой конденсатор: человек может подумать, что щуп тоже обладает ёмкостью — этот думать не умеет, он текст генерирует, самим понятием ёмкость он не владеет.
Именно поэтому я их называю Имитаторы Интеллекта.
Всё сказанное выше — личное мнение, если не указано обратное.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Что это — его родимое пятно ? Надеяться на то, что со временем станет лучше, в этом случае не приходится. Новых данных о ранних годах моей карьеры не появится, скорее всего. Так что дообучиться он не сможет, не на чем. Поэтому вопрос не в том, что он какие-то данные не учел, а в том, что он вольно нафантазировал там, где всего лишь нужно было сказать "не знаю".
А зачем студенты на экзамене домысливают, когда не знают правильного ответа?
PD>Он когда-нибудь так фантазировать перестанет ?
Как и человек — чем больше будет знать, тем меньше будет домысливать.
Но при этом заметь, если 5-летний ребёнок домысливает 100 раз на дню, это вообще не проблема. А если раз в 10 лет домыслит авиадиспетчер...
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Он когда-нибудь так фантазировать перестанет ?
Думаю да. Рано или поздно к нему прикрутят функционал автоматической перепроверки каждого из упоминаемых им фактов.
Я в запросе сразу пишу: ищи ответ в таких-то источниках, предоставь ссылки, подтверждающие твои рекомендации. Помогает — он в ответах прямо цитаты из источников приводит. Но (пока еще) не идеально.
Сам по себе LLM без присмотра и рамок — это галлюцинирующий психбольной, косящий под "нормального" (причем степень галлюцинаций (температуру), похоже, разработчики настроили от фонаря под разные классы запросов — ответ выглядит правдоподобно, значит значение правильное). Поэтому пока что его нужно постоянно направлять для точных ответов.
Здравствуйте, Pzz, Вы писали:
Pzz>А зачем студенты на экзамене домысливают, когда не знают правильного ответа?
Ну здесь все просто. Есть шанс угадать и тем самым успешно ответить на вопрос экзаменатора. Если бы тот же вопрос был бы задан не на экзамене, а, скажем, его однокурсником при подготовке к экзамену, студент, скорее всего, ответил бы : "не знаю, надо посмотреть".
Но ИИ не сдает никакой экзамен, так что подобная мотивация не должна иметь места.
Pzz>Но при этом заметь, если 5-летний ребёнок домысливает 100 раз на дню, это вообще не проблема. А если раз в 10 лет домыслит авиадиспетчер...
Никто ребенка не привлекает в роли эксперта, и к его высказываниям всегда относятся с определенным сомнением.
А ИИ ведет себя скорее не как ребенок, а как Ноздрев. Прислушиваться к его мнению — все равно что прислушиваться к высказываниям Ноздрева о том, как Чичиков собирался увезти губернаторскую дочку.
Здравствуйте, opfor, Вы писали:
O>Сам по себе LLM без присмотра и рамок — это галлюцинирующий психбольной, косящий под "нормального" (причем степень галлюцинаций (температуру), похоже, разработчики настроили от фонаря под разные классы запросов — ответ выглядит правдоподобно, значит значение правильное).
Вот в этом-то и вопрос. Зачем нужно генерировать эти правдоподобные ответы , если нет информации для правильного ответа ? Зачем это делать ?
Почему не ответить — не знаю ? Это же ни в коей мере не было бы ущербом для его репутации. Ну в самом деле, что можно сказать о деятельности человека в такие-то годы, если никакой информации о его деятельности в эти годы нет нигде в сети ?
PD>Что это — его родимое пятно ? Надеяться на то, что со временем станет лучше, в этом случае не приходится. Новых данных о ранних годах моей карьеры не появится, скорее всего. Так что дообучиться он не сможет, не на чем. Поэтому вопрос не в том, что он какие-то данные не учел, а в том, что он вольно нафантазировал там, где всего лишь нужно было сказать "не знаю".
PD>Он когда-нибудь так фантазировать перестанет ?
во времена, когда ИИ не мог примерно ни хрена, была такая компания numenta, глава которой придумал вот такое описание работы человеческого мозга https://en.wikipedia.org/wiki/Memory-prediction_framework
кажется, очень хорошо все эти фантазии ложаться на такое описание
просто пока-что наша предсказывалка работает получше, и фантазий поэтому поменьше. пока-что.
Здравствуйте, Pavel Dvorkin, Вы писали:
Pzz>>А зачем студенты на экзамене домысливают, когда не знают правильного ответа?
PD>Ну здесь все просто. Есть шанс угадать и тем самым успешно ответить на вопрос экзаменатора. Если бы тот же вопрос был бы задан не на экзамене, а, скажем, его однокурсником при подготовке к экзамену, студент, скорее всего, ответил бы : "не знаю, надо посмотреть". PD>Но ИИ не сдает никакой экзамен, так что подобная мотивация не должна иметь места.
ИИ надо сочинить N слов текста. Вот он и сочиняет, как может.
Pzz>>Но при этом заметь, если 5-летний ребёнок домысливает 100 раз на дню, это вообще не проблема. А если раз в 10 лет домыслит авиадиспетчер...
PD>Никто ребенка не привлекает в роли эксперта, и к его высказываниям всегда относятся с определенным сомнением.
PD>А ИИ ведет себя скорее не как ребенок, а как Ноздрев. Прислушиваться к его мнению — все равно что прислушиваться к высказываниям Ноздрева о том, как Чичиков собирался увезти губернаторскую дочку.
Я к тому, что по мере совершенствования ИИ доверие к нему будет расти, а он всё равно будет сочинять. Реже, но с бОльшими последствиями.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Почему не ответить — не знаю ?
Он не знает что он не знает. Это просто генерация каждого следующего слова на основе вероятности.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Зачем нужно генерировать эти правдоподобные ответы , если нет информации для правильного ответа ?
Так он "не знает", какой ответ "правильный". В отношении чисто формальных вещей (математические формулы, синтаксис программного кода и т.п.) он хотя бы может проверить формальную же правильность. В отношении остального он может оценивать корректность исключительно по косвенным меркам.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>В тех источниках есть именно такие (дословно) фрагменты? Проверяли?
Проверяли. Обычно есть (особенно последнее время — что-то подкрутили), раньше дополнительно приходилось тыкать: "а ну покажи конкретно где это сказано" — тогда извиняется и меняет ответ на противоположный
ЕМ>То, что он ссылается на источники, совершенно ничего не значит.
Проверяю. За ним вообще постоянно присмотр нужен, как я уже писал.
Еще из трюков — если сомневаюсь в правдивости его ответа, переспрашиваю, "вы уверены? какие ваши доказательства? (С) что говорят эксперты, и другие умные книги?".
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Вот в этом-то и вопрос. Зачем нужно генерировать эти правдоподобные ответы , если нет информации для правильного ответа ? Зачем это делать ?
у него такой принцип работы — дописывать наиболее вероятное слово, которое может следовать за уже написанным текстом. Оно совершенно не понимает, что именно оно пишет, ему главное, чтобы написанное выглядело правдоподобно. Логика примерно такая же, как если в Т9 (когда на телефоне пишешь текст) вместо написания очередного слова вручную — каждый раз выбирать слово из подсказок сверху. Иногда интересные тексты получаются. Я вообще удивлен что с таким подходом оно генерирует скорее вменяемые ответы.
PD>Почему не ответить — не знаю ? Это же ни в коей мере не было бы ущербом для его репутации. Ну в самом деле, что можно сказать о деятельности человека в такие-то годы, если никакой информации о его деятельности в эти годы нет нигде в сети ?
Я уверен, разработчики уже который год ломают голову, как этого добиться
Как-то же добились, чтобы он не отвечал на неприличные или опасные вопросы. Наверное и к этому придут со временем.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Так он "не знает", какой ответ "правильный". В отношении чисто формальных вещей (математические формулы, синтаксис программного кода и т.п.) он хотя бы может проверить формальную же правильность. В отношении остального он может оценивать корректность исключительно по косвенным меркам.
Так ведь он не только синтаксис кода проверяет (это любой компилятор умеет), но и сам вроде как код сочиняет, да еще грозит юниоров всех вытеснить.
А ведь тут то же самое может быть. Если взять код, скажем, реализующий десктопное приложения, да добавить в него кусок, в котором код твоих любимых драйверов, то формально все может оказаться вполне корректно. Никто не сказал, что десктопному приложению не может потребоваться специфический драйвер. Ну а дальше — пожалуйста. Смесь кода на Win API и NTDDK. Там, где подходящей функции на Win API не нашлось — возьмет из NTDDK. И будешь потом долго доказывать, что на IRQL passive и вызывать такую функцию нельзя.
Но уже мелькают новости, что, например, Ян Лекун стартовал разработки приципиальной альтернативы LLM и у него еще и конкуренты в этом деле есть.
например: https://habr.com/ru/news/1008568/
AMI Labs разрабатывает так называемые мировые модели (world models) — системы, которые учатся понимать физический мир, а не просто предсказывать следующее слово в тексте. В основе подхода лежит архитектура JEPA (Joint Embedding Predictive Architecture), предложенная ЛеКуном еще в 2022 году. По его убеждению, нынешние LLM фундаментально неспособны к настоящему рассуждению и планированию: "Существующие системы понимают мир хуже, чем домашняя кошка", — неоднократно заявлял ученый. CEO компании Александр ЛеБрюн, ранее возглавлявший медицинский ИИ-стартап Nabla, предупредил, что до коммерческих продуктов пройдут годы: "Это не типичный стартап, который выпускает продукт через три месяца и выходит на $10 млн выручки через год".
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>сам вроде как код сочиняет
Опять же — на основе формальных правил, известных стилей и примеров, задним числом проверяя корректность полученного, и многократно переделывая (до окончательной выдачи пользователю).
PD>да еще грозит юниоров всех вытеснить.
Так же, как и всех "журналистов", умеющих лишь "писать о предмете в общем". То есть — специалистов по словоблудию любого рода.
PD>Если взять код, скажем, реализующий десктопное приложения, да добавить в него кусок, в котором код твоих любимых драйверов, то формально все может оказаться вполне корректно.
ИИ проверяет в коде не только синтаксис, но и семантику (понятную ему из правил/примеров), в том числе известные API. Если в коде режима пользователя встретятся явные вызовы из внутриядерных API, которые ему известны, он на это укажет.
Ну и специализированные модели, заточенные на работу с кодом, скорее всего, и компилируют, и выполняют код в виртуальных машинах, как это делают сервисы вроде godbolt. Понятно, что интерактивный код, да еще заточенный под конкретную среду, так не проверить, но общий — нетрудно.
PD>Никто не сказал, что десктопному приложению не может потребоваться специфический драйвер.
Так драйвер же (отдельный модудь, загруженный в ядро, и выставивший свое API), а не ядерный код, напрямую вкоряченный в код приложения.
PD>И будешь потом долго доказывать, что на IRQL passive и вызывать такую функцию нельзя.
Ну, про такие ограничения даже GPT знает — ему ж скармливают при обучении спецификации и доки. Другое дело, что у любого ИИ есть определенная "глубина анализа", ниже которой он не полезет. Я все собираюсь накидать ему примеров на анализ кода с неочевидными зависимостями, частными случаями, побочными эффектами и т.п., и посмотреть, какие сможет осилить. Но руки все не доходят.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Если кто-то будет писать мою биографию по данным ИИ, то там такое будет, что потом и не докажешь, что все не так.
Я недавно как раз приводил пример юзера, который считал, что у меня есть "новая секретная версия продукта для ограниченного использования", которая якобы раздается лишь избранным, и очень просил дать ему погонять. Когда я спросил, откуда он это взял — привел выдачу ИИ. Весьма пространно, по содержанию — типичное словоблудие, в стиле "доказательств бытия божия".
