Здравствуйте, GW, Вы писали:

>> Я всё веду к тому, что пользователь как объект
>> не наблюдаем и строить зависимости от недостоверного состояния объекта
>> есть совершенно пустое дело.
GW>ну вот так всегда
GW>в машинном обучении люди работают три десятка лет с объектами, состояние
GW>которых недостоверно и никто глаза им не открыл
Да пусть работают. Распознавать буквы, зная, что это буквы это одно. Т.е. параметры объекта известны, неизвестны их значения. А вот распознать нечто, не понаблюдав за этим достаточно, невозможно. Вот вам дадут с закрытыми глазами круглое и лохматое и попробуйте угадать, что это — киви, теннисный мячик или пресноводный круглопузый мехобрюх.

Ведь здесь-то вообще неизвестно ничего. Допустим, человек вчера читал про полёты на Марс, позавчера — про футбол, а сегодня ткнул в новость о политическом кризисе в Украине. Угадайте, пожалуйста, теперь, что ему будет интереснее прочитать — про аквариумных рыбок, новый процессор от Интел или об очередном разводе поп-дивы? А вот и не угадали, потому что он собрался в отпуск и почитал бы с удовольствием о росте цен в августе на курортах Франции, да только чтобы с достаточной достоверностью предположить, что именно в этот день он соберётся в отпуск, надо собрать статистику о его поездках в отпуск за последние триста лет.
В принципе, можно наблюдать за предпочтениями большого количества человек, потом каждого конкретного относить к той или иной группе по его действиям, после чего уже и предлагать этому кусочку стада то, что может ему понравится. Главный вопрос — зачем?

GW>со спамом так вообще невозможно бороться — неизвестно, что я в данный
GW>момент посчитаю спамом
Вот именно, что невозможно. И лично мне проще двадцать секунд в день потратить, пощёлкав по заголовкам, помечая их спамом, чем через неделю узнать, что чего-то важное до меня не дошло и я про... профукал работу на килобаксы. Вреда больше не от спама, а от горе-спамоборцев.

Xander Zerge wrote:
>> > Я всё веду к тому, что пользователь как объект
>> > не наблюдаем и строить зависимости от недостоверного состояния объекта
>> > есть совершенно пустое дело.
> GW>ну вот так всегда
> GW>в машинном обучении люди работают три десятка лет с объектами, состояние
> GW>которых недостоверно и никто глаза им не открыл
> Да пусть работают. Распознавать буквы, зная, что это буквы это одно.
> Т.е. параметры объекта известны, неизвестны их значения. А вот
> распознать нечто, не понаблюдав за этим достаточно, невозможно. Вот вам
> дадут с закрытыми глазами круглое и лохматое и попробуйте угадать, что
> это — киви, теннисный мячик или пресноводный круглопузый мехобрюх.
>
> Ведь здесь-то вообще неизвестно ничего. Допустим, человек вчера читал
> про полёты на Марс, позавчера — про футбол, а сегодня ткнул в новость о
> политическом кризисе в Украине. Угадайте, пожалуйста, теперь, что ему
> будет интереснее прочитать — про аквариумных рыбок, новый процессор от
> Интел или об очередном разводе поп-дивы? А вот и не угадали, потому что
> он собрался в отпуск и почитал бы с удовольствием о росте цен в августе
> на курортах Франции, да только чтобы с достаточной достоверностью
> предположить, что именно в этот день он соберётся в отпуск, надо собрать
> статистику о его поездках в отпуск за последние триста лет.
> В принципе, можно наблюдать за предпочтениями большого количества
> человек, потом каждого конкретного относить к той или иной группе по его
> действиям, после чего уже и предлагать этому кусочку стада то, что может
> ему понравится. Главный вопрос — зачем?
вы максималист
ведь на самом деле речь не идет о том, что нужно удалять все новости,
которые не соотвествуют устоявшимся предпочтениям
хочется, чтобы нужные были на видном месте, а все остальные где-то в тени
у вашей позиции есть научное название "синдром упущенных возможностей" —
это когда у людей появляется стойкое мнение, что обрывок фразы, статья
или телепередача могут изменить всю их жизнь

> GW>со спамом так вообще невозможно бороться — неизвестно, что я в данный
> GW>момент посчитаю спамом
> Вот именно, что невозможно. И лично мне проще двадцать секунд в день
> потратить, пощёлкав по заголовкам, помечая их спамом, чем через неделю
> узнать, что чего-то важное до меня не дошло и я про... профукал работу
> на килобаксы. Вреда больше не от спама, а от горе-спамоборцев.
наверное мало спама получаете, а насчет работы на килобаксы это
извините шизофрения
если только вам не присылают предложения о работе такого вида:
Уважаемый, ...
Мы готовы предложить Вам работу на $1000000 долларов, виллу, личный самолет
PS
А кстати не хотите ли увеличить свой ...

Здравствуйте, Xander Zerge, Вы писали:

GW>>со спамом так вообще невозможно бороться — неизвестно, что я в данный
GW>>момент посчитаю спамом
XZ>Вот именно, что невозможно. И лично мне проще двадцать секунд в день потратить, пощёлкав по заголовкам, помечая их спамом, чем через неделю узнать, что чего-то важное до меня не дошло и я про... профукал работу на килобаксы. Вреда больше не от спама, а от горе-спамоборцев.

Даже обидно как-то, блин. Ну если лишнего на аккаунт меньше ста штук писем например валится, то в принципе да, можно и вручную попариться. Только ошибок в результате будет скорее всего больше чем у современного классификационного алгоритма. Как раз персональный фильтр болезнью серверных реализаций не страдает — распознает все так, как вы сами считаете нужным. К тому же можно время от времени в спамную папку заглядывать, так что профукать особо ничего и не выйдет. Если почтовый клиент TheBat, то см. сайт в подписи. Оно работает

Здравствуйте, GW, Вы писали:

GW>вы максималист
GW>ведь на самом деле речь не идет о том, что нужно удалять все новости,
GW>которые не соотвествуют устоявшимся предпочтениям
GW>хочется, чтобы нужные были на видном месте, а все остальные где-то в тени
GW>у вашей позиции есть научное название "синдром упущенных возможностей" —
GW>это когда у людей появляется стойкое мнение, что обрывок фразы, статья
GW>или телепередача могут изменить всю их жизнь
Это вы с кем разговариваете вот щас?

>> GW>со спамом так вообще невозможно бороться — неизвестно, что я в данный
>> GW>момент посчитаю спамом
>> Вот именно, что невозможно. И лично мне проще двадцать секунд в день
>> потратить, пощёлкав по заголовкам, помечая их спамом, чем через неделю
>> узнать, что чего-то важное до меня не дошло и я про... профукал работу
>> на килобаксы. Вреда больше не от спама, а от горе-спамоборцев.
GW>наверное мало спама получаете, а насчет работы на килобаксы это
GW>извините шизофрения
Тут понятно уже... Эх, опять...
Вы знаете как, с чем, и за какие деньги я работаю? А раз нет, так и не делайте выводов. А то опять-таки получается обсуждаемая ситуация, когда вы строите свои рассуждения на ложных предположениях.

GW>если только вам не присылают предложения о работе такого вида:
GW>Уважаемый, ...
GW>Мы готовы предложить Вам работу на $1000000 долларов, виллу, личный самолет
GW>PS
GW>А кстати не хотите ли увеличить свой ...
Вам, наверное, не присылают, я же говорю примеры из жизни.

"Мущщина, а не сделаете ли мне вот это?"
"Сделаю"
"Сколько?"
"Столько"
...тишина...
...надоело ждать: "Чё, так много что ли требуется?"
"Да нет, просто вы не ответили, мы думали вы умерли"
"Как? Я же ответил!"
"Ой, да, действительно, это у нас спаморезка отрезала. Извините, работу нам сделал другой исполнитель, хотя и в два раза дороже."
В итоге на равные суммы попал и я, и заказчик. Кто виноват? Продавец удлинителей или спамоборец?

Здравствуйте, Vetal-tm, Вы писали:

VT>Даже обидно как-то, блин. Ну если лишнего на аккаунт меньше ста штук писем например валится, то в принципе да, можно и вручную попариться. Только ошибок в результате будет скорее всего больше чем у современного классификационного алгоритма. Как раз персональный фильтр болезнью серверных реализаций не страдает — распознает все так, как вы сами считаете нужным. К тому же можно время от времени в спамную папку заглядывать, так что профукать особо ничего и не выйдет. Если почтовый клиент TheBat, то см. сайт в подписи. Оно работает

Гэ-мэйл тоже работал. Сейчас начал больше пропускать откровенного спама, чем отрезать. Ошибки первого и второго рода были, есть и будут. Ничто не может гарантировать их отсутствия, только разные пропорции.
А вот "время от времени в спамную папку заглядывать" это как раз и неинтересно. Т.е. вместо того, чтобы из списка писем выкинуть левые, нужно просмотреть тонну левых, выискивая нужные, подсознательно ожидая их отсутствие. Это гораздо труднее.

Здравствуйте, Xander Zerge, Вы писали:

XZ>Здравствуйте, Vetal-tm, Вы писали:

VT>>Даже обидно как-то, блин. Ну если лишнего на аккаунт меньше ста штук писем например валится, то в принципе да, можно и вручную попариться. Только ошибок в результате будет скорее всего больше чем у современного классификационного алгоритма. Как раз персональный фильтр болезнью серверных реализаций не страдает — распознает все так, как вы сами считаете нужным. К тому же можно время от времени в спамную папку заглядывать, так что профукать особо ничего и не выйдет. Если почтовый клиент TheBat, то см. сайт в подписи. Оно работает

XZ>Гэ-мэйл тоже работал. Сейчас начал больше пропускать откровенного спама, чем отрезать. Ошибки первого и второго рода были, есть и будут. Ничто не может гарантировать их отсутствия, только разные пропорции.
XZ>А вот "время от времени в спамную папку заглядывать" это как раз и неинтересно. Т.е. вместо того, чтобы из списка писем выкинуть левые, нужно просмотреть тонну левых, выискивая нужные, подсознательно ожидая их отсутствие. Это гораздо труднее.

У Гмейл качество фильтрации никогда не превышало процентов 85 по тестированию и ощущениям. Равно как и у большинства остальных серверных решений, о чем и разговор. Я в свою спамную папку перестал заглядывать года два назад, потому как ошибок типа false positive не было вообще. Сейчас появился новый алгоритм, добавились правила, эвристики — теперь классификатору доверяю больше чем себе А в общем дело хозяйское в принципе, я тут не собирался ничего рекламировать. Просто слегка задело высказывание про антиспам как вселенское зло. Гмейл и некоторые другие фильтры для меня уже типа красной тряпки, потому как слепое доверие брендам и суждение всего по их характеристикам мешает. Вместо того чтобы взять и проверить в действии что-то новое люди начинают рассуждать основываясь на каком-то своем негативном опыте, фигурально выражаясь дуть на воду обжегшись на молоке. Вон даже Игорь Ашманов и люди которые у него в компании работают на Вебпланете долго пытались убедить что статистические методы типа байеса полная фигня, потому как у них оно не работает, переобучается, потом спецэффекты всякие, перекосы базы и т.п. А люди, которые сейчас классификатором пользуются, об этом скорее всего не догадываются, а просто как и я забыли про спам и про "заглядывать время от времени"

Xander Zerge wrote:
> Тут понятно уже... Эх, опять...
> Вы знаете как, с чем, и за какие деньги я работаю? А раз нет, так и не
> делайте выводов. А то опять-таки получается обсуждаемая ситуация, когда
> вы строите свои рассуждения на ложных предположениях.
я не строю предположений о роде вашей деятельности

> В итоге на равные суммы попал и я, и заказчик. Кто виноват? Продавец
> удлинителей или спамоборец?
мой ответ вам не понравится — виноваты вы
не знаю чем уж вы там занимаетесь связанным со спам-подозрительной
активностью, но запросить подтверждение получения письма определенно не
сложно, не получили в течении дня — послать еще письмо
письма ведь и без спам-фильтров пропадать могут, например заказчик
случайно удалит письмо
рассуждения типа вот блин козел заказчик не увеличат баланс в вашем кармане

Здравствуйте, GW, Вы писали:

>> В итоге на равные суммы попал и я, и заказчик. Кто виноват? Продавец
>> удлинителей или спамоборец?
GW>мой ответ вам не понравится — виноваты вы
GW>не знаю чем уж вы там занимаетесь связанным со спам-подозрительной
GW>активностью, но запросить подтверждение получения письма определенно не
GW>сложно, не получили в течении дня — послать еще письмо
GW>письма ведь и без спам-фильтров пропадать могут, например заказчик
GW>случайно удалит письмо
GW>рассуждения типа вот блин козел заказчик не увеличат баланс в вашем кармане

Я чего-то нить совсем потерял. Вы о чём? Больная мозоль что-ли?

Здравствуйте, GW, Вы писали:

GW>мой ответ вам не понравится — виноваты вы
GW>не знаю чем уж вы там занимаетесь связанным со спам-подозрительной
GW>активностью, но запросить подтверждение получения письма определенно не
GW>сложно, не получили в течении дня — послать еще письмо
GW>письма ведь и без спам-фильтров пропадать могут, например заказчик
GW>случайно удалит письмо
GW>рассуждения типа вот блин козел заказчик не увеличат баланс в вашем кармане

Ну вот и продолжение истории о вреде спама и вреде и пользе тех, кто с ним борется.
Сразу оговорюсь, что никакой спам-подозрительной активностью не занимаюсь в принципе, тем более с локального компутера (на сайте скрипт автоматически оповещает по e-mail зарегистрированных пользователей об обновлениях).

К интернету я подключен через городского провайдера. Единственного и монопольного со всеми вытекающими.
Сегодня обнаруживаю, что почта от меня не уходит. Ко мне приходит, от меня — нет. Почему? Из репортов выясняется, что ай-пи адрес провайдера попал в блэк-лист spamcop-а. Т.е. спамоборцы, уловив одного *дака, рассылающего спам (а ведь может *дака и нету вовсе), загнали в блэк-лист цельный город ничтоже сумняшеся. Кто виноват, спамеры, или чудо-спамоборцы с кривыми руками и сырыми идеями, в том, что я, такой честный и законопослушный, не могу отправлять почту и вынужден вести переписку с людьми через веб-интерфейс gmaila (который, кстати, на спам-фильтр вообще забил — всё *овно пропускает), постоянно дописывая приписочки типа "Извините, *ля, что пишу с бесплатной почты, ибо что-то мой почтовый сервер не фунциклирует сегодня..."

Уж если спам наносит вред в виде потери времени, трафика и т.п., то горе-спамоборцы уж если слажают, то всё — *ец (звездец в смысле) вот он и как он есть.

Вот жду утра и чуда: а не выдаст ли мне провайдер (за нехилую ежемесячную мзду) статический IP-адресок, да такой, чтобы в блек-листе не был замазан (что тоже сомнительно, ибо spamcop указал целый ворох соседних адресов).

Здравствуйте, podovan, Вы писали:

посмотри лучше в сторону сервисов, подобных movielens
идея очень простая — юзеры проставляют рейтинги, которые запоминаются в базе. Далее программа смотрит, каким фильмам ты ставил высокие рейтинги, ищет пользователей с подобными вкусами, затем ищет у этих пользователей фильмы с высокими рейтингами, которых нет в твоей базе рейтингов — и предлагает тебе список
Точно так же можно сделать с новостными ресурсами.

Здравствуйте, Дарней, Вы писали:

Д>посмотри лучше в сторону сервисов, подобных movielens
Д>идея очень простая — юзеры проставляют рейтинги, которые запоминаются в базе. Далее программа смотрит, каким фильмам ты ставил высокие рейтинги, ищет пользователей с подобными вкусами, затем ищет у этих пользователей фильмы с высокими рейтингами, которых нет в твоей базе рейтингов — и предлагает тебе список
Д>Точно так же можно сделать с новостными ресурсами.

Ага, то есть вместо того, чтобы ненавязчиво предлагать потенциально интересные новости, программа будет задалбывать пользователя вынуждением проставления рейтингов всем поступающим новостным заметкам.

Здравствуйте, Xander Zerge, Вы писали:

XZ>Ага, то есть вместо того, чтобы ненавязчиво предлагать потенциально интересные новости, программа будет задалбывать пользователя вынуждением проставления рейтингов всем поступающим новостным заметкам.

не вынужденным, а по желанию
RSDN тебя вынужденным проставлением рейтингов не задалбывает?

Здравствуйте, Xander Zerge, Вы писали:

XZ> Т.е. спамоборцы, уловив одного *дака, рассылающего спам (а ведь может *дака и нету вовсе), загнали в блэк-лист цельный город ничтоже сумняшеся. Кто виноват, спамеры, или чудо-спамоборцы с кривыми руками и сырыми идеями,

виноват как всегда микрософт

виноват в том, что до сих пор не сделал замены этому чудовищному, тупому и давным давно устаревшему протоколу.

нет, я чесслово не понимаю почему нельзя сделать нормальную почту на новом протоколе?
с аутентификацией, шифрованием, подписью, гарантированной доставкой и защитой от спама.
причем в принципе все очевидно как это можно сделать...

Здравствуйте, Дарней, Вы писали:

XZ>>Ага, то есть вместо того, чтобы ненавязчиво предлагать потенциально интересные новости, программа будет задалбывать пользователя вынуждением проставления рейтингов всем поступающим новостным заметкам.

Д>не вынужденным, а по желанию
Д>RSDN тебя вынужденным проставлением рейтингов не задалбывает?

Нет. Но информации даже из такого количества выбрать трудно. То есть схема начнёт работать только если наберётся несколько десятков тысяч пользователей. А откуда им взяться, если эта схема и есть та функция, которая пользователей должна привлекать, и ради которой и закручивается продукт/сервис. А в RSDN рейтинги — лишь фича, дополняющая основные функции, вряд ли кто-то будет постить сюда, чтобы рейтингами меряться, или специально читать форумы, чтобы эти рейтинги активно расставлять, или хотя-бы читать форумы, ориентируясь по рейтингам авторов.
Отсюда можно сделать вывод, что надо или очень (даже так: ОЧЕНЬ) вложиться в стартовую раскрутку, чтобы очень быстро набрать активную пользовательскую базу, или, что более реально, делать в виде довеска к какому-то другому сервису, к тем же новостям, хотя бы на стартовом этапе развития. А может вообще ориентироваться как на примочку к новостным сервисам и повернуть бизнес-модель на продажи этой штуки не потребителям новостей, а собственно поставщикам. (Что-то это начинает очень смахивать на механизмы контекстной рекламы... )
В принципе, пойдя по второму пути, можно организовать представление новостных заголовков так, чтобы оценивать рейтинг автоматически — по тому, в какой последовательности пользователь выбрал просмотр новостей из группы заголовков, как долго читал, а самое главное, по ссылкам в каких новостных блоках перешёл — т.е. заинтересовался темой так, что решил углубиться, пройдясь по первоисточникам и/или дополнительным материалам.
Но ещё раз повторюсь, это будет такая жестокая эмпирика, для которой нужны очень солидные информационные выборки.

Здравствуйте, Vitas Ramanchauskas, Вы писали:

VR>виноват как всегда микрософт

VR>виноват в том, что до сих пор не сделал замены этому чудовищному, тупому и давным давно устаревшему протоколу.

VR>нет, я чесслово не понимаю почему нельзя сделать нормальную почту на новом протоколе?
VR>с аутентификацией, шифрованием, подписью, гарантированной доставкой и защитой от спама.
VR>причем в принципе все очевидно как это можно сделать...

Можно. А нужно?

Проблема в том, что всех и вся нужно пересадить на новый протокол, т.е. переписать и, что тоже непросто, заменить всех клиентов. Вон у меня даже антивирус имеет свой собственный POP3/SMTP сервер, через который мой почтовый клиент общается с миром.
А кто не заменился — тот почту не получит или не отправит. Вот как я сейчас до сих пор, сижу, как дурак, в "тюрьме" — только через веб-интерфейс почту и рассылаю. А это ведь не другой протокол — всего лишь примочечка к почтовому серверу, которая лазит на спамкоповский сервер.

Вот такая вот проблема цифрового века — средства обработки и наработки информации развиваются, но чем более они совершенны, тем больше оказывается скорость накопления информационного багажа, базирующегося на протоколах устаревающих технических средств. И чем дальше, тем "веселее" — толщина багажа постоянно уменьшает шансы "взять всё и переписать с нуля".

Здравствуйте, Xander Zerge, Вы писали:

XZ>Но ещё раз повторюсь, это будет такая жестокая эмпирика, для которой нужны очень солидные информационные выборки.

это верно. Но такая схема кажется мне намного более жизнеспособной, чем попытка делать прогнозы исходя из чистой эмпирики, безо всякой опоры на статистику.

Здравствуйте, Vitas Ramanchauskas, Вы писали:

VR>Здравствуйте, Xander Zerge, Вы писали:

XZ>> Т.е. спамоборцы, уловив одного *дака, рассылающего спам (а ведь может *дака и нету вовсе), загнали в блэк-лист цельный город ничтоже сумняшеся. Кто виноват, спамеры, или чудо-спамоборцы с кривыми руками и сырыми идеями,

VR>виноват как всегда микрософт

VR>виноват в том, что до сих пор не сделал замены этому чудовищному, тупому и давным давно устаревшему протоколу.

VR>нет, я чесслово не понимаю почему нельзя сделать нормальную почту на новом протоколе?
VR>с аутентификацией, шифрованием, подписью, гарантированной доставкой и защитой от спама.
VR>причем в принципе все очевидно как это можно сделать...

Если для вас все так очевидно, то может поделитесь мыслями на счет вот этого — "гарантированной доставкой и защитой от спама"? При условии когда любой пользователь может послать письмо на любой почтовый ящик в сети задача выглядит далеко нетривиальной. Сколько уже делалось попыток как то разрулить проблему, пальцев не хватит сосчитать. Было например одно совершенно безумное решение — чтобы каждый пользователь платил бабло за каждое письмо, чтобы типа спамерам стало невыгодно рассылать их большими пачками. Можете предложить что-то получше?

Здравствуйте, Xander Zerge, Вы писали:

XZ>Здравствуйте, GW, Вы писали:

>>> Я всё веду к тому, что пользователь как объект
>>> не наблюдаем и строить зависимости от недостоверного состояния объекта
>>> есть совершенно пустое дело.
GW>>ну вот так всегда
GW>>в машинном обучении люди работают три десятка лет с объектами, состояние
GW>>которых недостоверно и никто глаза им не открыл
XZ>Да пусть работают. Распознавать буквы, зная, что это буквы это одно. Т.е. параметры объекта известны, неизвестны их значения. А вот распознать нечто, не понаблюдав за этим достаточно, невозможно. Вот вам дадут с закрытыми глазами круглое и лохматое и попробуйте угадать, что это — киви, теннисный мячик или пресноводный круглопузый мехобрюх.

Интересно если приложить к задаче Баейеса и заставить пользователя сначала пометить список тем которые ему интересны, а потом пощелкать
как в спамоборцах интересно/неитересно. На выходе вроде должен быть более мене приличный результат.

Здравствуйте, Vetal-tm, Вы писали:

VT>... Было например одно совершенно безумное решение — чтобы каждый пользователь платил бабло за каждое письмо, чтобы типа спамерам стало невыгодно рассылать их большими пачками. Можете предложить что-то получше?

А почему безумное? Цент. Если реципиент не сказал, что это спам, то цент возвращается отправителю. "Я б купил."

Здравствуйте, Xander Zerge, Вы писали:

XZ>Здравствуйте, Vetal-tm, Вы писали:

VT>>... Было например одно совершенно безумное решение — чтобы каждый пользователь платил бабло за каждое письмо, чтобы типа спамерам стало невыгодно рассылать их большими пачками. Можете предложить что-то получше?

XZ>А почему безумное? Цент. Если реципиент не сказал, что это спам, то цент возвращается отправителю. "Я б купил."

Вот тут однозначно дырка — "Если..., то цент возвращается отправителю". Забудет получатель про ваше письмо и привет. Даже если все разом перейдут на новый почтовый сервер с поддержкой платежей и валидацией пользователей сертификатами, тут же найдется в системе куча слабых мест, из-за которых пользователи начнут терять деньги со страшной силой и ругать того кто эту систему придумал

Уже ведь пытались в AOL вроде сделать что-то подобное. Там по-моему деньги платились за "гарантию" доставки, т.е. обход всех серверных фильтров. В принципе разумная штука, но не пошло это на сколько я знаю. Кому понравится в очередной раз платить за воздух?