Привет всем!
Хочу спросить совета у гениев шаревары и узнать мнение об идее следующего продукта.
Софт представляет собой сервис, который предоставляет возможность:
1. продать вычислительные ресурсы своего компьютера.
2. купить вычислительные ресурсы других людей (Например, особо актуально для моделлеров и аниматоров, т.к. тяжелый рендер.).
3. является интегратором распределенных приложений других разработчиков в будущем.
Для начала, в качестве примера, можно реализовать плагин для пакетов 3ds max и Maya для моделирования жикости по методу гидродинамики сглаженных частиц. Алгоритм не сложный (есть прототип). Сам плагин вроде должен быть востребованным (NextLimit еще не обанкротился). Плата будет взиматься за объем проведенных вычислений, а сам плагин бесплатный.
И хотел бы получить ответы на следующие вопросы:
1. Востребован ли данный продукт?
2. Потяну ли один разработку?
3. Готовs ли со мной начать разработку, если думаете, что идея имеет потенциал и заинтересовала вас?
W>2. купить вычислительные ресурсы других людей (Например, особо актуально для моделлеров и аниматоров, т.к. тяжелый рендер.).
1. уже существуют компании позволяющие аутсорсить им это
разумеется это будет и дешевле и надежнее чем то, что предлагаете вы
2. вы всерьез считаете, что те люди которые могут позволить себе мощный компьютер станут заморачиваться копейками заработанными на таком сервисе?
3. вы всерьез считаете, что компании инвестировавшие много много долларов в моделинг софт, оборудование и профессиональных художников станут заморачиваться такой фигней?
таким образом приходим к выводу, что
— пользователи этого сервиса — это компании из всяких стран типа россии, работающие на пиратском моделинг софте и платящие копейки работникам
— поставщики ресурсов этого сервиса — это не слишком умные тинейджеры из обеспеченных семей, которым папа-мама купили приличный комп, не понимая сами зачем, а деньги на мороженое-пиво не дают и надо их как-то достать не напрягая мозги и тело
Да, в общем случае, можно продавать любые ресурсы того, у кого они простаивают.
vsb>Интересно, как гарантируешь, что юзеры не поймают вирус от твоих вычислений, сохраняя native скорость? Ты же планируешь заливать юзерам код, который тебе дают покупатели сервиса. А там будет ддос rsdn-а, например.
Юзерам код заливается так же, как обновляются обычный софт (например Windows). Все модули должны быть подписаны. При загрузке просто проверяется цифровая подпись. Левый софт невозможно залить. Распространяются только модули лично преверенные мною и гарантированно рабочие без вредоносных алгоритмов.
Здравствуйте, wdds, Вы писали:
W>1. У юзеров давно уже не селероны. W>2. Задачу надо разжевать на совсем мелкие кусочки и для кластера из 1000 ядер тоже. W>3. Любой узел 1000 ядерного кластера тоже может уйти в любой момент в оффлайн. Нет гарантии, что все будет работать 100% хорошо. Нужно обрабатывать такие ситуации.
Да пожалуйста, пиши, я же не отговариваю. Только лишь рассказал, что в 2014 году доступны куда более удобные и эффективные способы аренды вычислительных мощностей. Но, хозяин-барин, вперед за миллионом!
Не взлетит. Есть амазон и прочие облака. Чем предлагаемое решение может быть лучше?
ЗЫ Идея не нова, конечно. Лет 10+ назад использовали продукт для распределенного билда с++ проекта. Солюшн, собиравшийся на одной неслабой машине 2.5 часа, стал билдиться за 20 минут, задействуя соседние машины. Вот это было очень круто.
Интересно, как гарантируешь, что юзеры не поймают вирус от твоих вычислений, сохраняя native скорость? Ты же планируешь заливать юзерам код, который тебе дают покупатели сервиса. А там будет ддос rsdn-а, например.
В целом сомнительно, что взлетит. Облачные ресурсы не так дорого стоят, чтобы заморачиваться с твоим решением, а тот факт, что твои задачи надо дублировать как минимум 2 раза, чтобы быть уверенным в том, что юзеры не мошенничают, приводит к тому, что покупатель должен платить как минимум в 2 раза больше, чем будет получать продавец. Плюс твоя комиссия. Надо считать, конечно, всё.
Идея в копилку — постараться использовать видеокарты. Есть люди, которые зарабатывают на биткоине (и подобных криптовалютах), занимаясь их майнингом на видеокартах. Если будешь платить больше, получишь достаточно большие вычислительные ресурсы для задач, хорошо ложащихся на видеокарту.
И ещё одна идея на миллион. Ты хочешь перепродавать процессор. Ещё можно перепродавать пространство на жёстком диске. Тут технических вопросов решать нужно больше, но в то же время больше интереса как со стороны покупателей (хранить файлы нужно куда большему числу людей, чем чего-то обсчитывать), так и со стороны продавцов (у многих есть свободное место на диске и если не будешь особенно напрягать канал в интернет, они будут его продавать за сущие копейки).
W>Юзерам код заливается так же, как обновляются обычный софт (например Windows). Все модули должны быть подписаны. При загрузке просто проверяется цифровая подпись. Левый софт невозможно залить. Распространяются только модули лично преверенные мною и гарантированно рабочие без вредоносных алгоритмов.
Сколько заплатишь за образец кода который ты лично проверишь и ничего подозрительного не найдёшь?
Здравствуйте, hi_octane, Вы писали:
W>>Юзерам код заливается так же, как обновляются обычный софт (например Windows). Все модули должны быть подписаны. При загрузке просто проверяется цифровая подпись. Левый софт невозможно залить. Распространяются только модули лично преверенные мною и гарантированно рабочие без вредоносных алгоритмов.
_>Сколько заплатишь за образец кода который ты лично проверишь и ничего подозрительного не найдёшь?
Думаю, это в интересах самих разработчиков, чтобы приложение сделать распределенным. Никто не заставляет
Здравствуйте, vsb, Вы писали:
vsb>Интересно, как гарантируешь, что юзеры не поймают вирус от твоих вычислений, сохраняя native скорость? Ты же планируешь заливать юзерам код, который тебе дают покупатели сервиса. А там будет ддос rsdn-а, например.
Здравствуйте, vsb, Вы писали:
vsb>И ещё одна идея на миллион. Ты хочешь перепродавать процессор. Ещё можно перепродавать пространство на жёстком диске. Тут технических вопросов решать нужно больше, но в то же время больше интереса как со стороны покупателей (хранить файлы нужно куда большему числу людей, чем чего-то обсчитывать), так и со стороны продавцов (у многих есть свободное место на диске и если не будешь особенно напрягать канал в интернет, они будут его продавать за сущие копейки).
В определенном смысле эта идея уже используется торрентами. Фактически, торренты — это разделяемые дисковые ресурсы, этакие client-side облака. По аналогии можно сделать и разделяемые вычислительные ресурсы. Или за плату или за счет обмена — ты предоставляешь свои ресурсы, когда они тебе не нужны в обмен на чужие ресурсы в нужный момент. Идей на эту тему можно придумать много. Теоретически можно даже народно-облачный поисковик типа Гугла сделать, можно облачные веб-сервера делать, можно рендеринг. Расшифровку генома, кажется, частично на ресурсах энтузиастов делали?
Идея неплохая, если она будет расчитана на массового пользователя : т.е. если любой, кому надо что-то очень большое обсчитать, сможет побыстрому написать небольшую програмку и залить её вам для обсчета в облаке, получив уже через несколько минут результат. Если такое осилите сделать — спрос будет.
Все зависит от ожидаемого дохода для продавцов, если это будет 1 бакс в месяц, то никто не будет этим заниматься.
Но в тоже время если аренда будет стоить 100 баксов за 3гига интел проц с 8 ядрами в месяц, то проще арендовать в облаке.
То есть вам нужна будет биржа/аукцион.
Кроме того проще сделать сдачу в аренду сразу виртуалок.
Видел подобный сервис у одной компании, насколько могу судить — оно там не взлетело, но там своя предметная специфика, они предлагают сдавать в аренду вычислитель строго в предметной области, ну не просто ЭВМ, а некий их вычислитель.
Здравствуйте, AlexMld, Вы писали:
vsb>>Интересно, как гарантируешь, что юзеры не поймают вирус от твоих вычислений, сохраняя native скорость? Ты же планируешь заливать юзерам код, который тебе дают покупатели сервиса. А там будет ддос rsdn-а, например.
AM>Клиентский код можно нужно выполнять в песочнице.
Из песочниц, которые не влияют на скорость выполнения кода, я знаю только NaCl. Он по-моему используется довольно редко и непонятно, какие в нём могут быть уязвимости. Песочница Java — дырявое решето. Остальные варианты — большие компромиссы в скорости.
Здравствуйте, dimon5, Вы писали:
D>Идея неплохая, если она будет расчитана на массового пользователя : т.е. если любой, кому надо что-то очень большое обсчитать, сможет побыстрому написать небольшую програмку и залить её вам для обсчета в облаке, получив уже через несколько минут результат. Если такое осилите сделать — спрос будет.
А много ли будет таких пользователей? Где гарантии что передаваемые данные не будут украдены, например?
Здравствуйте, wdds, Вы писали:
W>Привет всем! W>Хочу спросить совета у гениев шаревары и узнать мнение об идее следующего продукта.
Иди проверенным путём. Найди что-то, что требует больших вычислительных ресурсов и прикрути это к Amazon EC или гугловскому пулу. W>1. Востребован ли данный продукт?
Нет. W>2. Потяну ли один разработку?
Нет. W>3. Готовs ли со мной начать разработку, если думаете, что идея имеет потенциал и заинтересовала вас?
Нет. W>Ps. йа директар.
Кто бы сомневался.
Здравствуйте, Kernan, Вы писали:
K>Здравствуйте, dimon5, Вы писали:
D>>Идея неплохая, если она будет расчитана на массового пользователя : т.е. если любой, кому надо что-то очень большое обсчитать, сможет побыстрому написать небольшую програмку и залить её вам для обсчета в облаке, получив уже через несколько минут результат. Если такое осилите сделать — спрос будет. K>А много ли будет таких пользователей? Где гарантии что передаваемые данные не будут украдены, например?
Т.е. все проблемы упираются в безопасность. Но они решаемы.
1. Все загружаемые модули являются динамическими библиотеками, содержащие компоненты для вычисления. Библиотеки используют SDK для реализации своих алгоримтов. Т.е. никаких произвольных исполняемых файлов не загружается.
2. Все загружаемые библиотеки подписываются. Сертификат мой, реализация алгоритмов, которые нужно распараллелить одобрены мною. На самом деле, пользователям не нужно раскрывать весь алгоритм, достаточно только некоторые участки, которые нужно распараллелить.
3. Канал передачи данных шифруется (SSL)
Ограничения, накладываемые пунктом 2 можно снять, если:
1. Предоставить ограниченное контролируемое хранилище локальных данных.
2. Сервис, занимающийся загрузкой модулей выполнять из-под ограниченного в правах пользователя.
Ps. Но это уже технические детали. Вопрос в том, а стоит ли тратить свои ближайшие N лет на реализацию этого проекта.
Здравствуйте, wdds, Вы писали:
W>Т.е. все проблемы упираются в безопасность. Но они решаемы.
Безопастность малая из проблем, гораздо больше других "организационных сложностей".
W>1. Все загружаемые модули являются динамическими библиотеками, содержащие компоненты для вычисления. Библиотеки используют SDK для реализации своих алгоримтов. Т.е. никаких произвольных исполняемых файлов не загружается. W>2. Все загружаемые библиотеки подписываются. Сертификат мой, реализация алгоритмов, которые нужно распараллелить одобрены мною. На самом деле, пользователям не нужно раскрывать весь алгоритм, достаточно только некоторые участки, которые нужно распараллелить.
А вот это плохо. Сервис нужно именно массовым делать, иначе не взлутит. Т.е. процесс одобрений — заведомое ограничение до нескольких пользователей.
W>3. Канал передачи данных шифруется (SSL)
W>Ограничения, накладываемые пунктом 2 можно снять, если: W>1. Предоставить ограниченное контролируемое хранилище локальных данных. W>2. Сервис, занимающийся загрузкой модулей выполнять из-под ограниченного в правах пользователя.
W>Ps. Но это уже технические детали. Вопрос в том, а стоит ли тратить свои ближайшие N лет на реализацию этого проекта.
Если сервис сможешь сделать нормальным, то стоит. Спрос с обоих сторон есть.
Здравствуйте, Andrew.W Worobow, Вы писали: AWW>Но в тоже время если аренда будет стоить 100 баксов за 3гига интел проц с 8 ядрами в месяц, то проще арендовать в облаке.
Пруфлинк плиз, где это я смогу выделенный сервер с такими характеристиками за сотню в месяц арендовать AWW>Кроме того проще сделать сдачу в аренду сразу виртуалок.
Виртуалки — это как возможный дополнительный сервис, но это совсем другая область, не имеющая ничего общего с исходной.
Здравствуйте, dimon5, Вы писали:
AWW>>Но в тоже время если аренда будет стоить 100 баксов за 3гига интел проц с 8 ядрами в месяц, то проще арендовать в облаке. D>Пруфлинк плиз, где это я смогу выделенный сервер с такими характеристиками за сотню в месяц арендовать
Причем тут сервер?
Сервер и вычеслительные ресурсы сугубо разные вещи — сервер это и винт, и трафик, и ОС с тулсами.
AWW>>Кроме того проще сделать сдачу в аренду сразу виртуалок. D>Виртуалки — это как возможный дополнительный сервис, но это совсем другая область, не имеющая ничего общего с исходной.
Здравствуйте, dimon5, Вы писали:
v6>>Не взлетит. Есть амазон и прочие облака. Чем предлагаемое решение может быть лучше?
D>Что общего у предлагаемых сервисов с обсуждаемым решением?
Тем, что там можно арендовать любые необходимые объемы вычислительных ресурсов. Или для тебя амазон — это только магазин?
Здравствуйте, v6, Вы писали:
v6>Здравствуйте, dimon5, Вы писали:
v6>>>Не взлетит. Есть амазон и прочие облака. Чем предлагаемое решение может быть лучше?
D>>Что общего у предлагаемых сервисов с обсуждаемым решением?
v6>Тем, что там можно арендовать любые необходимые объемы вычислительных ресурсов. Или для тебя амазон — это только магазин?
Я могу там арендовать виртуальный сервер с тысячью процессорных ядер на один час? И сколько это будет стоить?
Здравствуйте, dimon5, Вы писали:
v6>>>>Не взлетит. Есть амазон и прочие облака. Чем предлагаемое решение может быть лучше?
D>>>Что общего у предлагаемых сервисов с обсуждаемым решением?
v6>>Тем, что там можно арендовать любые необходимые объемы вычислительных ресурсов. Или для тебя амазон — это только магазин?
D>Я могу там арендовать виртуальный сервер с тысячью процессорных ядер на один час?
Один сервер? Ты где такие видел? Можно поднять любое число инстансов с 32 vcpu и 60G ram на топовых ксеонах. На час. Но это, конечно, фигня по сравнению с россыпью домашних юзерских целеронов, на которых они еще кино смотрят и вконтактик лазят параллельно. И для которых задачу надо разжевать на совсем мелкие кусочки и быть готовым, что они в любой момент в оффлайн уйдут.
D>И сколько это будет стоить?
v6>Один сервер? Ты где такие видел? Можно поднять любое число инстансов с 32 vcpu и 60G ram на топовых ксеонах. На час. Но это, конечно, фигня по сравнению с россыпью домашних юзерских целеронов, на которых они еще кино смотрят и вконтактик лазят параллельно. И для которых задачу надо разжевать на совсем мелкие кусочки и быть готовым, что они в любой момент в оффлайн уйдут.
1. У юзеров давно уже не селероны.
2. Задачу надо разжевать на совсем мелкие кусочки и для кластера из 1000 ядер тоже.
3. Любой узел 1000 ядерного кластера тоже может уйти в любой момент в оффлайн. Нет гарантии, что все будет работать 100% хорошо. Нужно обрабатывать такие ситуации.
DEV>2. вы всерьез считаете, что те люди которые могут позволить себе мощный компьютер станут заморачиваться копейками заработанными на таком сервисе?
снижение курса биткоина и рост сложности криптовалют оставил без дела множество майнинг-ферм, и если проект ТС сможет предложить их владельцами заработок на уровне лайтов полугодичной давности — дефицита доступных мощностей не будет
разумеется, речь о вычислениях на видеокартах, в основном AMD, хотя и Maxwell оказался неплох, но их наверное мало.
DEV>3. вы всерьез считаете, что компании инвестировавшие много много долларов в моделинг софт, оборудование и профессиональных художников станут заморачиваться такой фигней?
если проект позволит получать в свое распоряжение на порядки большую вычислительную мощность on-demand — почему бы нет?
Здравствуйте, v6, Вы писали:
v6>Да пожалуйста, пиши, я же не отговариваю. Только лишь рассказал, что в 2014 году доступны куда более удобные и эффективные способы аренды вычислительных мощностей. Но, хозяин-барин, вперед за миллионом!
С другой стороны:
Для выполнения вычислений Folding@home использует не суперкомпьютер, а вычислительную мощь сотен тысяч персональных компьютеров со всего мира. Чтобы участвовать в проекте, человек должен загрузить небольшую программу-клиент. Клиентская программа Folding@Home запускается в фоновом режиме и выполняет вычисления лишь в то время, когда ресурсы процессора не полностью используются другими приложениями.
По состоянию на 15 мая 2013 года в проекте Folding@Home активны около 220 000 CPU, 23 000 GPU[4]. Суммарная производительность составляет 7 петафлопс. В 2007 году книга рекордов Гиннесса признала проект Folding@Home самой мощной сетью распределённых вычислений. По состоянию на декабрь 2011 года проект Folding@Home занимал вторую строчку мирового рейтинга самых мощных систем распределённых вычислений, уступая лишь Bitcoin, мощность которого составляет 161 петафлопс. Для сравнения, первую строчку в мировом рейтинге суперкомпьютеров TOP500 занимает система «K computer» с мощностью около 10,5 петафлопс, второе место у «Tianhe-1A» (2,5 петафлопс).
Здравствуйте, AlexMld, Вы писали:
v6>>Да пожалуйста, пиши, я же не отговариваю. Только лишь рассказал, что в 2014 году доступны куда более удобные и эффективные способы аренды вычислительных мощностей. Но, хозяин-барин, вперед за миллионом!
AM>С другой стороны: AM>
AM>Для выполнения вычислений Folding@home использует не суперкомпьютер, а вычислительную мощь сотен тысяч персональных компьютеров со всего мира. Чтобы участвовать в проекте, человек должен загрузить небольшую программу-клиент. Клиентская программа Folding@Home запускается в фоновом режиме и выполняет вычисления лишь в то время, когда ресурсы процессора не полностью используются другими приложениями.
AM>По состоянию на 15 мая 2013 года в проекте Folding@Home активны около 220 000 CPU, 23 000 GPU[4]. Суммарная производительность составляет 7 петафлопс. В 2007 году книга рекордов Гиннесса признала проект Folding@Home самой мощной сетью распределённых вычислений. По состоянию на декабрь 2011 года проект Folding@Home занимал вторую строчку мирового рейтинга самых мощных систем распределённых вычислений, уступая лишь Bitcoin, мощность которого составляет 161 петафлопс. Для сравнения, первую строчку в мировом рейтинге суперкомпьютеров TOP500 занимает система «K computer» с мощностью около 10,5 петафлопс, второе место у «Tianhe-1A» (2,5 петафлопс).
Этому проекту лет 15 уже. Я сам когда-то в seti@home принимал участие, когда он только появился. Только вот эти проекты некоммерческие и участие в них просто из интереса и какой-то потенциальной пользы для человечества. А вот можно ли юзера заинтересовать финансово и при этом быть дешевле того же амазона — это уже совсем другой вопрос.
Здравствуйте, wdds, Вы писали:
W>Юзерам код заливается так же, как обновляются обычный софт (например Windows). Все модули должны быть подписаны. При загрузке просто проверяется цифровая подпись. Левый софт невозможно залить. Распространяются только модули лично преверенные мною и гарантированно рабочие без вредоносных алгоритмов.
Вот это очень слабое решение. Могли бы придумать некую песочничу или компилятор с ограниченным набором команд...
Здравствуйте, v6, Вы писали:
v6>ЗЫ Идея не нова, конечно. Лет 10+ назад использовали продукт для распределенного билда с++ проекта. Солюшн, собиравшийся на одной неслабой машине 2.5 часа, стал билдиться за 20 минут, задействуя соседние машины. Вот это было очень круто.
IncrediBuild?
Забанили по IP, значит пора закрыть эту страницу.
Всем пока
Здравствуйте, CreatorCray, Вы писали:
v6>>ЗЫ Идея не нова, конечно. Лет 10+ назад использовали продукт для распределенного билда с++ проекта. Солюшн, собиравшийся на одной неслабой машине 2.5 часа, стал билдиться за 20 минут, задействуя соседние машины. Вот это было очень круто. CC>IncrediBuild?
