Cofounder_logo_white

*

*

Забыли пароль? | Регистрация
Cofounder.ru — поиск партнеров для создания стартапов.
Другими словами — дэйтинг сервис для стартаперов.
Еще здесь можно обсуждать идеи и общаться

Вы не авторизованы. Нет аккаунта? Создайте его прямо сейчас.

Идеи / P2P MapReduce

В мире 1 миллиард компьютеров, а к 2014 их будет в два раза больше. В ДЦ гугла примерно 1 миллион компьютеров. Чтобы просто обойти парсером 155 000 000 страниц с профайлами Вконтакта, на компьютере с 4-х ядерном процессором, потребуется месяц. Чтобы гугл заплакал в сторонке хватит 1% мощности от всех компьютеров нашей планеты.

Но как задействовать мощности этих компьютеров? Для этого сегодня существуют решения, про которые многие слышали, кто интересуется ИТ - nosql и mapreduce. К сожалению эти решения сегодня сделаны для частных инфраструктур. Т.е. когда железо стоит в каком-то ДЦ, в тепличных условиях, и есть гарантии, что оно будет работать 24 часа в сутки. Конечно в таких система предусмотрены случаи отказа оборудования.

Тем не менее, данные системы не приспособлены для работы в "агрессивной среде", когда доступ к компьютеру может быть только в определенное время, в произвольной точке мира. Поэтому думаю есть смысл сделать P2P (Peer to Peer) nosql и mapreduce систему. А затем разработать интернет проект, где люди могут просматривать проекты стартаперов и разрешать им использовать часть мощности своих компьютеров.

Думаю это будет следующим витком развития облачных услуг. В буржунете на p2p mapreduce гугл выдает пока только заумные статьи. Т.е. тема только начинает развиваться и решений данной проблемы еще нет. Можно успеть.

И тогда, чтобы обойти 155 000 000 страниц вконтакта, какому-нибудь стартапу, у которого нет возможности поддерживать кластер из 60 серверов, хватит 12 часов, а не 30 дней... Ну и конечно, гугл у нас еще поплачет в сторонке, когда в проекте будет задействовано хотя бы 1-2% от всех компьютеров планеты :)

Ищу: Разработчика, Инвестора, Команду
Автор: foror
Добавлено: 03 дек., 08:03
Тэги: p2p, mapreduce, nosql, интернет-проект



← назад

Sun foror 03 дек., 12:05
Ага, само собой, только мониторить должна автоматика, а не человек. И dropbox это частная инфраструктура со своим ДЦ. Впрочем, есть альтернативный проект аля дропбокс, где юзеры предлагают свои компьютеры для хранения.

А данные можно хранить полностью у себя, как резервную копию, благо терабайтные винты стоят не дорого. И чтобы "ОЧЕНЬ МНОГО ДУБЛИРОВАТЬ ДАННЫЕ" - было не критично. Тем самым при потере сегментов всё будет восстановлено из резервов. Впрочем, это всё нужно продумывать и делать разные варианты дублирование, от легкого, до жадного.
Sun foror 03 дек., 12:07
Ну и dropbox, это не распределенная p2p nosql бд, а просто хранилище файлов :)
Sun foror 03 дек., 12:08
И конечно же нет каких-то намёков на p2p вычисления. Хотя конечно в этом плане есть проекты, там расчеты днк и прочего, но они заточены сугубо под частные задачи.
Emote_smile_thumb dark_gf 03 дек., 17:55
в чем выгода человеку предоставлять свой комп и инет?
Sun foror 03 дек., 18:00
Причин много можно найти:

- заплатят за это (аптайм будет выше даже чем у гугла - система будет уметь жить в агрессивной среде)

- получит vip доступ к стартапу, которому предоставил железо

- научные цели - многие предоставляют свое железо для поиска внеземног разума, лекарств и т.д. Причем это довольно популярная тема. Вон щас YaCy сделали и люди кинулись предоставить им железо бесплатно.
Emote_smile_thumb dark_gf 03 дек., 18:05
1)заплатят очень мало т.к. юзер это не хостер с аптаймом 99.99%
2)хм сомнительно и мало кому может быть нужно
3)такие проекты уже есть, как в принципе вы уже писали, и мало кто предоставляет свой компьютер для этого
Sun foror 03 дек., 18:14
1)биткоин манимейкеров это не остановило, а кучу школоты и подавно :)
2)фигасе, ну я тут также могу ответить - сомнительно на ваше сомнительно, короче это не аргумент
3)На 2 февраля 2011 BOINC являет собой распределённую сеть из более чем 490’000 активных компьютеров (хостов) - вам хватит столько или тоже мало?
Emote_smile_thumb dark_gf 03 дек., 18:22
Ваша идея понятна, но она обхватывает очень много под идей - нужно выбрать одну и пытаться реализовать.
Emote_smile_thumb dark_gf 03 дек., 18:25
Я бы предложил сделать на этой основе приложение(плагин для браузера) которые с всякими плюшками может проигровать видео используя p2p
Emote_smile_thumb dark_gf 03 дек., 18:28
http://habrahabr.ru/blogs/p2p/123299/
вот например, но оно очень убого но и достаточно популярно.
Sun foror 03 дек., 18:54
1)Обычный компьютер в среднем скушает энергии на 9 руб. или 270 руб. в месяц. Если школьник/студент выделит компьютер под вычисления x24, то он может смело просить 540 руб. в месяц за вычисления и хранение. А это будет дешевле дедика раза в 4-8, т.е. он может даже больше просить.

2) Вы видимо не в курсе про кучу онлайн игр и платных сайтов, где с людей берут деньги за доп. услуги? Могу назвать несколько: сайты знакомств, социальные сети, игры в социальных сетях, казуалки, мобильные приложения и т.д. Может вам и не нужно получить бесплатный доступ или бесплатную копию сервиса или программы, но некоторым людям это бы пригодилось. За скидками и купонами не просто так бегают.
Emote_smile_thumb dark_gf 03 дек., 19:15
1)это очень дорого будет для конечного пользователя
2)да это все ясно что можно зарабатывать больше на второстепенных услугах

так если сути идеи в том что сделать такую систему которая реализует mapreduce для различных целей - то время на разработку ее нужно ооочень много.
Sun foror 03 дек., 19:24
1)в чем будет дорого? если система мне скажет, что рейтинг у компьютера данного студента является 80% аптайм за 540 руб. в месяц, где проц у него 4-х ядерный и памяти под 4 гига, то я возьму именно у него, а не пойду в хетцнер брать сервак за 1800 в месяц, и тем более не пойду брать дедик в рунете, где за это еще разва в два больше попросят. Конечно это все будет делаться не вручную - система скроет это, и просто скажет счет в месяц и аптайм.

суть идеи не в том, чтобы делать стартапы за стартаперов :) суть в том, что будет обычный апи, которой можно юзать и писать конкретные алгоритмы самими стартаперами.
Sun foror 03 дек., 19:32
Смотрю, разошелся я :) Завтра оформлю заявку и раскидаю по всяким рунокампам и комбинаторам :) Вот только там везде им нужны команды, а я один такой, вот тут и пытаюсь кого-нибудь заинтересовать :)
Sun foror 03 дек., 19:39
>http://habrahabr.ru/blogs/p2p/123299/
Видео через торренты интересная конечно тема, я ей еще год назад интересовался, но так и не дошли руки. А этот проект охватывает и это в том числе. Просто нужно будет написать к апи системы необходимую программку и готово.
Sun foror 03 дек., 19:47
>оформлю заявку и раскидаю по всяким рунокампам и комбинаторам

Или местные инвесторы подключайтесь, если таковые остались здесь :) На первых этапах много денег не нужно...
Emote_smile_thumb dark_gf 03 дек., 19:48
>>>Смотрю, разошелся я :) Завтра оформлю заявку и раскидаю по всяким рунокампам и комбинаторам :) Вот только там везде им нужны команды, а я один такой, вот тут и пытаюсь кого-нибудь заинтересовать :)

Идеи так и формируются, я пытался реализовать п2п видео просмотр фильмов - но все уперлось в кол-во времени нужного для реализации, а инвестиций никто не хочет давать.
Sun foror 03 дек., 20:03
Да в общем-то, они мне особо и не нужны для старта. Мне просто нужно мнение со стороны, подтвержденное деньгами, что кто-то также считает это интересным. Я сейчас вообще делаю для себя простые, но приносящие мне небольшую прибыль проекты. Вот, например, сейчас портал по фильмам делаю, дальше буду портал по инди играм :) Но хочется, конечно большего...
Flag of poltava serhiy 04 дек., 09:44
Как по мне идея стоящая. Я тоже думал над таким проэктом. Действительно, много компьютеров большУю часть времени стоят в бездействии. Так же, я думаю большинство ползователей имеют безлимитные тарифные планы по инету. Соответственно много людей имели бы возможность подключиться к такому проэкту даже если оплата будет не большая. Так что, если будете такой проэкт запускать, я бы присоеденился как разработчик.
Userpic saper 27 дек., 16:47
"платить юзеру за место" обсудили в моем проекте (http://cofounder.ru/ideas/198), в итоге мне кажется невыгодно это будет. Обменивать место на блага - www.wuala.com
Sun foror 27 дек., 16:58
Хранение в этом проекте лишь одна из фишек, изюминка здесь в облачных вычислениях, когда стартапу нужны большие вычислительные мощности за небольшую плату или вообще без оплаты. Юзер в этом случае напрямую получает деньги и может даже зарабатывать себе на апгрейд компа или "на обеды" для студента/школьника. Либо получает преимущества в созданном стартапе, например бесплатный VIP доступ. Так что здесь есть баланс и каждый остается довольным.
Userpic saper 27 дек., 20:28
Проблема с остальными ресурсами, кроме жесткого диска в том, что занимая процессорные мощности и оперативку вы будете мешать основной работе пользователя и придется либо снижать нагрузку, либо работать грубо говоря "ночью". Плюс счета за электричество. Но это конечно все решаемо при правильном подходе, удачи вам.
Emote_smile_thumb dohque 31 дек., 10:47
Тоже есть похожие идеи ) Давай дружить! :)
Sun foror 31 дек., 15:42
Давай :) На чем программишь?
Emote_smile_thumb azrail01 01 янв., 04:15
Доброго утра и с Наступившим,всех присутствующих в чяте! )
Алексей, позвольте вам задать пару вопросов. )
Знакома ли вам технология Web Workers (HTML5) и количество минут потраченных человечеством на ютубе за год?
Sun foror 01 янв., 07:28
Что вы хотите предложить?
Emote_smile_thumb azrail01 01 янв., 08:26
К сожалению, ничего конкретного.
Просто обменяться мнениями и идеями. Это были риторические вопросы для затравки.) Самого уже пару лет интересует эта тема, да и участвовал в Rosetta@home и folding@home (just for fun).
А за технологиями подобными Web Workers и Ajax вижу большое будущее в теневых распределенных вычислениях.
Как-то "на глаз" пытался прикинуть порядок простаивающих флопс из-за ютубов и фишкоподобных и ужаснулся. )
Тут проблема не в доступности вычислительных ресурсов, а в сбыте.
Sun foror 01 янв., 09:30
По сбыту я уже предложил варианты. Здесь сложная часть именно в создании технологии. Это не так просто как думается. Чтобы сделать подобную вещь нужны исследования и опыты. Поэтому обсуждать это имеет смысл со специалистами, кто уже имеет какой-то опыт в облачных вычисления и виртуальных машинах.
Emote_smile_thumb dohque 01 янв., 11:50
Java!
Sun foror 01 янв., 12:27
Ага, я уже так понял погуглив :)
0_46d26_1530691c_l cobald 01 янв., 19:00
> Обменивать место на блага - www.wuala.com
Таки лавочка закрыта с этой осени. В смысле обмен дискового места.

Пните, когда (я сегодня оптимист!) дойдёте до тестового запуска - поучаствую со своей машинкой. Ну и если вдруг понадобится PHP'шник.
Emote_smile_thumb dark_gf 02 янв., 19:06
Имхо - нормальный доход может быть только что бы клиент предоставлял свой интернет канал, все остальное стоит копейки(cpu - поглядите на биткоин, hdd - еще хуже, ram - хз как вообще можно использовать для облачных вычислений ака hdd)
A_5e96ef6c leto_iii 24 мая, 21:12
Доход - не обязательно выражается в деньгах, деньги - всего лишь абстракция благ ;) Интернет, похоже, имеет все шансы вернуть абстрактную финсистему в реальный (как ни странно) мир бартера: ты - мне, я - тебе... Деньги - отложенный во времени и пространстве бартер...
A_5e96ef6c leto_iii 25 мая, 00:06
"Еда, вода, пригодный для дыхания воздух, жизненное пространство, не отравленное ядами-все это разновидности денег, и обмен ценностями происходит согласно зависимости".
Adamska-ocelot-tux-2439 masterflomaster 30 июня, 06:29
Возможно с http://codeunity.ru будет еще быстрее
Чтобы оставлять комментарии вы должны авторизоваться. Нет аккаунта? Создайте его прямо сейчас.