Распределенные вычисления в домашних условиях. Как
4751
19
Собственно вопрос. Появилась проблема, из-за отсутствия денег - хочу заниматся монтажем видео, но мои попытки это делать на моем домашнем цел450, показали что это не совсем правильно.
При этом есть локалка с некоторым количеством Больших компьютеров. большую часть времени занимающихся всякой фигней
Как вариант мне человек в свое время сделал ремоте доступ к своей машинке - так я даже что-то делал, но все равно были ограничения в плане экспериментов с кодеками...
А теперь вопрос: Существует общедоступная система под win32 позволящая скажем вести расчет видео распределенно или вообще есть какие нить способы распределения каких либо вычислений на несколько машин без глубокого изучения курса параллельных вычислений на ЭВМ?
При этом есть локалка с некоторым количеством Больших компьютеров. большую часть времени занимающихся всякой фигней
Как вариант мне человек в свое время сделал ремоте доступ к своей машинке - так я даже что-то делал, но все равно были ограничения в плане экспериментов с кодеками...
А теперь вопрос: Существует общедоступная система под win32 позволящая скажем вести расчет видео распределенно или вообще есть какие нить способы распределения каких либо вычислений на несколько машин без глубокого изучения курса параллельных вычислений на ЭВМ?
как минимум на сел450 можно только видео смотреть, но не монтажить.
Нужно для начало подумать об апгрейде....
Нужно для начало подумать об апгрейде....
дык человек о том и говорит, что свою тачку он хочет использовать как хост машину, а кодированием/монтажем чтоб занимались более мощные, предоставленные ему в пользование.
Для видео такого не встречал...
В Сети часто распределенные вычисления используются, когда надо перелопатить кучу информации. В таком случае эта куча делится между участниками и каждый обрабатывает свой участок. Т.е. тысяча машин за день обработают столько сколько одна за тысячу дней...
ЗЫ. Когда-то видео обрабатывали и на более слабых машинах. Может стоит поискать ПО трубующее меньших ресурсов. Кодирование конечно займет больше времени, но помница примерно на таком аппарате за ночь вполне кодил в МПЕГ2 3-х часовой исходник...
В Сети часто распределенные вычисления используются, когда надо перелопатить кучу информации. В таком случае эта куча делится между участниками и каждый обрабатывает свой участок. Т.е. тысяча машин за день обработают столько сколько одна за тысячу дней...
ЗЫ. Когда-то видео обрабатывали и на более слабых машинах. Может стоит поискать ПО трубующее меньших ресурсов. Кодирование конечно займет больше времени, но помница примерно на таком аппарате за ночь вполне кодил в МПЕГ2 3-х часовой исходник...
Я начинал кодировать с дивх4.0, а сейчас балуюсь 5-9 версией - скорость в разы отличается....
Просто как я думал, кодирование видео хорошо распареливается по процессорам( если верить тестам), а также просчет например в 3дмаксе, тоже неплохо в мультиядерности работает. Вот и подумал что такие задачи можно можно раскидать и по нескольким машинам...Типа прога автоматически делит дипазоны расчетов между машинами...
Просто как я думал, кодирование видео хорошо распареливается по процессорам( если верить тестам), а также просчет например в 3дмаксе, тоже неплохо в мультиядерности работает. Вот и подумал что такие задачи можно можно раскидать и по нескольким машинам...Типа прога автоматически делит дипазоны расчетов между машинами...
просчет например в 3дмаксе, тоже неплохо в мультиядерности работает. Вот и подумал что такие задачи можно можно раскидать и по нескольким машинамЧто-то в этом ни какой логики нет...
логика есть. В обоих случаях паралельное вычисление. А делается это на ядре который на одном сокете с соседним, или на соседнем процессоре или на соседнем компьютере: разница будет только в способе взимодействия между ними (ну и следовательно в производительности)...
Сейчас читают
Продажа/обмен косметики. Прочтение правил - ОБЯЗАТЕЛЬНО (часть 12)
392973
1000
красота и материнство (часть 105)
173387
1000
красота и материнство (часть 26)
163655
1000
В данном случае есть один вариант - сменить свою систему на многоядерную.
Тогда должно сработать.
А для того, чтобы задействовать распределенные системы надо чтобы приложение это "умело".
Т.е. об этом должны позаботиться разработчики.
Ну или написать свое что-то.
Тогда должно сработать.
А для того, чтобы задействовать распределенные системы надо чтобы приложение это "умело".
Т.е. об этом должны позаботиться разработчики.
Ну или написать свое что-то.
на соседнем процессоре или на соседнем компьютере: разница будет только в способе взимодействия между нимиНу да, как 2 пальца, переключил тумлер: на соседнем процессоре, еще раз - на соседнем компьютере...
Ты для примера хоть сравни скорость шины и скорость сети!
Ты для примера хоть сравни скорость шины и скорость сети!А что тут такого: обработка пакета данных думаю будет занимать на порядки больше времени чем их пересылка.
Запускаем максимальное качество кодирования, уменьшаем требуемую полосу....
А вообще поискал по интернету.... студенты дергались по этому поводу - но там все застопорилось, хотя узнал что есть уже специальные SDK(или библиотики, интерфейс называется PVM) для распределённых вычислений(посты о этом 2 годичной давности). Плюс Адобе готовит подобную штуку для своих Эффектов в премьере :))) и IBM чтото творит
Но ни одного действующего экземпляра пока не нашел
Распределеные вычисления и параллельное обработка видио - это две большие разницы!
Если кто и делает что-то подобное, то скорее всего это для видеостудий и цена программного обеспечения будет с шестью нулями в баксовом исчислении.
Если кто и делает что-то подобное, то скорее всего это для видеостудий и цена программного обеспечения будет с шестью нулями в баксовом исчислении.
что значит параллельное обработка видео?
если я создаю проект и разбиваю его на части, и каждую часть обрабатывает свой вычислительный блок - это что будет?
Насколько я знаю в Здмаксе под параллельностью понимается что один процессор вычисляет четные кадры, второй нечетные.
Чем отличается кластер из компьютеров от обычного соединения компьютеров локальности сети - только оптимизацией вычислительной мощности(специальные протоколы сети, комплектующие, програмное обеспечение)...ИМХО
если я создаю проект и разбиваю его на части, и каждую часть обрабатывает свой вычислительный блок - это что будет?
Насколько я знаю в Здмаксе под параллельностью понимается что один процессор вычисляет четные кадры, второй нечетные.
Чем отличается кластер из компьютеров от обычного соединения компьютеров локальности сети - только оптимизацией вычислительной мощности(специальные протоколы сети, комплектующие, програмное обеспечение)...ИМХО
PS. Прикинул маленько масштабы в свете выхода последних моделей процессоров. Предположим 1 коре дьо может кодировать видео в дивх примерно 50 кадров в сек на макс качестве. Это означает что если идет чистое кодирование в дивх то поток исходного видео в DV составит около 7-8мб сек, а это потолок для 100Мбит. Т.е. последние 3-4 года такую технологию кодирования видео врядли кто отрабатывал. Остается вариант существования супер кодеков, требующих на порядки больше вычислительных ресурсов чем дивх, но это уже мне кажется извращение - качества дивх довольно приличное.
Т.е. для видео остается только распределенный просчет эффектов на видео, что и сделала Adobe.
Остается еще 3D графика....Там точно такое должно быть....
PS. Прихожу к выводу что рядовому человеку такие технологии нафиг не нужны
Т.е. для видео остается только распределенный просчет эффектов на видео, что и сделала Adobe.
Остается еще 3D графика....Там точно такое должно быть....
PS. Прихожу к выводу что рядовому человеку такие технологии нафиг не нужны
Для однородной распределенной кластерной системы есть варианты библиотеки MPICH.
Библиотека существует для языков C++, Фортран и для Паскаля.
Мы как-то пробовали распараллелить одну математическую задачу с помощью этой библиотеки в классе из 16 ПК на базе Целеронов, объединенных в одну 100Мбит локальную сеть.
Скорость обработки увеличивается примерно в 1.5 раза.
Но это конкретная задача. Она была не сложной в плане распараллеливания.
А ведь это основная задача.
Библиотека существует для языков C++, Фортран и для Паскаля.
Мы как-то пробовали распараллелить одну математическую задачу с помощью этой библиотеки в классе из 16 ПК на базе Целеронов, объединенных в одну 100Мбит локальную сеть.
Скорость обработки увеличивается примерно в 1.5 раза.
Но это конкретная задача. Она была не сложной в плане распараллеливания.
А ведь это основная задача.
Делалось такое еще лет 8 или 10 назад. Запирали студию с 6-ю компами на выходные или на ночь, в 3D Max-е. На выходе - готовый рекламный ролик, если ничего не перепутали.
ИМХО, требуется весьма недорогой апгрейд. Цифрую на целе 2,4 гнутом до 2,8 или 3 (в зависимости от сезона). Один диск - одна ночь..... Цена (с мозгами) в пределах 5-6 тысяч деревянных.
Мы как-то пробовали распараллелить одну математическую задачу с помощью этой библиотеки в классе из 16 ПК на базе Целеронов, объединенных в одну 100Мбит локальную сеть.На 16 ПК скорость возрасла всего в 1.5 раза? Так это, мягко говоря, неэффективное распараллеливание. А на двух ПК во сколько раз скорость возрастала?
Скорость обработки увеличивается примерно в 1.5 раза.
Ну я про эффективность и не говорил.
К тому же была простая задача - проверить всю схему на простом примере.
К тому же была простая задача - проверить всю схему на простом примере.
Да. Еще.
При увеличении кол-ва узлов в кластере (в нашем случае) эффективность, скажем так, не увеличивалась.
Т.е. наиболее эффективно вычисление шло при кол-во узлов от 2 до 4.
Но это, опять же, в нашем случае и при той схеме, которая у нас была.
При увеличении кол-ва узлов в кластере (в нашем случае) эффективность, скажем так, не увеличивалась.
Т.е. наиболее эффективно вычисление шло при кол-во узлов от 2 до 4.
Но это, опять же, в нашем случае и при той схеме, которая у нас была.