ФИНКИ / Системско и паралелно програмирањеПаралелно и дистрибуирано процесирање.
Разбери како пресметките се распределуваат меѓу процеси и машини, со практични примери за MPI и Hadoop.
<>РАЗБЕРИ. ПРИМЕНИ. НАПРЕДУВАЈ.+
- 01Паралелни архитектури и комуникација
- 02MPI програми и извршување со повеќе нишки
- 03Кластери, скалирање и управување со ресурси
- 04MapReduce обработка и Hadoop задачи
02 / РАЗБЕРИ ГО КОНЦЕПТОТ
Логиката зад
решението.
Дистрибуираната обработка ја дели задачата меѓу повеќе процеси или машини. Податоците треба да се поделат, локалните резултати да се комбинираат, а неуспешните задачи да се повторуваат без нарушување на резултатот. Кај MapReduce, map создава записи по клуч, а reduce ги собира вредностите за истиот клуч.
ПРИМЕР ОД СЕКОЈДНЕВНАТА ПРАКТИКАИЛУСТРАТИВЕН ПРИМЕР
Збир на посетувања од повеќе сервери
Три сервери чуваат логови за посетувања на страниците /home и /courses.
- 01
Секој сервер локално ги брои посетувањата по патека.
- 02
За /courses локалните збирови се 40, 35 и 25.
- 03
Reduce ги комбинира вредностите за истиот клуч: 40 + 35 + 25.
↳Што добиваме?За /courses добиваме 100 посетувања. Повторена обработка на ист дел не смее повторно да се додаде во конечниот збир.
Сценариото и податоците се поедноставени за учење. Примерот не претставува конкретен клиентски проект или измерени резултати од продукциски систем.
03 / СТУДЕНТСКИ ПРАШАЊА
Прашај.
Разбери подобро.
Зошто локален збир пред испраќање помага?+
Го намалува количеството податоци што патува низ мрежата, кога операцијата дозволува безбедно локално агрегирање.
Дали повеќе сервери значат линеарно забрзување?+
Не. Комуникацијата, нерамномерната поделба и сериските чекори го ограничуваат добивката. Мери и забрзување и ефикасност.
Што ако една задача не успее?+
Системот треба да ја открие и повтори или да пријави неуспех. Начинот на комбинирање мора да избегнува двојно броење.
Твојот материјал.
Нашата следна задача.
Работиме на делот што ти е најпотребен: основни концепти, практични задачи или подготовка за колоквиум и испит. Содржината ја усогласуваме со материјалите што ги учиш во твојата генерација.
REC ТВОЈОТ ЧАС
▶
РАЗБЕРИ. ПОВТОРИ. ПРИМЕНИ.↺
НЕ САМО ЕДНАШ. КОЛКУ ШТО ТИ ТРЕБА.Часот завршува.
Знаењето останува.
Секој час се снима. Врати се на објаснувањата, паузирај кај потешките делови и повтори ги задачите со свое темпо.
↺Снимките се достапни најмалку
во текот на еден семестар.
Снимките се наменети за твоето учење. Споделување и објавување се дозволени само по претходен договор.