Serguey Zefirov (thesz) wrote,
Serguey Zefirov
thesz

Category:

Легион и Кальвин

http://legion.stanford.edu и https://github.com/yaledb/calvin

Заметная часть сложности Легиона состоит в необходимости принимать решения о том, что (задачи и используемые ими куски памяти) и куда (процессоры и память) должно идти. Эти решения принимаются в распределённом режиме работы и в обязательном порядке подвержены всем прелестям такого режима. Например, простое решение о том, на какой процессор поместить задачу представлят собой (внутри) продолжение, написанное на шаблонах C++.

Задачи в Легионе очень похожи на транзакции - в задачу приходят подготовленные данные, задача что-то читает и что-то пишет, всё это указано в заголовке задачи. Как и транзакции, задачи в Легионе должны давать одинаковый результат при одинаковых входных данных. В общем, можно приравнять транзакции и задачи.

Чем тут интересен опыт Кальвина? Кальвин выполняет отдельный этап упорядочения транзакций. Он сортирует их по зависимостям и выполняет в вычисленном порядке, с дублированием, логом и прочими полезными вещами. Сортировка выполняется распределённо, с использованием Paxos (кстати, его реализация в Кальвине очень смешная). Так же и там же может происходить и оптимизация.

И если в случае нынешнего состояния дел Легиона определение критического пути приложения оставлено на откуп пользователя ("сделай custom mapper"), то в случае Кальвина это может быть выполнено автоматически, декларативно.

На этом у меня, пока, всё.
Tags: высокопроизводительные вычисления
Subscribe

  • Смею заметить.

    Увеличение цен на газ приводит к обнищанию Европы. Нищих проще поднять на войну. На этом у меня всё.

  • Знаки

    Чтобы система поддержки цепочки блоков была по-настоящему справедливой, необходимо, чтобы любой бит в блоке был неотличим от любого другого бита. В…

  • Случайный поиск.

    Вот пример решателя SAT, основанного на случайном поиске вокруг текущего присваивания: http://fmv.jku.at/yalsat/ Основной алгоритм у него таков:…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 2 comments