Параллельное программирование, процессоры и кэши: объяснение Кэйвона Фатахалиана и Кунле Олукотуна
Изучая алгоритмы, структуры данных и математические основы нейронных сетей, легко привыкнуть воспринимать компьютер как абстрактную машину: на вход поступают данные, программа выполняет инструкции, а затем появляется результат. Однако за каждым вычислением стоят вполне конкретные аппаратные компоненты - процессорные ядра, арифметические блоки, регистры, кэши и шины передачи данных.
Именно поэтому курс по параллельному программированию стал важным продолжением изучения программной разработки. Он помогает понять не только, что делает программа, но и как именно аппаратное обеспечение исполняет её инструкции. Преподавателями курса были Кэйвон Фатахалиан, специалист по компьютерной графике и производительности, и Кунле Олукотун, один из пионеров многоядерных процессоров.
Зачем разбираться в архитектуре компьютера
Производительность современных систем всё чаще упирается не в возможности алгоритмов, а в ограничения оборудования. Особенно заметно это в сфере искусственного интеллекта: обучение и запуск нейронных сетей требуют огромного количества вычислений, памяти и электроэнергии.
Инференс - применение уже обученной модели для формирования ответа - состоит из последовательности линейных и нелинейных преобразований. Каждое из них включает множество операций над массивами чисел. Если выполнять их универсальным процессором без оптимизации, система будет тратить больше времени и энергии, чем необходимо.
Для крупных серверных платформ даже небольшое ускорение одного запроса имеет большое значение. Если сервис обрабатывает миллионы обращений, снижение задержки и энергопотребления на доли процента превращается в существенную экономию на уровне всей инфраструктуры.
Почему специализация железа стала необходимой
На протяжении долгого времени рост производительности обеспечивался увеличением количества транзисторов и повышением тактовой частоты. Однако примерно в середине 2000-х годов этот подход столкнулся с физическими ограничениями. Закон Деннарда перестал работать в прежнем виде: простое уменьшение размеров транзисторов больше не гарантировало пропорционального роста быстродействия.
Причина - тепловыделение и ограничение мощности. Чем больше операций выполняет процессор, тем больше энергии он потребляет и тем сложнее отводить тепло. Поэтому дальнейшее ускорение вычислений приходится получать за счёт параллелизма, оптимизации перемещения данных и создания специализированных ускорителей.
Специализированное оборудование проектируется под определённый класс задач. В нём можно разместить большое число арифметических блоков, способных одновременно обрабатывать множество элементов данных. Такой подход особенно эффективен для матричных операций, используемых в нейронных сетях.
Универсальный CPU тоже способен обучать модели и выполнять инференс, но это часто нерационально. Использовать только CPU для масштабных ИИ-задач примерно так же неэффективно, как пытаться построить большой город детской лопаткой. Задача технически выполнима, однако затраты времени и ресурсов будут чрезмерными.
Цена универсальности
У специализированных ускорителей есть существенный недостаток: они подходят для ограниченного набора программ. Чем сильнее устройство оптимизировано под конкретную операцию, тем меньше универсальных задач оно может выполнять.
CPU рассчитан на широкий спектр сценариев. Он запускает операционные системы, браузеры, серверы, игры, компиляторы и множество других приложений. Специализированный ускоритель, напротив, может превосходно выполнять матричное умножение, но оказаться почти бесполезным для ветвящейся логики, сложного управления памятью или непредсказуемых вычислений.
Поэтому разработка такого оборудования оправдана только при большом объёме однотипных операций. Если ускоритель будет использоваться редко, расходы на его проектирование и производство могут не окупиться.
Для создания подобных устройств применяются специальные языки и предметно-ориентированные средства описания аппаратуры. Они позволяют задавать структуру вычислительного блока, распределение операций и передачу данных между компонентами. Программист в этом случае частично превращается в проектировщика вычислительной архитектуры.
Из чего состоит центральный процессор
Большинство привычных программ по-прежнему исполняется на CPU - центральном процессоре. В упрощённом виде его можно представить как комбинацию трёх основных элементов.
Устройство управления (Control Unit, CU) получает инструкции, определяет их порядок и направляет выполнение нужным компонентам.
Арифметико-логическое устройство (Arithmetic Logic Unit, ALU) выполняет операции сложения, вычитания, умножения, сравнения, логические преобразования и другие базовые действия.
Регистры - это небольшие, но чрезвычайно быстрые области памяти внутри процессора. В них временно хранятся данные и инструкции, которые используются прямо сейчас.
Все эти элементы построены из транзисторов. Современный CPU содержит огромное количество таких элементов, объединённых в сложную систему. В реальных процессорах также присутствуют конвейеры, предсказатели переходов, декодеры инструкций, блоки векторных вычислений и несколько уровней кэш-памяти.
Параллелизм не равен многопоточности
Параллельное выполнение может быть организовано на разных уровнях. Несколько арифметических блоков способны одновременно обрабатывать разные части данных внутри одного ядра. Это аппаратный параллелизм, и его не следует автоматически путать с многопоточностью.
Многопоточность - это способ организации выполнения программы, при котором создаются отдельные потоки исполнения. Они могут распределяться между ядрами, но эффективность такого подхода зависит от самого приложения, синхронизации и доступа к общей памяти.
Параллелизм данных работает иначе: одна и та же операция применяется сразу к множеству значений. Например, вместо последовательного сложения элементов двух массивов процессор может обработать несколько пар чисел одной векторной инструкцией.
Что такое кэш и почему он ускоряет программы
Кэш - это быстрая временная память, расположенная ближе к вычислительным блокам, чем оперативная память. Его задача - хранить данные, которые процессор с высокой вероятностью запросит повторно.
Доступ к оперативной памяти занимает значительно больше времени, чем обращение к регистрам или кэшу. Если процессор каждый раз будет ждать данные издалека, арифметические блоки окажутся без работы. Кэш уменьшает такие простои и одновременно снижает нагрузку на шины и контроллер памяти.
Обычно используется несколько уровней кэширования:
- L1 - самый быстрый и небольшой кэш, расположенный непосредственно рядом с ядром;
- L2 - более ёмкий, но немного медленный уровень;
- L3 - крупный кэш, часто общий для нескольких ядер.
Кэш не меняет правильность программы. Если его отключить или данные не окажутся в нужном уровне памяти, программа всё равно должна выдать тот же результат. Меняется только скорость выполнения.
Попадания и промахи кэша
Когда процессор находит нужные данные в кэше, происходит cache hit - попадание. Если данных там нет, возникает cache miss - промах. В этом случае информация загружается из более медленного уровня памяти, а процессор может потерять значительное количество тактов.
На эффективность кэша влияет локальность данных. Временная локальность означает, что недавно использованное значение, вероятно, понадобится снова. Пространственная локальность связана с тем, что после одного элемента часто читаются соседние элементы.
Поэтому последовательный обход массива обычно выполняется быстрее, чем хаотический доступ к тем же значениям. При последовательном чтении процессор загружает блок данных целиком и заранее получает элементы, которые понадобятся позже.
Когерентность кэшей в многоядерных системах
В многоядерном процессоре каждое ядро может иметь собственный кэш. Возникает проблема: если одно ядро изменило значение, копия этого значения в кэше другого ядра может устареть.
Для решения используются протоколы когерентности. Они отслеживают состояние кэшированных блоков и обеспечивают согласованность данных между ядрами. При изменении значения другие копии могут быть признаны недействительными или обновлены.
Такие механизмы необходимы для корректной работы многопоточных программ, но они не бесплатны. Обмен сообщениями между ядрами, блокировки и синхронизация создают задержки. Поэтому чрезмерное совместное использование переменных способно свести на нет преимущества параллельного выполнения.
Как писать программы с учётом архитектуры
Разработчику необязательно проектировать собственный процессор, но понимание аппаратного уровня помогает принимать более точные решения. Важны структура данных, порядок доступа к памяти, размер рабочих наборов и количество синхронизаций.
Для повышения производительности часто применяют плотные массивы вместо разрозненных объектов, обрабатывают данные блоками и стараются уменьшить количество случайных обращений к памяти. Также полезно разделять независимые участки работы, чтобы они могли выполняться параллельно.
Однако оптимизация должна подтверждаться измерениями. Предположение о "медленном" участке не всегда соответствует действительности: узким местом может быть не арифметика, а загрузка данных, ожидание блокировки или промахи кэша.
В конечном счёте производительность определяется взаимодействием нескольких уровней: алгоритма, компилятора, процессора, памяти и операционной системы. Чем лучше разработчик понимает эту цепочку, тем эффективнее он может использовать доступное оборудование - от обычного CPU до специализированных ускорителей для искусственного интеллекта.
