День 2601. #SystemDesign101 #Шпаргалка CPU, GPU и TPU Почему один и тот же код быстро работает на GPU, медленно на CPU, а на TPU значительно быстрее их обоих? Ответ кроется в архитектуре. CPU, GPU и TPU разработаны для разных рабочих нагрузок. CPU (Центральный процессор) CPU обрабатывает вычисления общего назначения. Он создан для работы с низкой задержкой и сложным потоком управления, ветвящейся логикой, системными вызовами, прерываниями и кодом, требующим принятия решений. Операционные системы, базы данных и большинство приложений работают на CPU, поскольку им необходима такая гибкость. GPU (Графический процессор) Вместо нескольких ядер они распределяют работу между тысячами ядер, которые выполняют одну и ту же инструкцию для огромных наборов данных в стиле SIMT (Single Instruction, Multiple Threads — «одна инструкция, множество потоков») / SIMD (Single Instruction, Multiple Data – «одна инструкция, много данных»). Если ваша рабочая нагрузка повторяющаяся, например, матричные вычисления, затенение пикселей, тензорные операции, GPU справятся с ней быстро. TPU (Тензорный процессор) Это специализированное оборудование. Архитектура построена на основе матричного умножения с использованием систолических массивов, с управляемым компилятором потоком данных и встроенными буферами для весов и активаций. По сравнению с графическими процессорами, рассчитан на более высокий объём вычислений с пониженной точностью (например, всего 8-разрядную точность) при более высокой производительности. Они быстры в обучении нейронных сетей, если рабочая нагрузка хорошо соответствует аппаратному обеспечению. Источник: https://blog.bytebytego.com/p/ep205-cpu-vs-gpu-vs-tpu