Tpu на материнской плате что это
Сообщения: 203
Благодарности: 2
| Конфигурация компьютера | |
| Процессор: Intel Core i7-4790k 4GHz + Zalman CNPS10x Performa | |
| Материнская плата: ASUS Z97-A | |
| Память: KINGSTON HyperX FURY Blue Series 2x4GB | |
| HDD: SSD KINGSTON HyperX FURY 120GB + Western Digital Caviar Blue 1TB | |
| Видеокарта: Gigabyte GTX650 | |
| Блок питания: Cooler Master V650 |
подскажите, пожалуйста, на материнке asus z97-a есть переключатели TPU и ez_xmp. Какого их назначение и стоит ли их использовать с процессором i7-4790K и оперативкой kingston hyperX fury 1866MHz? и в случае переключателя TPU в какое положение лучше переключать?
Просто по английскому мануалу слишком расплывчатое представление о их назначении
Почему TPU так хорошо подходят для глубинного обучения?
Тензорный процессор третьего поколения
Тензорный процессор Google — интегральная схема специального назначения (ASIC), разработанная с нуля компанией Google для выполнения задач по машинному обучению. Он работает в нескольких основных продуктах Google, включая Translate, Photos, Search Assistant и Gmail. Облачный TPU обеспечивает преимущества, связанные с масштабируемостью и лёгкостью использования, всем разработчикам и специалистам по изучению данных, запускающим передовые модели машинного обучения в облаке Google. На конференции Google Next ‘18 мы объявили о том, что Cloud TPU v2 теперь доступен для всех пользователей, включая бесплатные пробные учётные записи, а Cloud TPU v3 доступен для альфа-тестирования.
Но многие спрашивают – какая разница между CPU, GPU и TPU? Мы сделали демонстрационный сайт, где расположена презентация и анимация, отвечающая на этот вопрос. В этом посте я хотел бы подробнее остановиться на определённых особенностях содержимого этого сайта.
Как работают нейросети
Перед тем, как начать сравнивать CPU, GPU и TPU, посмотрим, какого рода вычисления требуются для машинного обучения – а конкретно, для нейросетей.
Представьте, к примеру, что мы используем однослойную нейросеть для распознавания рукописных цифр, как показано на следующей диаграмме:
Если картинка будет сеткой размером 28х28 пикселей серой шкалы, её можно преобразовать в вектор из 784 значений (измерений). Нейрон, распознающий цифру 8, принимает эти значения и перемножает их со значениями параметра (красные линии на диаграмме).
Параметр работает как фильтр, извлекая особенности данных, говорящих о схожести изображения и формы 8:
Это наиболее простое объяснение классификации данных нейросетями. Перемножение данных с соответствующими им параметрами (окраска точек) и их сложение (сумма точек справа). Наивысший результат обозначает наилучшее совпадение введённых данных и соответствующего параметра, которое, скорее всего, и будет правильным ответом.
Проще говоря, нейросетям требуется делать огромное количество перемножений и сложений данных и параметров. Часто мы организовываем их в виде матричного перемножения, c которым вы могли столкнуться в школе на алгебре. Поэтому проблема состоит в том, чтобы выполнить большое количество матричных перемножений как можно быстрее, потратив как можно меньше энергии.
Как работает CPU
Как подходит к такой задаче CPU? CPU – процессор общего назначения, основанный на архитектуре фон Неймана. Это значит, что CPU работает с ПО и памятью как-то так:
Главное преимущество CPU – гибкость. Благодаря архитектуре фон Неймана, вы можете загружать совершенно разное ПО для миллионов различных целей. CPU можно использовать для обработки текстов, управления ракетными двигателями, выполнения банковских транзакций, классификации изображений при помощи нейросети.
Но поскольку CPU такой гибкий, оборудование не всегда знает заранее, какой будет следующая операция, пока не прочтёт следующую инструкцию от ПО. CPU нужно хранить результаты каждого вычисления в памяти, расположенной внутри CPU (так называемые регистры, или L1-кэш). Доступ к этой памяти становится минусом архитектуры CPU, известным как узкое место архитектуры фон Неймана. И хотя огромное количество вычислений для нейросетей делает предсказуемым будущие шаги, каждое арифметико-логическое устройство CPU (ALU, компонент, хранящий и управляющий множителями и сумматорами) выполняет операции последовательно, каждый раз обращаясь к памяти, что ограничивает общую пропускную способность и потребляет значительное количество энергии.
Как работает GPU
Для увеличения пропускной способности по сравнению с CPU, GPU использует простую стратегию: почему бы не встроить в процессор тысячи ALU? В современном GPU содержится порядка 2500 – 5000 ALU на процессоре, что делает возможным выполнение тысяч умножений и сложений одновременно.
Такая архитектура хорошо работает с приложениями, требующими массивного распараллеливания, такими, например, как умножение матриц в нейросети. При типичной тренировочной нагрузке глубинного обучения (ГО) пропускная способность в этом случае увеличивается на порядок по сравнению с CPU. Поэтому на сегодняшний день GPU является наиболее популярной архитектурой процессоров для ГО.
Но GPU всё равно остаётся процессором общего назначения, который должен поддерживать миллион различных приложений и ПО. А это возвращает нас к фундаментальной проблеме узкого места архитектуры фон Неймана. Для каждого вычисления в тысячах ALU, GPU необходимо обратиться к регистрам или разделяемой памяти, чтобы прочесть и сохранить промежуточные результаты вычислений. Поскольку GPU выполняет больше параллельных вычислений на тысячах своих ALU, он также тратит пропорционально больше энергии на доступ к памяти и занимает большую площадь.
Как работает TPU
Когда мы в Google разрабатывали TPU, мы построили архитектуру, предназначенную для определённой задачи. Вместо разработки процессора общего назначения, мы разработали матричный процессор, специализированный для работы с нейросетями. TPU не сможет работать с текстовым процессором, управлять ракетными двигателями или выполнять банковские транзакции, но он может обрабатывать огромное количество умножений и сложений для нейросетей с невероятной скоростью, потребляя при этом гораздо меньше энергии и умещаясь в меньшем физическом объёме.
Главное, что позволяет ему это делать – радикальное устранение узкого места архитектуры фон Неймана. Поскольку основной задачей TPU является обработка матриц, разработчикам схемы были знакомы все необходимые шаги вычислений. Поэтому они смогли разместит тысячи множителей и сумматоров, и соединить их физически, сформировав большую физическую матрицу. Это называется архитектурой конвейерного массива. В случае с Cloud TPU v2 используются два конвейерных массива по 128 х 128, что в сумме даёт 32 768 ALU для 16-битных значений с плавающей точкой на одном процессоре.
Посмотрим, как конвейерный массив выполняет подсчёты для нейросети. Сначала TPU загружает параметры из памяти в матрицу множителей и сумматоров.
Затем TPU загружает данные из памяти. По выполнению каждого умножения результат передаётся следующим множителям, при одновременном выполнении сложений. Поэтому на выходе будет сумма всех умножений данных и параметров. В течение всего процесса объёмных вычислений и передачи данных доступ к памяти совершенно не нужен.
Поэтому TPU демонстрирует большую пропускную способность при подсчётах для нейросетей, потребляя гораздо меньше энергии и занимая меньше места.
Преимущество: уменьшение стоимости в 5 раз
Какие же преимущества даёт архитектура TPU? Стоимость. Вот стоимость работы Cloud TPU v2 на август 2018 года, на время написания статьи:
Обычная и TPU-шная стоимость работы для разных регионов Google Cloud
Стэнфордский университет раздаёт набор тестов DAWNBench, измеряющих быстродействие систем с глубинным обучением. Там можно посмотреть на различные комбинации задач, моделей и вычислительных платформ, а также на соответствующие результаты тестов.
На момент завершения соревнования в апреле 2018 минимальная стоимость тренировки на процессорах с архитектурой, отличной от TPU, равнялась $72,40 (для тренировки ResNet-50 с 93% точностью на ImageNet на спотовых инстансах). При помощи Cloud TPU v2 такую тренировку можно провести за $12,87. Это меньше 1/5 стоимости. Такова сила архитектуры, предназначенной специально для нейросетей.
Epu на материнской плате что это
Данную опцию BIOS можно встретить на материнских платах и ноутбуках Asus. Она является продолжением настройки CPU power saving mode, при активации которой происходит автоматическое снижение тактовой частоты и напряжения процессора при простоях, а также их поднятие, когда это необходимо.
Что делает данная настройка?
Компания Asus разработала технологию EPU, основным назначением которой является энергосбережение. В время простоя ПК или выполнения им простых задач, не требующих высокой производительности, происходит «замедление» основных компонентов компьютера: чипсета, процессора, видеокарты, оперативной памяти и жесткого диска.
Возможный вариант управления технологией энергосбережения Asus EPU. Лучше устанавливать в High perfomance.
Происходит это за счет снижения напряжения и тактовой частоты. В результате уменьшается энергопотребление системы и как следствие — ее нагрев.
Когда возникает необходимость в увеличении вычислительной мощности, заниженные параметры снова возвращаются к штатным после чего ПК выходит на высокую производительность.
Стоит ли включать EPU power saving mode?
Если вопрос энергосбережения у вас не стоит на первом месте, а в приоритете все таки производительность, то включать (переводить в положение enabled или активировать профиль max power saving) данную опцию мы не рекомендуем. Так как при резкой потребности в вычислительной мощности система EPU может не успеть повысить частоты, что приведет пусть к кратковременному, но все таки торможению работы.
EPU Engine (аббревиатура от Energy Processor/Processing Unit) — программно-аппаратная энергосберегающая технология, разработанная компанией ASUSTeK Computer (ASUS) и предназначенная для регулирования энергоснабжения компонентов персонального компьютера (ПК). EPU Engine присутствует на большинстве материнских плат производства ASUS, начиная с 2008 года, и позволяет динамически регулировать количество электроэнергии, потребляемой компонентами персонального компьютера. [1] [2]
Есть две версии EPU Engine, которые отличаются на аппаратном и программном уровнях — EPU-4 Engine и EPU-6 Engine. Различие заключается в количестве компонентов ПК, для которых присутствует возможность регулировки энергопотребления. EPU-6 Engine, как указано в названии, поддерживает шесть компонентов: центральный процессор (CPU), чипсет, оперативную память, видеокарту, носитель информации (как правило, жёсткий диск), процессорный кулер. [3] EPU-4 Engine поддерживает четыре компонента — CPU, видеокарту, носитель информации и кулер (оперативная память и чипсет не поддерживаются). [4] [5]
Описание [ править | править код ]
На аппаратном уровне EPU Engine представлена микросхемой EPU, которая встроена в материнскую плату и представляет собой ШИМ-контроллер. [6] Данная микросхема динамически регулирует число активных каналов питания центрального процессора (CPU) в зависимости от его нагрузки. [7] Также EPU может изменять частоту системной шины и множители процессора, уменьшая частоту FSB ниже штатной и снижая до минимума множители в моменты низкой загрузки CPU, а также слегка разгоняя процессор при её нарастании. Причём интервалы изменения частот можно изменять, а также можно настроить несколько режимов пониженного энергопотребления или разгона, чтобы потом быстро переключаться между ними. [4] Кроме центрального процессора, микросхема EPU способна изменять режимы питания других компонентов ПК.
На программном уровне EPU Engine представлена утилитой, которая взаимодействует с микросхемой EPU. В настройках утилиты можно указать режимы энергопотребления, их конфигурации. Так, для режимов можно выставить интенсивность снижения напряжения питания того или иного компонента. [6] Ещё одной особенностью является то, что переключаться между режимами энергопотребления можно с помощью дистанционного пульта ASUS TurboV Remote. [6] [7] В утилите ведётся постоянный подсчёт количества сэкономленной при её помощи электроэнергии и количество сокращённых выбросов углекислого газа в атмосферу. [4]
Утилита EPU-4 Engine имеет более ограниченные возможности по сравнению с утилитой EPU-6 Engine. Так, в EPU-6 Engine пользователь имеет пять режимов энергопотребления: четыре конфигурируемых вручную и один автоматический. [3] В EPU-4 Engine присутствуют только три режима: один автоматический и два ручных. [4] Естественно, в EPU-6 Engine регулировке поддаются шесть компонентов ПК, а в EPU-4 Engine — только четыре. [5]
При самом энергоэффективном режиме энергопотребления (то есть при самом минимальном режиме энергопотребления) EPU-6 Engine может снизить частоту процессора до 30%, а его напряжение питания — до 40%. Частота оперативной памяти уменьшается на 30-40% от номинальной частоты. Системная шина между процессором и чипсетом может уменьшить частоту до 10-50% в зависимости от модели процессора. Жесткие диски отключаются, вся необходимая для работы информация хранится в оперативной памяти. Если возникает необходимость в информации из жестких дисков, то они переводятся в номинальный режим работы за 3-5 секунд. Видеокарта работает в режиме повышенной экономии энергии, по заявлениям её энергопоотребление снижается на 37% от номинального значения. Процессорный кулер переходит в бесшумный режим. [3]
Впервые технология была представлена на выставке Computex 2008. На выставке ASUS заявила, что 75% времени возможности ПК востребованы лишь частично, но при этом система продолжает потреблять энергию. Технология EPU Engine была разработана для уменьшения энергопотребления ПК в те моменты, когда его возможности не используются на полную мощность. ASUS утверждала, что при помощи EPU Engine удалось повысить КПД системы питания ПК до 96%. Первыми материнскими платами, которые получили EPU Engine, стала серия P5Q. [1]
В начале июля 2010 года ASUS представила новую технологию «Dual Intelligent Processors», которая, согласно анонсу, может мгновенно ускорить ПК на 37% или уменьшить его энергопотребление на 80%. Эта технология на аппаратном уровне реализуется двумя чипами, «TurboV Processing Unit» (TPU) и EPU, которые отвечают за разгон и энергоэффективность соответственно. [8]
EPU Engine (ASUS).
EPU (Energy Processing Unit)- программно-аппаратная энергосберегающая технология, продвигаемая и предлагаемая компанией ASUSTeK Computer (ASUS) для своих материнских плат, предназначена для регулирования энергоснабжения компонентов персонального компьютера (ПК). EPU Engine присутствует на большинстве материнских плат производства ASUS, начиная еще с 2008 года, и позволяет динамически регулировать количество электроэнергии, потребляемой компонентами персонального компьютера.
Есть две версии EPU Engine, которые отличаются на аппаратном и программном уровнях — EPU-4 Engine и EPU-6 Engine. Различие заключается в количестве компонентов ПК, подконтрольных энергосберегающему процессору EPU.
EPU-6 Engine, как указано в названии, поддерживает шесть компонентов: центральный процессор (CPU), чипсет, оперативную память, видеокарту, носитель информации (как правило, жёсткий диск), процессорный кулер.
EPU-4 Engine поддерживает четыре компонента — CPU, видеокарту, носитель информации (жёсткий диск) и кулер (оперативная память и чипсет не поддерживаются).
На аппаратном уровне EPU Engine представлена микросхемой EPU, которая встроена в материнскую плату и представляет собой ШИМ-контроллер (рис. 1). Микросхема EPU может динамически регулировать число активных фаз питания центрального процессора в зависимости от его нагрузки, снижать частоту системной шины. Также данная микросхема может изменять множители процессора, уменьшая частоту FSB (Front Side Bus — шина, обеспечивающая соединение между x86-совместимым центральным процессором и внутренними устройствами) ниже штатной и снижая до минимума множители в моменты низкой загрузки CPU, а также слегка разгоняя процессор при её нарастании. Причём интервалы изменения частот можно изменять, а также можно настроить несколько режимов пониженного энергопотребления или разгона, чтобы потом быстро переключаться между ними.
Рис. 1. EPU — Energy Processing Unit — энергосберегающий микропроцессор
Микросхема EPU может отключать некоторые бездействующие устройства, снижать скорость вращения вентиляторов. Кроме центрального процессора, микросхема EPU способна изменять режимы питания других компонентов ПК: переводить видеокарту и шину PCI-Express в режим пониженного энергопотребления, а также отключать бездействующие жёсткие диски.
Кроме аппаратной части требуется дополнительное программное обеспечение (EPU-6, EPU-4 Engine), идущее в комплекте с материнской платой ASUS и устанавливаемое в среде операционной системы Windows — это программа AI Suite, включающая специальные драйверы. Версия EPU 4 устанавливается преимущественно на бюджетные материнские платы, вторая версия — EPU 6 — на платы среднего и премиум-класса.
Пакет ASUS AI Suite представляет собой набор из нескольких утилит, объединенных единым интерфейсом. В его состав может входить несколько утилит (в зависимости от того, какие утилиты были установлены). В частности, это утилиты ASUS EPU, ASUS Fan Xpert и ASUS TurboV.
В главном окне программного пакета ASUS AI Suite можно в режиме реального времени отслеживать такие показатели, как:
— текущая тактовая частота процессора,
— напряжение питания и температура процессора,
— скорость вращения установленных вентиляторов,
— температура материнской платы.
На программном уровне EPU Engine представлена фирменной утилитой ASUS EPU, которая взаимодействует с микросхемой EPU. Утилита ASUS EPU, доступ к которой можно реализовать через главное окно пакета ASUS AI Suite, представляет собой программный инструмент для настройки энергопотребления компьютера. Данная утилита позволяет выбрать один из предустановленных профилей энергопотребления (Max power saving, Medium power saving, High performance, Turbo и Auto), а также просмотреть текущее энергопотребление процессора.
В настройках утилиты можно указать режимы энергопотребления, их конфигурации, кроме того, для режимов можно выставить интенсивность снижения напряжения питания того или иного компонента. Утилита EPU-4 Engine имеет более ограниченные возможности по сравнению с утилитой EPU-6 Engine. Так, в EPU-4 Engine присутствуют только три режима: один автоматический и два ручных — скоростной и энергосберегающий. В EPU-6 Engine пользователь имеет пять режимов энергопотребления: четыре конфигурируемых вручную и один автоматический (в EPU-6, кроме тех, что используются в EPU-4 Engine, будут присутствовать ещё два промежуточных режима — Турбо и умеренное энергосбережение). Как уже отмечено выше, в EPU-6 Engine регулировке поддаются шесть компонентов ПК, а в EPU-4 Engine только четыре.
При самом энергоэффективном режиме энергопотребления (то есть при самом минимальном режиме энергопотребления) EPU-6 Engine может снизить частоту процессора до 30%, а его напряжение питания — до 40%. Частота оперативной памяти уменьшается на 30-40% от номинальной частоты. Системная шина между процессором и чипсетом может уменьшить частоту до 10-50% в зависимости от модели процессора. Жесткие диски отключаются, вся необходимая для работы информация хранится в оперативной памяти. Если возникает необходимость в информации из жестких дисков, то они переводятся в номинальный режим работы за 3-5 секунд. Видеокарта работает в режиме повышенной экономии энергии, по заявлениям её энергопоотребление снижается на 37% от номинального значения. Процессорный кулер переходит в бесшумный режим.
Еще в 2010 году ASUS представила технологию "Dual Intelligent Processors", которая может мгновенно ускорить ПК на 37% или уменьшить (при определённых условиях) его энергопотребление на 80%. Эта технология на аппаратном уровне реализуется двумя чипами, "TurboV Processing Unit" (TPU) и EPU, которые отвечают за разгон и энергоэффективность соответственно. С новыми системными платами ASUS поставляется модифицированная версия пакета ASUS AI Suite II.
В утилите ASUS EPU предусмотрено четыре профиля работы ПК и режим автоматического их переключения. Программа обеспечивает управление параметрами работы шести элементов ПК: процессора, видеокарты, набора системной логики, модулей памяти, жестких дисков и вентиляторов. Для демонстрации эффективности работы энергосберегающих технологий в этом окне есть счетчик не выпущенных в атмосферу миллиграмм углекислого газа.
Для опытных пользователей есть возможность самостоятельной тонкой настройки каждого из профилей. Таким образом, можно настроить оптимальный режим работы конкретно вашего ПК. В автоматическом режиме EPU переключается между скоростным и энергосберегающем режимами в зависимости от нагрузки на систему.
Скоростной режим подразумевает полную готовность к выполнению ресурсоёмких задач.
Энергосберегающий режим переводит оборудование в режим малого потребления энергии. Частота процессора при этом переключается на минимально возможную. Хотя снижение напряжения питания может составлять всего лишь десятые доли вольта, во-первых, оно происходит "на ходу", прямо из-под Windows, во-вторых, при этом процессор меньше нагревается (часто на несколько градусов). Если у вас будет установлен кулер с автоматической регулировкой оборотов, — они скорее всего снизятся, в результате, уменьшится создаваемый кулером шум. Замедление системы практически никак не сказывается на качестве работы — проверка показывает, что несколько разных программ, запущенных в это время на компьютере продолжают работать нормально, без "тормозов".