Как мы сделали PCIe RAM диск на базе DDR памяти / Хабр
RAM диск, это PCIe диск построенный на базе чипов RAM памяти. Такой диск не может сохранять данные после отключения питания (если не используется поддерживающий аккумулятор), но обладает исключительно высокими скоростями чтения/записи (особенно для случая рандомного доступа), а также имеет неограниченный ресурс. Это важно в задачах, требующих большого количества циклов перезаписи информации, где даже профессиональные SSD диски не выживают долго. Для операционной системы RAM диск должен быть неотличим от SSD или HDD диска и не требовать специальных драйверов или настройки. В отличие от диска, виртуально размещённого в RAM памяти компьютера, где максимальный объём памяти ограничен 128-256 ГБ у лучших материнских плат, RAM диск для PCIe слота, в общем случае, не имеет лимитов объёма и может работать в любой материнской плате с PCIe слотом.
Этот проект начался несколько лет назад в рамках DC программы (*distributed computing – распределённые вычисления).
Со временем скорость интернет-соединения выросла и основной проблемой скорости DC стала низкая скорость HDD. SSD частично решали эту проблему, но повышенный износ SSD, вызванный постоянной перезаписью заданий, отталкивал новых пользователей DC сети. Никому не хочется гробить свой недешёвый SSD ради абстрактной цели. Но ресурс и большая скорость записи/чтения с равномерной латентностью очень важны для DC вычислений, где задержка или сбой в каждом сегменте замедляет всю сеть вычислителей.
В этот момент наша команда сформировала образ будущего RAM диска на базе re-fan (*бывшей в употреблении и перепаянной) DDR памяти. Дело в том, что такая память стоит достаточно дёшево – примерно 40 центов за гигабайт для DDR3 – и хорошо доступна в больших количествах. Перепайка, выполненная с соблюдением температурных режимов, не вредит RAM чипам. Такие производители памяти как Kllisre, ZIFEI, TANBASSH, Rasalas etc. используют именно re-fan чипы. Они же установлены в большинстве бюджетных ноутбуков и планшетов Китайских производителей.
Использование re-fan позволяет снизить стоимость конечного устройства до приемлемых значений без потери его характеристик или надёжности.
Вторым очевидным условием было то, чтобы будущий диск работал в системе также, как HDD или SSD диск и был бы полностью совместим с операционной системой и программными продуктами. Поэтому за основу был взят чип Silicon Motion SM2262EN. Этот чип поддерживает PCIe x4, NVME 1.3, собственную DDR память для буферизации и 8 каналов NAND/TLC памяти. Благодаря этому он может использовать всю доступную скорость PCIe x4 не теряя её.
Первая проблема таилась в том, что интерфейсы NAND и DDR памяти очень сильно отличаются и просто так подключить DDR вместо NAND не получится.
Вторая проблема была в том, что длина дорожек между DDR чипом и SM2262EN не может быть бесконечной. А чтобы набрать объём в 1 TB нам потребуется 256 чипов DDR памяти по 4GB каждый.
Напрашивалось использование FPGA в роли промежуточного звена между SM2262EN и DDR, но третья проблема состояла в том, что HMC FPGA не может адресовать такое количество чипов DDR памяти (данный диск возможен в версиях от 128 гигабайт до 2 терабайт).
Я не буду тратить ваше время на историю наших поисков, но, в итоге, мы пришли к архитектуре с четырьмя FPGA, равномерно распределёнными по плате, каждая из которых подключена к двум банкам по 32 чипа DDR и программно имитирует работу двух NAND чипов каждая.
Архитектура дискаБлагодаря этому решению SM2262EN не видит трюка и работает с памятью также, как с NAND чипами. Длины дорожек между FPGA и самым дальним DDR чипом в банке находятся в рамках допустимого и их импедансы могут быть согласованы, используя резисторы и DCI (*Digitally Controlled Impedance) технологию. Большая площадь 12-и слойной платы и изобилие свободного места позволило нам сократить множество пассивных компонентов используя межслойную ёмкость и сопротивление самих проводников. Данные решения тщательно обкатывались в HyperLynx и позже подтвердили работоспособность в прототипе. Пример такой трассировки изображён на рис. ниже.
Дополнительно на плате установлены управляемые источники питания (PIMC) и система загрузки с двумя чипами памяти BIOS, содержащими битстримы и настроечную информацию.
Два чипа установлены из соображений надёжности. Также диск имеет индикатор нагрузки и семисегментный индикатор, на который выводятся статусы работы диска, коды самодиагностики и ошибок. Этот маленький помощник позволит оперативно диагностировать диск и выявлять проблемы. Ниже показан проект печатной платы и изготовленные образцы:
Тестирование диска показало скорость чтения/записи на уровне 7000/6000 МБ/с соответственно, что является пределом для PCIeX4 gen 4 и приближается к пределу скорости DDR3 памяти (см. скриншот из этого видео).
Особенно примечательны результаты тестов RND4K Q32T16 и Q1T1 – такая скорость достигается за счёт особенностей работы банка памяти DDR чипов, представляющего собой виноградную гроздь из носителей малого объёма, что позволяет работать с ними параллельно и одновременно, в отличие от одного единственного NAND чипа. Нам не известны SSD диски, способные показать сравнимую скорость в таких тестах.
Сравнение последовательного и рандомного доступа (картинка стырена с вики).
На рисунке ниже показаны основные элементы управления DDRAM диском. Это индикатор нагрузки, дисплей и кнопка самотеста. После нажатия данной кнопки диск отключает весь обмен по PCIe и запускает тестирование всех своих элементов, включая чипы памяти. Все данные на диске будут уничтожены при этом. В течение теста индикатор показывает номер тестируемого банка памяти. Если тест пройден, индикатор покажет P = passed. В противном случае будет отображён код ошибки. Для удобства пользователя таблица расшифровки кодов ошибок нарисована на плате диска справа от индикатора. Во время работы индикатор мигает десятичной точкой с частотой 2 Гц. Это является признаком нормальной работы всех систем диска.
С обратной стороны платы диска установлены чипы DDR памяти, накрытые радиатором. Радиатор необходим, т.к. чипы установлены очень плотно и снизу дополнительно подогреваются чипами FPGA и другими элементами устройства. Радиатор не только отводит лишнее тепло, но также выравнивает нагрев различных участков платы диска, что исключает перекос характеристик DDR чипов вызванный неравномерным нагревом.
Использован сухой термоинтерфейс на базе термопрокладки от 3M.
Для снижения механической нагрузки на PCIe разъём и упрощения установки диска в материнскую плату диск имеет выступ на плате, опирающийся на край разъёма. При необходимости этот выступ можно отломать, для этого предусмотрена линия разлома из просверленных в ряд отверстий. Однако, мы пока не встречали материнскую плату, где он бы мешал.
Во время ресурсных испытаний диск отработал 200 часов непрерывно под максимальной нагрузкой и чередующимися операциями чтения/записи. Никаких изменений в характеристиках диска отмечено не было. Ниже можно увидеть видео тестирования скорости:
Сейчас мы тестируем прототип RAM диска, использующего два чипа SM2262EN параллельно и работающего в слоте x8. Ожидаемо, скорость выросла вдвое.
Память для Gigabyte — i-RAM GC-RAMDISK
Память для Gigabyte — i-RAM GC-RAMDISK — Kingston TechnologySearch Kingston.
com
Версия вашего веб-браузера устарела. Обновите браузер для повышения удобства работы с этим веб-сайтом. https://browser-update.org/update-browser.html
- ValueRAM
Фильтр Filters Applied
Сортировать по Название — от A до Z
Серийный номер: KVR333X64C25/128
- Серийный номер: KVR333X64C25/128
- DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2.5V 184-pin
DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2.5V 184-pin
Серийный номер: KVR333X64C25/1G
- Серийный номер: KVR333X64C25/1G
- DDR 333MT/s Non-ECC Unbuffered DIMM CL2.
5 2RX8 2.5V 184-pin
DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2RX8 2.5V 184-pin
Серийный номер: KVR333X64C25/256
- Серийный номер: KVR333X64C25/256
- DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2.5V 184-pin
DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2.5V 184-pin
Серийный номер: KVR333X64C25/512
- Серийный номер: KVR333X64C25/512
- DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2RX8 2.5V 184-pin
DDR 333MT/s Non-ECC Unbuffered DIMM CL2.
5 2RX8 2.5V 184-pinKit of 2 x 2
Серийный номер: KVR333X64C25K2/1G
- Серийный номер: KVR333X64C25K2/1G
- DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2RX8 2.5V 184-pin
DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2RX8 2.5V 184-pin
Kit of 2 x 2
Серийный номер: KVR333X64C25K2/256
- Серийный номер: KVR333X64C25K2/256
- DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 1R 2.5V 184-pin
DDR 333MT/s Non-ECC Unbuffered DIMM CL2.
5 1R 2.5V 184-pin-
Kit of 2 x 2
Серийный номер: KVR333X64C25K2/2G
- Серийный номер: KVR333X64C25K2/2G
- DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2RX8 2.5V 184-pin
DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 2RX8 2.5V 184-pin
Kit of 2 x 2
Серийный номер: KVR333X64C25K2/512
- Серийный номер: KVR333X64C25K2/512
- DDR 333MT/s Non-ECC Unbuffered DIMM CL2.5 1RX8 2.5V 184-pin
DDR 333MT/s Non-ECC Unbuffered DIMM CL2.
Серийный номер: KVR400X64C3A/128
- Серийный номер: KVR400X64C3A/128
- DDR 400MT/s Non-ECC Unbuffered DIMM CL3 1R 2.6V 184-pin
DDR 400MT/s Non-ECC Unbuffered DIMM CL3 1R 2.6V 184-pin
Серийный номер: KVR400X64C3A/1G
- Серийный номер: KVR400X64C3A/1G
- DDR 400MT/s Non-ECC Unbuffered DIMM CL3 2RX8 2.6V 184-pin
DDR 400MT/s Non-ECC Unbuffered DIMM CL3 2RX8 2.6V 184-pin
Серийный номер: KVR400X64C3A/256
- Серийный номер: KVR400X64C3A/256
- DDR 400MT/s Non-ECC Unbuffered DIMM CL3 1RX8 2. 6V 184-pin
DDR 400MT/s Non-ECC Unbuffered DIMM CL3 1RX8 2.6V 184-pin
Серийный номер: KVR400X64C3A/512
- Серийный номер: KVR400X64C3A/512
- DDR 400MT/s Non-ECC Unbuffered DIMM CL3 2RX8 2.6V 184-pin
DDR 400MT/s Non-ECC Unbuffered DIMM CL3 2RX8 2.6V 184-pin
Kit of 2 x 2
Серийный номер: KVR400X64C3AK2/1G
- Серийный номер: KVR400X64C3AK2/1G
- DDR 400MT/s Non-ECC Unbuffered DIMM CL3 2RX8 2. 6V 184-pin
DDR 400MT/s Non-ECC Unbuffered DIMM CL3 2RX8 2.6V 184-pin
-
Kit of 2 x 2
Серийный номер: KVR400X64C3AK2/256
- Серийный номер: KVR400X64C3AK2/256
- DDR 400MT/s Non-ECC Unbuffered DIMM CL3 1R 2.6V 184-pin
DDR 400MT/s Non-ECC Unbuffered DIMM CL3 1R 2.6V 184-pin
Kit of 2 x 2
Серийный номер: KVR400X64C3AK2/2G
- Серийный номер: KVR400X64C3AK2/2G
- DDR 400MT/s Non-ECC Unbuffered DIMM CL3 2RX8 2. 6V 184-pin
DDR 400MT/s Non-ECC Unbuffered DIMM CL3 2RX8 2.6V 184-pin
Kit of 2 x 2
Серийный номер: KVR400X64C3AK2/512
- Серийный номер: KVR400X64C3AK2/512
- DDR 400MT/s Non-ECC Unbuffered DIMM CL3 1RX8 2.6V 184-pin
DDR 400MT/s Non-ECC Unbuffered DIMM CL3 1RX8 2.6V 184-pin
5 2RX8 2.5V 184-pin
5 2RX8 2.5V 184-pin
5 1R 2.5V 184-pin
6V 184-pin
6V 184-pin
6V 184-pinNo products were found matching your selection
* Комплекты: в случае отдельной продажи или использования гарантия аннулируется, и возвраты не принимаются.
* Узнайте больше о мегатрансферах в секунду: МТ/с обозначает число мегатрансферов (миллионов передач) в секунду и представляет эффективную скорость передачи данных памяти DDR (Double Data Rate) SDRAM в вычислениях.
Модуль памяти DDR SDRAM передает данные о росте и падении каждого такта (1 Гц).Например: DDR4-3200 (PC4-3200)
Тактовая частота: 1600 МГц
Скорость передачи данных: 3200 МТ/с
Пропускная способность: 25 600 МБ/с (25,6 ГБ/с)
Gigabyte GC-RAMDISK Твердотельный накопитель DDR RAM Card с 4 ГБ RAM и аккумулятором
- Дом
- Компьютеры и электроника
- Компоненты
- Gigabyte GC-RAMDISK Solid State Storage DDR RAM Card с 4 ГБ RAM и аккумулятором
165,29 $
Артикул:
W14H012
Текущий запас:
1
Количество:
Сравнить
Обзор Отзывы Похожие продукты
Описание продукта
Производитель: Gigabyte Technology
Модель: GC-RAMDISK
Состояние: Используется. Карта в хорошем косметическом состоянии, есть небольшие потертости от монтажа, но ничего существенного.
Примечания: Эта карта была снята со списанного оборудования и не тестировалась. Никакие руководства, шнуры/кабели или дополнительные элементы не включены, если они не перечислены или не показаны.
В комплекте:
- (1) Gigabyte GC-RAMDISK Твердотельный накопитель DDR RAM Card с 4 ГБ ОЗУ и аккумулятором
Технические характеристики:
- Производитель: Gigabyte
- Модель: GC-RAMDISK
- Описание: карта расширения RAM Drive с памятью и аккумулятором
- Внутренние разъемы 1 x SATA 150
- Интерфейс PCI
- Скорость передачи до 150 МБ/с
- Размеры 8,7 x 4,1 дюйма
- Интерфейс памяти:
- Максимальный объем поддерживаемой памяти составляет 4 ГБ .
- Четыре 184-контактных разъема DDR DIMM 2,5 В
- Поддерживает DDR 266/333/400 (Примечание 2)
- Поддержка модулей DIMM толщиной до 4,2 мм (включая радиатор)
- Резервная батарея: одна литиевая батарея емкостью 1600 мАч
- Максимальная скорость загрузки системы — полная совместимость с SATA1. 0a; i-RAM можно использовать как загрузочное устройство.
- Самый быстрый твердотельный диск — специальная конструкция DDR, поддержка модулей памяти DDR 266/333/400.
- Самый быстрый доступ к данным — идеально подходит для приложений, требующих доступа к большим объемам данных, таких как захват и редактирование аудио/видео, проектирование 3D-графики, совместное использование файлов, обмен базами данных, серверы, рабочие станции, веб-серверы и серверы электронной почты и т. д.
- Никаких дополнительных драйверов не требуется.
- Поддерживает утилиты резервного копирования и восстановления.
- Бесшумное решение по сравнению с традиционными жесткими дисками.
- Защита от вибрации по сравнению с традиционными жесткими дисками.
0a; i-RAM можно использовать как загрузочное устройство.Беспроблемный возврат
- DougDeals оплатит обратную доставку, если товар необходимо вернуть по какой-либо причине
- Период возврата составляет 30 дней с даты поставки
- См. полные условия
полные условияCDN Systems LLC, DBA Doug Deals, не является авторизованным дистрибьютором или аффилированным лицом с производителем данного продукта. Оригинальная гарантия производителя не распространяется.
Другие детали
Состояние:
Б/у
Найти похожие товары по категориям
Клиенты также просматривали
Модификация Gigabyte i-RAM (GC-RAMDISK) для работы без подключения к слоту PCI…
Модификация Gigabyte i-RAM (GC-RAMDISK) для работы без подключения к слоту PCI…
| Gigabyte i-RAM или GC-RAMDISK, версия PCI |
Gigabyte i-RAM (или GC-RAMDISK) — любопытное устройство. Я всегда был не уверен, имел ли он коммерческий успех или нет, однако основные характеристики здесь:
- Слот PCI 3,3 В и 5 В для питания (коннектор на нижнем краю)
- Подключение жесткого диска SATA 150 (красный разъем, вверху справа)
- Максимальная емкость 4 гигабайта (да 4)
- В одном эталонном тесте он составляет 25 576 RW IOPS для 512 000 (ДА 25 000 IOPS)
- Не изнашивается и не ухудшается со временем или емкостью, как твердотельный накопитель
- Резервная батарея (справа) поддерживает данные на диске около 16 часов.
Единственный момент, представляющий реальный интерес, — это IOPS. Вы можете получить всю настройку на eBay менее чем за 200 долларов, в то время как для достижения лучшего IOPS с SSD требуется что-то вроде OCZ Vector за 450 долларов. Обратите внимание, что для всех обычных применений OCZ Vector является гораздо лучшим решением!
ЗФС ЗИЛ
Я большой пользователь ZFS в Linux по многим причинам (обратите внимание, если они не выпустили 0.6.3, используйте git HEAD, так как с 0.6.2 было включено так много важных исправлений).
ZFS — отличная файловая система (вы можете прочитать о ней здесь), но в первую очередь я ценю ее за целостность данных, а во вторую — за простоту настройки.
ZFS предназначена для использования преимуществ иерархического хранилища для повышения производительности, т. Е. Вы можете использовать жесткие диски для массового хранения, твердотельные накопители и такие устройства, как этот RAMDISK, в качестве томов кешей / журналов, и он будет представлять единую, высокую целостность, более высокую производительность, том в операционную систему.
Журнал, который меня особенно интересует (как и большинство пользователей ZFS), — это ZIL или ZFS Intent Log. Для получения полной информации прочитайте блог, но в основном файловая система должна время от времени фиксировать данные в постоянном хранилище, прежде чем продолжить ради целостности/безопасности данных. Отдельный журнал с малой задержкой позволяет файловой системе значительно ускорить свою производительность, перемещая эти критические записи из медленного хранилища на выделенное устройство до тех пор, пока они не будут зафиксированы в хранилище в запланированном, упорядоченном и разумном порядке. Это также освобождает объемное хранилище для обслуживания других невыполненных запросов на данные. 9Твердотельные накопители 0167 хорошо работают как устройства ZIL, однако устройство постоянно подвергается небольшим операциям записи, которые достаточно быстро изнашивают диск и снижают IOPS, поскольку в разные области флэш-массива записываются данные, а микросхема управления работает интенсивнее.
Gigabyte i-RAM (GC-RAMDISK) не изнашивается и не страдает от ухудшения показателей IOPS с течением времени. Он также по-прежнему имеет очень высокое значение IOPS для такого старого оборудования.
Изменение его для работы вне сокета PCI
Хотя i-RAM выглядит так, как будто это PCI-карта, она просто использует разъем для питания и ничего больше. Небольшой обратный инжиниринг показывает, что i-RAM использует следующее:
- 12 В, по-видимому, связано с подсистемой резервного аккумулятора
- 5 В используется для питания оконечных блоков DDR и зарядки аккумулятора, конечно, большой ток
- 3,3 В для питания основной электроники на плате
- 3.3Vaux [всегда включен] используется для непрерывной подзарядки аккумулятора и сохранения содержимого оперативной памяти при выключении компьютера
- RST# используется для включения карты из режима ожидания при включении ПК и повторного выключения при отключении питания
Итак, если мы заглянем внутрь ПК (не используя материнскую плату или слот PCI), то разъем ATX имеет почти все необходимые нам сигналы:
- 12 В
- 5В
- 3,3 В
- 5Vsb [всегда включен]
- PS_OK указывает, что блок питания полностью включен и напряжение стабильно
Итак соединения (i-RAM — ATX):
- 12В — 12В
- 5В — 5В
- 3,3 В — 3,3 В
- 3. 3Vaux — Регулятор мощности — 5Всб
- RST# — PS_OK
3Vaux — Регулятор мощности — 5ВсбНе хватает только питания 3.3Vaux, но есть 5Vsb. С подходящим линейным LDO и радиатором можно было построить регулятор. i-RAM довольно непослушный и потребляет слишком много тока от 3,3 В на шине PCI — я измерил его более 1,3 А! Чтобы справиться с этим, я выбрал линейный 3-амперный LDO-регулятор Texas Instruments LM1084 LDO.
Вот фотографии конечного продукта:
| Rebuilt i-RAM attached to standoffs inside the case lid |
| Component side (B) of the modified i-RAM showing heavy flywires and Molex sockets |
| Side A of the modified i-RAM showing heavy flywire connections |
Inline ATX 5VSB to 3. |
Ваш комментарий будет первым