Як розрахувати оптимальний обсяг ОЗП для ресурсомістких робочих навантажень, таких як штучний інтелект і бази даних?

Визначення правильного Ємність оперативної пам'яті для ресурсоємних робочих навантажень є одним із найважливіших рішень у сучасному плануванні серверної інфраструктури. Незалежно від того, чи ви запускаєте масштабні завдання навчання систем штучного інтелекту, двигуни реального часу для висновків або реляційні бази даних з високою кількістю транзакцій, обсяг системної пам’яті, яку ви надаєте, безпосередньо визначає потолок продуктивності, профіль затримок та загальну вартість володіння. Помилка в цьому розрахунку в будь-якому напрямку — надто мало або надто багато — тягне за собою вимірні експлуатаційні та фінансові наслідки, які накопичуються з часом.

У цій статті розглядається системна методологія розрахунку оптимального Ємність оперативної пам'яті у двох із найбільш вимогливих обчислювальних сфер: робочі навантаження штучного інтелекту та корпоративні середовища баз даних. Замість загальних емпіричних правил метою є пояснити базову логіку, змінні та кроки перевірки, які дозволяють архітекторам ІТ-інфраструктури та приймаючим рішення фахівцям ІТ визначити обґрунтовані, специфічні для робочого навантаження вимоги до обсягу оперативної пам’яті. Розуміння того, як підходити до такого розрахунку, також допомагає забезпечити довгострокову актуальність ваших інвестицій у апаратне забезпечення в умовах постійного зростання обсягів даних.

Чому обсяг ОЗП безпосередньо впливає на продуктивність робочих навантажень

Оперативна пам’ять як вузьке місце в середовищах ШІ та баз даних

Перш ніж переходити до методології розрахунку, важливо зрозуміти, чому Ємність оперативної пам'яті є надзвичайно важливим для продуктивності штучного інтелекту та баз даних, а не просто ще однією технічною характеристикою апаратного забезпечення. У завданнях штучного інтелекту, зокрема під час навчання моделей глибокого навчання, вся архітектура моделі, тензори ваг, буфери градієнтів та міні-пакети навчальних даних повинні перебувати в оперативній пам’яті під час обчислень. Якщо доступна Ємність оперативної пам'яті недостатня для одночасного розміщення цих елементів, система змушена переміщати дані на повільніші рівні сховища, що призводить до різкого зниження пропускної здатності.

У середовищах баз даних Ємність оперативної пам'яті визначає, яку частину робочого набору даних — у тому числі сторінки індексів, буферні пули, плани виконання запитів та тимчасові області сортування — можна зберігати в оперативній пам’яті замість отримання з диска. Кожне зчитування з диска, яке могло б бути задоволене з оперативної пам’яті, призводить до додаткової затримки, а за високих обсягів транзакцій ця затримка накопичується й призводить до значної втрати продуктивності. Саме тому залежність між Ємність оперативної пам'яті та часом відповіді на запити є практично лінійною до того моменту, поки весь робочий набір вміщується в оперативну пам’ять із запасом.

Прихована вартість недостатнього забезпечення пам'яті

Недостатнє забезпечення Ємність оперативної пам'яті рідко є очевидним під час початкового розгортання. Системи часто здаються працездатними за легких навантажень, але по мірі зростання кількості одночасних користувачів або збільшення складності моделі продуктивність знижується нелінійно. Сервер бази даних, що працює з недостатнім обсягом Ємність оперативної пам'яті починає демонструвати зростання часу очікування вводу-виводу, підвищені швидкості дискового читання та події тайм-аутів запитів, які часто помилково діагностують як проблеми процесора або сховища. Аналогічно, завдання навчання ШІ, що перевищують доступний обсяг пам'яті, можуть завершитися, але з продуктивністю, що становить лише частку очікуваної, унаслідок чого тривалість циклів навчання збільшується з годин до днів.

Ділові витрати, пов’язані з недостатнім забезпеченням Ємність оперативної пам'яті виходять за межі продуктивності. Вони часто призводять до передчасних циклів оновлення апаратного забезпечення, дорогих аварійних оновлень і втрат продуктивності. Тому розуміння того, як правильно розрахувати необхідний обсяг Ємність оперативної пам'яті на етапі початкового проектування — це не просто технічне завдання, а й стратегія фінансової оптимізації.

Розрахунок обсягу ОЗП для робочих навантажень ШІ

Розмір моделі та вимоги до пам’яті параметрів

Фундаментальний розрахунок для штучного інтелекту Ємність оперативної пам'яті починається з кількості параметрів моделі. Кожен параметр у нейронній мережі вимагає зберігання у певному форматі числового представлення з фіксованою точністю. У повному 32-бітному форматі з плаваючою комою кожен параметр займає 4 байти. Отже, модель із 7 мільярдами параметрів потребує приблизно 28 ГБ лише для зберігання її ваг у пам’яті. У 16-бітній змішаній точності цей обсяг зменшується до приблизно 14 ГБ, але зниження Ємність оперативної пам'яті вимог до пам’яті не закінчується на цьому.

Під час навчання система також повинна зберігати стани оптимізатора, які в популярному оптимізаторі Adam додають ще по 8 байтів на кожен параметр для оцінок першого та другого моментів. Буфери градієнтів додають ще по 4 байти на кожен параметр у 32-бітній точності. Це означає, що ефективний Ємність оперативної пам'яті обсяг пам’яті, необхідний для навчання моделі з 7 мільярдами параметрів у змішаній точності, наближається до 80–100 ГБ лише для стану моделі, не враховуючи пакети вхідних даних. Цей розрахунок є базовим, від якого починається будь-яке подальше планування пам’яті.

Розмір пакунка, активації та накладні витрати пам’яті

Крім стану моделі, Ємність оперативної пам'яті вимоги зростають разом із розміром пакунка для навчання та обсягом пам’яті, необхідною для активацій. Тензори активацій — це проміжні вихідні дані, що утворюються на кожному шарі під час прямого проходу — мають зберігатися в пам’яті до завершення зворотного проходу під час зворотного поширення. У дуже глибоких мережах, таких як архітектури трансформерів, обсяг пам’яті для активацій може зрівнятися або навіть перевищити обсяг пам’яті, необхідний для параметрів моделі, при великих розмірах пакунка, що робить його критичним фактором у Ємність оперативної пам'яті розрахунках.

Практична формула для оцінки витрат пам’яті під час навчання Ємність оперативної пам'яті у байтах має такий вигляд: (Кількість параметрів × Кількість байтів на параметр × Коефіцієнт точності) + (Розмір пакунка × Довжина послідовності × Прихована розмірність × Кількість шарів × Кількість байтів на активацію) + Системні накладні витрати. Компонент системних накладних витрат, до якого входять пам’ять операційної системи, час виконання фреймворку, буфери завантажувача даних та різні інші процеси, зазвичай збільшує «сирі» розраховані значення на 10–20 % і ніколи не повинен ігноруватися під час визначення Ємність оперативної пам'яті .

Робочі навантаження висновування та розміщення кількох моделей

Робочі навантаження висновування мають інший Ємність оперативної пам'яті профіль порівняно з навчанням. Оскільки під час висновування градієнти не обчислюються, обсяг використаної пам’яті на одну модель значно менший. Однак у виробничих середовищах ШІ часто одночасно розміщують кілька версій моделей для A/B-тестування, резервного маршрутизації або обслуговування кількох завдань. Кожен розміщений екземпляр моделі споживає свою частку Ємність оперативної пам'яті , і коли ці вимоги поєднуються з чергою одночасних запитів та буферами токенізації при обслуговуванні великих мовних моделей, загальний обсяг вимог до пам’яті швидко зростає.

Для платформ обслуговування висновування зазвичай застосовують практику окремого розрахунку вимог до Ємність оперативної пам'яті на кожну модель, а потім додають їх із запасом у 30–40 %, щоб врахувати пікові навантаження одночасних запитів. Такий підхід забезпечує, що система не стане обмеженою за обсягом пам’яті під час сплесків трафіку, що могло б призвести до утворення черги запитів і стрибків затримки, помітних для кінцевих користувачів.

Розрахунок обсягу оперативної пам’яті для робочих навантажень баз даних

Визначення розміру буферного пулу та аналіз робочого набору

База даних Ємність оперативної пам'яті розрахунки ґрунтуються на понятті робочого набору — тієї частини загального обсягу бази даних, яка активно читається або записується протягом типового навантаження. Метою є забезпечення достатнього обсягу Ємність оперативної пам'яті щоб буферний пул, який кешує часто запитувані сторінки даних, міг вмістити весь робочий набір без передчасного видалення сторінок. Коли розмір буферного пулу достатній для розміщення робочого набору, коефіцієнт попадань у кеш наближається до 99 відсотків або більше, а введення-виведення з диска знижується до майже нуля для операцій читання.

Розрахунок робочого набору вимагає профілювання навантаження. Адміністратори баз даних повинні вимірювати шаблони активного доступу до даних протягом типового часовго інтервалу — зазвичай одного повного бізнес-циклу — й визначити обсяг сторінок, до яких здійснюється частий доступ. Цей активний набір сторінок, помножений на розмір сторінки, використовуваний двигуном бази даних, дає базове значення Ємність оперативної пам'яті вимога до буферного пулу. Додавання місця для сторінок індексів, тимчасових таблиць, буферів сортування та виділення пам’яті на рівні з’єднання дає загальний обсяг пам’яті для бази даних Ємність оперативної пам'яті вимога.

Профілі використання пам’яті в OLTP та OLAP

Робочі навантаження онлайн-обробки транзакцій (OLTP) та онлайн-аналітичної обробки (OLAP) мають принципово різні Ємність оперативної пам'яті профілі, які потрібно розраховувати окремо. Робочі навантаження OLTP характеризуються високою паралельністю й невеликими цільовими запитами, що звертаються до вузьких рядків у великих таблицях. Вимоги до пам’яті на один запит порівняно низькі, але сумарні вимоги Ємність оперативної пам'яті до пам’яті, необхідні для підтримки сотень або тисяч одночасних сесій — кожна з яких має власний буфер з’єднання, простір для сортування та кеш планів виконання — значно зростають.

Робочі навантаження OLAP передбачають складні аналітичні запити, що виконують великі послідовні сканування, об’єднання (JOIN) кількох великих таблиць та агрегації за мільйонами рядків. Ці запити вимагають значних Ємність оперативної пам'яті для тимчасових наборів результатів і операцій хеш-об’єднання. Ін-меморі рухомі системи баз даних, розроблені для OLAP, можуть вимагати, щоб весь набір даних поміщався в Ємність оперативної пам'яті оперативну пам’ять, щоб забезпечити заявлену продуктивність запитів, тому точне визначення обсягу даних є початковою точкою будь-якого розрахунку потужності.

Прогнози зростання та резерв пам’яті

Планування баз даних — це резерв пам’яті для зростання. Ємність оперативної пам'яті бази даних зростають разом із розширенням бізнес-операцій, і специфікація пам’яті, яка ідеально відповідає сьогоднішньому робочому набору, може стати вузьким місцем протягом 18–24 місяців. Згідно з галузевими найкращими практиками, слід розрахувати поточну потребу в Ємність оперативної пам'яті пам’яті, а потім застосувати коефіцієнт зростання на основі очікуваних збільшень обсягу даних, зазвичай у діапазоні від 1,5× до 2× протягом трьохрічного планового горизонту.

Сервери, що підтримують велику кількість слотів для модулів DIMM, особливо корисні в цьому контексті, оскільки вони дозволяють Ємність оперативної пам'яті розширюватися поступово в міру зростання попиту, а не вимагати повної заміни сервера. Для організацій, які одночасно запускають інтенсивні за використанням пам’яті робочі навантаження штучного інтелекту та баз даних, платформи, такі як Ємність оперативної пам'яті — оптимізовані чотирьохсокетні серверні рішення з 96 слотами для модулів DIMM — забезпечують фізичну масштабованість оперативної пам’яті, необхідну для забезпечення довгострокової придатності вимогливих корпоративних середовищ.

Практичні кроки для перевірки розрахунку ємності ОЗП

Тестування та профілювання перед закупівлею

Вимог до оперативної пам’яті Ємність оперативної пам'яті надає початкову точку відліку, але емпірична перевірка є обов’язковою перед прийняттям рішення щодо закупівлі апаратного забезпечення. За можливості запуск типових робочих навантажень у тестовому середовищі з використанням інструментів моніторингу пам’яті надає безпосередні дані про фактичне споживання. Такі інструменти, як профілери пам’яті для фреймворків штучного інтелекту та інформаційні панелі моніторингу продуктивності баз даних, можуть показати пікове Ємність оперативної пам'яті використання, шаблони виділення пам’яті та частота подій нестачі пам’яті, таких як обмін даними на диск або видалення блоків з буферного пулу.

Якщо повноцінне тестове середовище недоступне, то для доповнення теоретичних розрахунків можна використовувати бенчмарки, надані постачальником, та публічно доступні дослідження навантаження для порівнянних наборів даних і архітектур моделей. Ключовим є те, щоб ніколи не покладатися виключно на розрахункові показники, коли Ємність оперативної пам'яті рішення передбачають значні капіталовкладення, оскільки реальне споживання пам’яті часто перевищує теоретичні мінімуми через фрагментацію, накладні витрати часу виконання та вимоги одночасно працюючих процесів.

Застосування правильного запасу безпеки

Після визначення базового рівня Ємність оперативної пам'яті значення встановлюється шляхом розрахунку та перевірки; перед остаточним узгодженням специфікації необхідно застосувати запас безпеки. Для робочих навантажень, пов’язаних із навчанням штучного інтелекту, рекомендується мінімальний запас потужності у 20 % понад розрахунковим піковим споживанням, щоб компенсувати раптові перевищення обсягу оперативної пам’яті під час експериментів із динамічним розміром пакетів та архітектурою моделі. У середовищах баз даних достатнім захистом від неочікуваної складності запитів та раптового зростання кількості одночасних сеансів є запас у 25–30 % понад робочим набором даних із урахуванням експлуатаційних накладних витрат.

Остаточна Ємність оперативної пам'яті специфікація також має бути округлена вгору, щоб відповідати підтримуваним конфігураціям модулів пам’яті DIMM для цільової серверної платформи. Більшість корпоративних серверів підтримують встановлення пам’яті у певних конфігураціях із балансуванням каналів, і вибір Ємність оперативної пам'яті що максимізує використання каналу, також максимізує пропускну здатність пам’яті — другинний чинник продуктивності, який має значення в робочих навантаженнях, пов’язаних з штучним інтелектом та базами даних, де пропускна здатність пам’яті може стати вузьким місцем незалежно від загального обсягу пам’яті.

Часті запитання

Як оцінити обсяг ОЗП для великої мовної моделі, що працює локально?

Почніть із множення кількості параметрів моделі на кількість байтів на параметр для обраної вами числової точності: 4 байти для FP32, 2 байти для FP16 або BF16. Додайте пам’ять для станів оптимізатора, якщо відбувається навчання, або пропустіть цей крок у разі розгортання лише для висновків. Помножте отриманий результат на 1,5–2, щоб врахувати буфери активацій, системні накладні витрати та час виконання фреймворку. Потім додайте додатковий запас у 20–30 %, щоб отримати безпечну Ємність оперативної пам'яті специфікацію для розгортання в продакшені.

Який зв’язок між обсягом ОЗП та коефіцієнтом попадань у кеш бази даних?

Коефіцієнт попадань у кеш вимірює відсоток запитів на читання з бази даних, які обслуговуються з пам’яті замість диска. Зі збільшенням Ємність оперативної пам'яті збільшується, більша частина активного робочого набору поміщається в буферний пул, і коефіцієнт попадань у кеш зростає. Як тільки весь робочий набір розміщується в пам’яті, коефіцієнт попадань стабілізується на рівні, близькому до 100 %, а подальше Ємність оперативної пам'яті збільшення обсягу оперативної пам’яті забезпечує все менший приріст продуктивності операцій читання. Метою планування пам’яті бази даних є визначення мінімального Ємність оперативної пам'яті обсягу пам’яті, при якому коефіцієнт попадань досягає цього плато для вашого конкретного навантаження.

Чи можна використовувати один і той самий метод розрахунку обсягу ОЗП для робочих навантажень OLTP і OLAP?

Загальна структура розрахунків схожа — обчислюється розмір робочого набору, додаються робочі буфери й застосовується множник для врахування майбутнього зростання, — проте конкретні змінні значно відрізняються. У розрахунках для OLTP необхідно враховувати виділення пам’яті на кожне з’єднання та кеш планів виконання, тоді як у розрахунках для OLAP слід враховувати великі тимчасові набори результатів і пам’ять, необхідну для сортування. Якщо на одному й тому самому сервері виконуються обидва типи робочих навантажень, розрахуйте Ємність оперативної пам'яті вимоги до пам’яті для кожного типу навантаження окремо й додайте отримані значення, замість того щоб припускати, що один розрахунок охоплює обидва сценарії.

Скільки слотів для модулів DIMM потрібно для підтримки високої ємності ОЗП у корпоративному сервері?

Кількість слотів для модулів DIMM визначає як максимальну досяжну Ємність оперативної пам'яті ємність, так і пропускну здатність пам’яті, доступну завдяки паралельному доступу до каналів. Сервери з 48 або меншою кількістю слотів для модулів DIMM можуть мати обмеження ємності пам’яті на рівні 3–6 ТБ Ємність оперативної пам'яті за поточною технологією DIMM, що може бути недостатньо для найвимогливіших робочих навантажень у галузі штучного інтелекту та баз даних у пам’яті. Корпоративні чотирисокетні платформи з 96 слотами для модулів DIMM забезпечують значно більший запас потужності як для загальної ємності Ємність оперативної пам'яті пам’яті, так і для пропускної здатності пам’яті, що робить їх чудово придатними для організацій, яким необхідно агресивно масштабувати пам’ять разом із зростанням розмірів моделей штучного інтелекту та робочих наборів баз даних.