ЖИ (жасанды интеллект) және дерекқорлар сияқты жадыға қатты тәуелді жұмыс жүктемелері үшін оптималды RAM көлемін қалай есептеуге болады?

Жадыға тәуелді жұмыс жүктемелері үшін дұрыс ЖЖҚ сыйымдылығы таңдау — қазіргі заманғы серверлік инфрақұрылымды жобалаудағы ең маңызды шешімдердің бірі. Сіз ірі масштабты Жасанды Интеллект (ЖІ) оқыту жұмыстарын, нақты уақытта жұмыс істейтін қорытындылау қозғалтқыштарын немесе жоғары транзакциялық реляциялық дерекқорларды іске қоссаңыз да, жүйелік жадының көлемі тікелей өнімділік шегін, кешігу сипаттамаларын және жалпы иелену құнын анықтайды. Бұл есептеуді екі бағытта да — аз немесе көп — қате жасау ұзақ мерзімге созылатын, өлшенетін операциялық және қаржылық салдарларға әкеледі.

Бұл мақала оптималды ЖЖҚ сыйымдылығы жасанды интеллект жұмыс жүктемелері мен кәсіпорындық дерекқор орталықтары сияқты екі ең қатаң есептеу саласында. Жалпыланған бағдарламалық нұсқауларды ұсыну орнына, мақсат — инфрақұрылым архитекторлары мен IT шешім қабылдаушыларының қорғанысқа лайықты, жұмыс жүктемесіне арналған жад спецификациясын анықтауға мүмкіндік беретін негізгі логика, айнымалылар мен растау қадамдарын түсіндіру. Бұл есептеуді қалай жүргізу керектігін түсіну сондай-ақ деректер көлемі ұзақ мерзімге өсуіне байланысты сіздің аппараттық жабдыққа салынған инвестицияларыңызды болашаққа дайындауға көмектеседі.

Неге RAM сыйымдылығы жұмыс жүктемесінің өнімділігіне тікелей әсер етеді

Жад — жасанды интеллект пен дерекқор орталықтарындағы тар тұрақ

Есептеу әдістемесіне кіріспес бұрын, неге ЖЖҚ сыйымдылығы aI және дерекқорлардың өнімділігі үшін басқа аппараттық сипаттамалардан гөрі өте маңызды. AI есептерінде, әсіресе терең оқыту моделін оқытуда, бүкіл модельдің архитектурасы, салмақ тензорлары, градиенттік буферлер мен оқыту деректерінің мини-жинақтары есептеу кезінде белсенді жадыда орналасуы тиіс. Егер қолжетімді ЖЖҚ сыйымдылығы бұл элементтерді бір уақытта сыйдыруға жеткіліксіз болса, жүйе деректерді баяу сақтау деңгейлеріне ауыстыруға мәжбүр болады, нәтижесінде өнімділік өте көп төмендейді.

Дерекқор ортасында ЖЖҚ сыйымдылығы жұмыс істейтін дерек жиынының — индекстік беттердің, буферлық жинақтардың, сұраныс орындау жоспарларының және уақытша сұрыптау аймақтарының — қаншалықты жадыда сақталуын немесе дискіден алынуын анықтайды. Жадыдан қызмет етілуі мүмкін болған әрбір дискіден оқу операциясы қосымша кешігуге әкеледі, ал жоғары транзакциялық көлемде бұл кешігу қатты өнімділік төмендеуіне айналады. Бұл ЖЖҚ сыйымдылығы және сұранысқа жауап беру уақыты арасындағы байланысты жұмыс істейтін дерек жиыны толығымен жадыға сыйғанға дейін шамамен сызықтық етеді.

Жадының жеткіліксіз берілуінің көрінбейтін құны

Жеткіліксіз берілуі ЖЖҚ сыйымдылығы бастапқы орнату кезінде сирек айқын болады. Жүйелер жоғары жүктеме кезінде әдетте қолданысқа жарамды болып көрінеді, бірақ бір уақытта қолданушылар саны көбеюген кезде немесе модельдің күрделілігі артқан кезде өнімділік сызықты емес түрде төмендейді. Жеткіліксіз ЖЖҚ сыйымдылығы жадымен жұмыс істейтін дерекқор сервері I/O күту уақытын ұзартады, дискіден оқу жиілігін көтереді және сұраныс уақытының аяқталуына әкелетін оқиғаларды туғызады; бұл оқиғалардың көпшілігі жиі процессор немесе сақтау құрылғысы мәселелері ретінде қате диагностикаланады. Сол сияқты, қолжетімді жадыдан асып кететін ИИ-ді оқыту жұмыстары орындалуы мүмкін, бірақ күтілетін өнімділіктің тек бір бөлігін ғана қамтамасыз етеді, нәтижесінде оқыту циклдары сағаттардан күндерге дейін созылады.

Жеткіліксіз берілген ЖЖҚ сыйымдылығы жадының бизнес құны өнімділіктен тыс шығындарға әкеледі. Ол жиі қажетсіз құрылғылардың алдын-ала ауысуын, қымбат тұратын авариялық жаңартуларды және өндірістік құндылықтың жоғалуын тудырады. Сондықтан дұрыс ЖЖҚ сыйымдылығы жады көлемін алдын ала есептеу — бұл тек техникалық есептеу емес, сонымен қатар қаржылық оптимизация стратегиясы.

ИИ жұмыс жүктемелері үшін RAM сыйымдылығын есептеу

Модельдің көлемі мен параметрлердің жады талаптары

ЖИ үшін негізгі есептеу ЖЖҚ сыйымдылығы модельдегі параметрлер санынан басталады. Нейрондық желідегі әрбір параметр белгілі бір сандық дәлдік форматында сақталуы тиіс. Толық 32-биттік жылжымалы үтірлі дәлдікте әрбір параметр 4 байт көлемін алады. Сондықтан 7 миллиард параметрі бар модельдің салмағын (весін) жадыда сақтау үшін тек 28 ГБ көлемі ғана қажет. 16-биттік аралас дәлдікте бұл көлем шамамен 14 ГБ-қа дейін төмендейді, бірақ ЖЖҚ сыйымдылығы жады талаптарын азайту осында ғана аяқталмайды.

Оқыту кезінде жүйе сонымен қатар оптимизатордың күйін де сақтауы керек; мысалы, кеңінен қолданылатын Adam оптимизаторында бірінші және екінші момент бағалары үшін әрбір параметрге қосымша 8 байт керек. Градиенттік буферлер 32-биттік дәлдікте әрбір параметрге тағы 4 байт қосады. Бұл дегеніміз — аралас дәлдікте 7 миллиард параметрі бар модельді оқыту үшін тек моделдің күйін сақтауға ғана 80–100 ГБ жады қажет, ал бұған кіріс деректерінің пакеттерін есепке алмаған кезде. ЖЖҚ сыйымдылығы бұл есептеу барлық қосымша жады жоспарлауының негізін құрайды.

Жинақтау көлемі, белсендірулер және қосымша жад

Модельдің күйінен басқа, ЖЖҚ сыйымдылығы талаптар оқыту жинақтау көлемі мен белсендіру жадына қарай өседі. Белсендіру тензорлары — алға өтудің әрбір қабатында өндірілетін аралық нәтижелер — кері таратудың (backpropagation) кезінде артқа өту аяқталғанша жадта сақталуы керек. Трансформер сияқты өте терең желілер үшін үлкен жинақтау көлемінде белсендіру жады параметрлердің жадын теңестіре немесе асыра алады, сондықтан бұл — ЖЖҚ сыйымдылығы есептеулерде маңызды фактор.

Оқыту ЖЖҚ сыйымдылығы жадын байтпен бағалауға арналған практикалық формула: (Параметрлер × Параметр басына келетін байт саны × Дәлдік коэффициенті) + (Жинақтау көлемі × Тізбектің ұзындығы × Жасырын өлшем × Қабаттар саны × Белсендіру байттары) + Жүйелік қосымша жад. Жүйелік қосымша жад компоненті — оған операциялық жүйенің жады, фреймворк орындау ортасы, деректерді жүктеуші буферлер және әртүрлі процестер кіреді — әдетте есептелген таза мәнге 10–20 пайызға дейін қосымша қосады және анықтаған кезде ешқашан ескерілмеуі керек ЖЖҚ сыйымдылығы .

Қорытындылау жұмыс көлемдері мен көп модельді орналастыру

Қорытындылау жұмыс көлемдері оқытуға қарағанда басқаша ЖЖҚ сыйымдылығы профильге ие. Қорытындылау кезінде градиенттер есептелмейтіндіктен, әрбір модель үшін жадтың айналымы әлдеқайда кіші болады. Алайда, өндірістегі ЖЖ орталықтары жиі A/B-тестілеу, резервтік бағыттау немесе көп тапсырмалы қызмет көрсету мақсатында бір мезгілде бірнеше модель нұсқасын орналастырады. Әрбір орналастырылған модель экземпляры өзіне тиесілі жадтың үлесін тұтынады, ал бұлар ірі тіл моделін қызмет көрсету кезіндегі бір уақыттағы сұраныс кезегі мен токенизациялық буферлермен бірге қосылғанда, жалпы жад талабы тез өседі. ЖЖҚ сыйымдылығы жад

Талаптарын ЖЖҚ сыйымдылығы жеке есептеу және одан кейін бір уақыттағы сұраныс шығынын қамту үшін 30–40 пайыздық резервтік буфер қосу арқылы қосу. Бұл тәсіл жүйенің трафиктің өсуі кезінде жадқа тәуелді болмауын қамтамасыз етеді, өйткені бұл сұраныстардың кезегіне түсуіне және соңғы пайдаланушыларға көрінетін кешігулерге әкеледі.

Дерекқор жұмыс көлемдері үшін ОЖ сыйымдылығын есептеу

Буферлік жинақтауыштың көлемін анықтау және жұмыс жиынтығын талдау

Мәліметтер қоры ЖЖҚ сыйымдылығы есептеулер жұмыс жиынтығы деген ұғымға негізделеді — бұл дерекқордың жалпы көлемінің белгілі бір уақыт аралығында белсенді түрде оқылатын немесе жазылатын бөлігі. Мақсат — буферлік жинақтауышқа жиі қолданылатын деректер беттерін кешілеу үшін жеткілікті көлем беру, яғни жұмыс жиынтығының толық көлемін буферлік жинақтауышқа сыйғызу, беттерді уақытынан бұрын шығармай. ЖЖҚ сыйымдылығы егер буферлік жинақтауыш жұмыс жиынтығын толығымен қамтуға жеткілікті болса, кештің сәйкестік коэффициенті 99 пайызға немесе одан да жоғары деңгейге жетеді, ал оқу операциялары үшін дискіге енгізу/шығару (I/O) нольге жақын мәнге дейін төмендейді.

Жұмыс жиынтығын есептеу үшін жұмыс жүктемесін профилдеу қажет. Дерекқор әкімшілері белгілі бір уақыт аралығында — әдетте бір толық бизнес циклы — белсенді деректерге қатынас үлгілерін өлшеуі тиіс және маңызды жиілікпен қатынас орнатылатын беттер көлемін анықтауы керек. Бұл белсенді беттер жиынтығын дерекқор қозғалтқышының бет өлшеміне көбейткенде жұмыс жиынтығының базалық бағасы алынады. ЖЖҚ сыйымдылығы буферлық жинаққа қойылатын талап. Индекстік беттер, уақытша кестелер, сұрыптау буферлері және қосылу деңгейіндегі жады бөлінулері үшін орын қосу дерекқордың жалпы көлемін береді ЖЖҚ сыйымдылығы талап ету.

OLTP мен OLAP жады профилдері

Желілік транзакциялық өңдеу мен желілік аналитикалық өңдеу жұмыс жүктемелері негізінен әртүрлі ЖЖҚ сыйымдылығы профилдерге ие, оларды жеке есептеу керек. OLTP жұмыс жүктемелері жоғары параллельдік пен үлкен кестелер бойынша тар жолдарға қатынас құратын кіші, мақсатты сұраныстармен сипатталады. Сұранысқа қажетті жады мөлшері салыстырмалы түрде төмен болса да, жүздеген немесе мыңдаған параллель отырыстарды қолдау үшін қажетті жады — әрбір отырыс үшін өз қосылу буфері, сұрыптау аймағы және орындалу жоспары кэші — қатты көбейеді. ЖЖҚ сыйымдылығы oLAP жұмыс жүктемелері кеңістіктегі үлкен реттік сканерлеулерді, бірнеше үлкен кестелер бойынша біріктірулерді және миллиондаған жолдар бойынша агрегацияларды орындайтын күрделі аналитикалық сұраныстарды қамтиды. Бұл сұраныстар қатты жады ресурстарын талап етеді

OLAP жұмыс жүктемелері кеңістіктегі үлкен реттік сканерлеулерді, бірнеше үлкен кестелер бойынша біріктірулерді және миллиондаған жолдар бойынша агрегацияларды орындайтын күрделі аналитикалық сұраныстарды қамтиды. Бұл сұраныстар қатты жады ресурстарын талап етеді ЖЖҚ сыйымдылығы уақытша нәтиже жиындары мен хеш біріктіру операциялары үшін. OLAP үшін құрылған ішкі жадта орналасқан дерекқор қозғалтқыштары әдетте барлық дерекқордың жадта орналасуын талап етеді, ЖЖҚ сыйымдылығы олардың уәделенген сұраныс өнімділігін қамтамасыз ету үшін, сондықтан дәл дерекқор көлемін анықтау — кез келген сыйымдылық есебінің бастапқы нүктесі болып табылады.

Өсу бағыты және жадтағы резерв

Дерекқорларды жоспарлаудың маңызды және жиі ескерілмейтін өлшемі — ЖЖҚ сыйымдылығы дерекқорлардың өсуіне байланысты резерв. Дерекқорлар бизнес-операциялар кеңейген сайын өседі, ал бүгінгі жұмыс жиынына дәл сәйкес келетін жад көлемі 18–24 ай ішінде тежегішке айналуы мүмкін. Саладағы ең жақсы практика қазіргі уақыттағы ЖЖҚ сыйымдылығы требованиясын есептеуді және одан кейін деректер көлемінің күтілетін өсуіне негізделген өсу коэффициентін қолдануды ұсынады; әдетте бұл үш жылдық жоспарлау кезеңінде 1,5 есе мен 2 есе арасында болады.

Жоғары DIMM слоттарын қолдайтын серверлер осы контексте ерекше маңызды, себебі олар ЖЖҚ сыйымдылығы сұраныс өскен сайын біртіндеп кеңейтілуі керек, ал бұл толық серверді ауыстыруды қажет етпейді. Екі жағынан да есте сақтау қабілетін көп қажет ететін Жасанды интеллект және дерекқор жұмыс жүктемелерін бір уақытта орындайтын ұйымдар үшін, мысалы, ЖЖҚ сыйымдылығы -максималды төрт-сокетті сервердік дизайндар мен 96 DIMM слоты бар платформалар келешекте қатты талап етілетін кәсіпорын ортасын қамтамасыз ету үшін қажетті физикалық есте сақтау қабілетінің масштабталуын ұсынады.

RAM сыйымдылығын есептеуді растауға арналған тәжірибелік қадамдар

Сатып алуға дейінгі салыстырмалы сынақтар мен профилдеу

Талаптарының ЖЖҚ сыйымдылығы теориялық есептеуі бастапқы нүкте болып табылады, бірақ құрылғы сатып алу шешіміне тоқталғаннан бұрын эмпирикалық растау міндетті. Мүмкіндігінше, есте сақтау қабілетін бақылау құралдарымен тесттік ортада өкілдік жұмыс жүктемелерін іске қосу нақты тұтыну көрсеткіштерін тікелей көрсетеді. Жасанды интеллекттік кадрлар үшін есте сақтау қабілетін профилдеу құралдары мен дерекқордың өнімділігін бақылау панелінің құралдары төбеге көтерілу деңгейін көрсетеді. ЖЖҚ сыйымдылығы пайдалану, жады бөлінуінің үлгілері және айналымдық буферлардың шығарылуы немесе алмастыру әрекеттері сияқты жадыға тиесілі қысым оқиғаларының жиілігі.

Толық сынақ ортасы қолжетімді болмаған жағдайда, өндірушілердің ұсынған бағдарламалық құралдары мен салыстырмалы деректер жинағы мен модель архитектурасы үшін қолжетімді жұмыс жүктемесін сипаттайтын зерттеулер теориялық есептеулерді толықтыруға көмектеседі. Негізгі мәселе — ірі капиталдық салымдарға қатысты шешімдер қабылдаған кезде тек қана есептелген көрсеткіштерге сүйенбеу. ЖЖҚ сыйымдылығы себебі нақты жағдайларда жадының пайдаланылуы фрагментация, орындалу уақытындағы қосымша жүктеме және бір уақытта орындалатын процестердің талаптары салдарынан теориялық минимумнан асып кетеді.

Дұрыс қауіпсіздік шегін қолдану

Негізгі деңгейді анықтағаннан кейін ЖЖҚ сыйымдылығы сурет есептеу менің және растау арқылы орнатылады, сондықтан спецификацияның соңғы нұсқасын бекіткенге дейін қауіпсіздік шегі қолданылуы керек. ЖИ үшін оқыту жұмыс жүктемелері үшін динамикалық пакет өлшемін зерттеу мен модельдің архитектурасын сынау кезінде жадтың ашылуына байланысты таңдау үшін есептелген ең жоғарғы пайдаланудың минимум 20 пайызы артықшылығы ұсынылады. Дерекқор ортасы үшін жұмыс жиыны мен операциялық қосымша шығындарға қосымша 25–30 пайыздық шек қолданылуы керек, бұл күтпеген сұраныс күрделілігі мен бір уақытта қосылған сеанс санының өсуіне қарсы жеткілікті қорғаныс қамтамасыз етеді.

Соңғы ЖЖҚ сыйымдылығы спецификация сондай-ақ мақсатты сервер платформасы үшін қолдау көрсетілетін DIMM конфигурациясы опцияларына сәйкес келу үшін жоғары бағытта дөңгелектенуі керек. Көптеген кәсіби серверлер жадты белгілі каналдар бойынша теңестірілген конфигурацияларда қолдайды, сондықтан таңдау кезінде ЖЖҚ сыйымдылығы бұл каналдың пайдаланылуын максималдайды, сонымен қатар жадтың сыйымдылығын да максималдайды — бұл екінші деңгейлі өнімділік факторы, ол AI және дерекқор жұмыс жүктемелерінде маңызды рөл атқарады, мұнда жадтың сыйымдылығы жалпы көлеміне тәуелсіз тежегіш болып табылуы мүмкін.

Жиі қойылатын сұрақтар

Мен өз серверімде іске қосылатын үлкен тілдік модель үшін ЖАД көлемін қалай бағалай аламын?

Бастапқыда модельдің параметрлер санын таңдалған сандық дәлдікке сәйкес бір параметрге келетін байт санына көбейтіңіз — FP32 үшін 4 байт, FP16 немесе BF16 үшін 2 байт. Егер модельді оқытсаңыз, оптимизатордың күйлері үшін жадты қосыңыз, ал тек қана қорытындылау үшін орнатылған жағдайда бұл қадамды өткізіп жіберіңіз. Нәтижені активация буферлерін, жүйелік қосымша шығындар мен фреймворк орындау ортасын ескеру үшін 1,5–2 есе көбейтіңіз. Содан кейін өндірістік орнату үшін қауіпсіз ЖЖҚ сыйымдылығы спецификацияны алу үшін қосымша 20–30 пайыздық резервтік буфер қолданыңыз.

ЖАД көлемі мен дерекқор кэшінің сәйкестік коэффициенті арасындағы байланыс қандай?

Кэш сәйкестік коэффициенті дерекқордың оқу сұраныстарының қанша пайызы дискіден емес, жадтан қызмет ететінін көрсетеді. Қашан ЖЖҚ сыйымдылығы артады, белсенді жұмыс жиынының көбірек бөлігі буферлық жинақта орналасады және кэштің табу қатысы көтеріледі. Барлық жұмыс жиыны жадыда орналасқаннан кейін табу қатысы 100 пайызға жақын деңгейде тұрақтанады және қосымша ЖЖҚ сыйымдылығы оқу өнімділігі үшін азаятын пайданы қамтамасыз етеді. Дерекқорының жадысын жоспарлаудағы мақсат — сіздің нақты жұмыс жүктемеңіз үшін табу қатысы осы тұрақты деңгейге жететін ең аз ЖЖҚ сыйымдылығы мәнін анықтау.

Мен OLTP және OLAP жұмыс жүктемелері үшін бірдей RAM көлемін есептеу әдісін қолдана аламын ба?

Жалпы тәсіл ұқсас — жұмыс жиынының көлемін есептеу, операциялық буферлерді қосу және өсу көбейткішін қолдану — бірақ нақты айнымалылар әлдеқайда ерекшеленеді. OLTP есептеулері әрбір қосылуға бөлінетін жады мен жоспар кэшін ескеруі керек, ал OLAP есептеулері үлкен уақытша нәтижелер жиыны мен сұрыптау жадысын ескеруі керек. Егер бір серверде екі жұмыс жүктемесі де орындалса, олардың ЖЖҚ сыйымдылығы талаптарын тәуелсіз есептеп, содан кейін қосып, бір есептеудің екі жағдайды да қамтитынын ұйғармаңыз.

Кәсіпорын серверінде жоғары ОЖ сыйымдылығын қолдау үшін маған қанша DIMM слоты қажет?

DIMM слоттарының саны қол жетімді ең жоғары көлемді де, параллель каналдар арқылы қолжетімді жад жылдамдығын да анықтайды. ЖЖҚ сыйымдылығы 48 немесе одан аз DIMM слоты бар серверлер қазіргі DIMM технологиясымен 3–6 ТБ-ға дейінгі ЖЖҚ сыйымдылығы жад көлеміне шектелуі мүмкін, бұл ең қатаң өнеркәсіптік өңдеу (AI) және жадта орындалатын дерекқор жұмыстары үшін жеткіліксіз болуы мүмкін. 96 DIMM слоты бар кәсіпорындық төрт-сокетті платформалар жалпы жад көлемі мен жад жылдамдығы үшін әлдеқайда кеңірек резерв ұсынады, сондықтан олар өсетін AI модельдерінің көлемі мен дерекқордың жұмыс жиынтығына қарай жадты белсенді түрде масштабтауға қажеттілік туғызатын ұйымдарға өте жарамды. ЖЖҚ сыйымдылығы жад көлемі мен жад жылдамдығы