คุณคำนวณความจุ RAM ที่เหมาะสมที่สุดสำหรับภาระงานที่ใช้หน่วยความจำสูง เช่น งานปัญญาประดิษฐ์ (AI) และฐานข้อมูล อย่างไร?

การกำหนดความจุที่เหมาะสม ความจุของ ram สำหรับภาระงานที่ใช้หน่วยความจำสูงเป็นหนึ่งในการตัดสินใจที่สำคัญที่สุดในการวางแผนโครงสร้างพื้นฐานเซิร์ฟเวอร์สมัยใหม่ ไม่ว่าคุณจะกำลังดำเนินการฝึกโมเดล AI ขนาดใหญ่ ระบบให้บริการอนุมานแบบเรียลไทม์ หรือฐานข้อมูลเชิงสัมพันธ์ที่มีปริมาณธุรกรรมสูง ปริมาณหน่วยความจำของระบบ (RAM) ที่คุณจัดสรรไว้จะส่งผลโดยตรงต่อเพดานประสิทธิภาพ ลักษณะความหน่วงเวลา (latency profile) และต้นทุนรวมในการเป็นเจ้าของ (TCO) การคำนวณผิดพลาดในทิศทางใดทิศทางหนึ่ง — ไม่ว่าจะน้อยเกินไปหรือมากเกินไป — จะส่งผลเสียทั้งด้านการปฏิบัติงานและด้านการเงินอย่างชัดเจน ซึ่งผลกระทบทั้งหมดนี้จะสะสมเพิ่มขึ้นตามระยะเวลา

บทความนี้อธิบายวิธีการแบบเป็นระบบในการคำนวณความจุแรมที่เหมาะสม ความจุของ ram สำหรับสองโดเมนการประมวลผลที่ต้องการทรัพยากรสูงที่สุดสองประเภท ได้แก่ งานด้านปัญญาประดิษฐ์ (AI) และสภาพแวดล้อมฐานข้อมูลระดับองค์กร แทนที่จะให้หลักการทั่วไปแบบคร่าวๆ เป้าหมายของบทความนี้คือการอธิบายตรรกะพื้นฐาน ตัวแปรที่เกี่ยวข้อง และขั้นตอนการตรวจสอบความถูกต้อง ซึ่งช่วยให้ผู้ออกแบบโครงสร้างพื้นฐานและผู้บริหารเทคโนโลยีสารสนเทศสามารถกำหนดข้อกำหนดด้านหน่วยความจำที่มีเหตุผลและสอดคล้องกับลักษณะงานเฉพาะได้อย่างมีประสิทธิภาพ การเข้าใจวิธีการคำนวณนี้ยังช่วยให้การลงทุนในฮาร์ดแวร์ของคุณรองรับการเติบโตของปริมาณข้อมูลในอนาคตได้อย่างมั่นคง

เหตุใดความจุแรมจึงมีผลกระทบโดยตรงต่อประสิทธิภาพของงาน

หน่วยความจำในฐานะจุดคอขวดในสภาพแวดล้อมด้านปัญญาประดิษฐ์และฐานข้อมูล

ก่อนที่จะลงลึกสู่วิธีการคำนวณ จำเป็นต้องเข้าใจก่อนว่า ความจุของ ram มีความสำคัญอย่างยิ่งต่อประสิทธิภาพของ AI และฐานข้อมูล มากกว่าจะเป็นเพียงข้อกำหนดด้านฮาร์ดแวร์อีกข้อหนึ่งเท่านั้น ในงานประมวลผล AI โดยเฉพาะการฝึกโมเดลการเรียนรู้เชิงลึก (deep learning) โครงสร้างทั้งหมดของโมเดล ค่าพารามิเตอร์ (weight tensors) บัฟเฟอร์สำหรับเกรเดียนต์ (gradient buffers) และชุดข้อมูลการฝึก (mini-batches) จำเป็นต้องอยู่ในหน่วยความจำที่ใช้งานได้ (active memory) ระหว่างการประมวลผล หากหน่วยความจำที่มีอยู่ ความจุของ ram ไม่เพียงพอที่จะเก็บองค์ประกอบเหล่านี้พร้อมกัน ระบบจะถูกบังคับให้สลับข้อมูลไปยังระดับการจัดเก็บที่ช้ากว่า ส่งผลให้ประสิทธิภาพในการประมวลผลลดลงอย่างมาก

ในสภาพแวดล้อมฐานข้อมูล ความจุของ ram กำหนดปริมาณของชุดข้อมูลที่ใช้งานจริง (working dataset) — ซึ่งรวมถึงหน้าดัชนี (index pages) บัฟเฟอร์พูล (buffer pools) แผนการดำเนินคำสั่งสอบถาม (query execution plans) และพื้นที่ชั่วคราวสำหรับการเรียงลำดับ (temporary sort areas) — ที่สามารถเก็บไว้ในหน่วยความจำได้ เมื่อเทียบกับการดึงข้อมูลจากดิสก์ ทุกครั้งที่มีการอ่านข้อมูลจากดิสก์ซึ่งควรจะสามารถให้บริการได้จากหน่วยความจำ จะส่งผลให้เกิดความล่าช้าเพิ่มขึ้น และเมื่อมีปริมาณธุรกรรมสูง ความล่าช้านี้จะสะสมจนก่อให้เกิดการสูญเสียประสิทธิภาพอย่างมีนัยสำคัญ สิ่งนี้ทำให้ความสัมพันธ์ระหว่าง ความจุของ ram กับเวลาตอบสนองต่อคำสั่งสอบถาม (query response time) มีลักษณะเชิงเส้นเกือบสมบูรณ์ จนกระทั่งชุดข้อมูลที่ใช้งานจริงทั้งหมดสามารถจัดเก็บไว้ในหน่วยความจำได้อย่างสะดวกสบาย

ต้นทุนที่ซ่อนอยู่จากการจัดสรรหน่วยความจำไม่เพียงพอ

การจัดสรรหน่วยความจำไม่เพียงพอ ความจุของ ram มักไม่ชัดเจนในช่วงการปรับใช้ครั้งแรก ระบบมักดูเหมือนทำงานได้ตามปกติภายใต้ภาระงานเบา แต่เมื่อจำนวนผู้ใช้พร้อมกันเพิ่มขึ้นหรือความซับซ้อนของโมเดลสูงขึ้น ประสิทธิภาพจะลดลงแบบไม่เป็นเชิงเส้น เซิร์ฟเวอร์ฐานข้อมูลที่ทำงานด้วยหน่วยความจำไม่เพียงพอ ความจุของ ram เริ่มแสดงเวลาที่รอการเข้าถึงข้อมูล (I/O wait times) เพิ่มขึ้น อัตราการอ่านจากดิสก์สูงขึ้น และเหตุการณ์หมดเวลาในการประมวลผลคำสั่งค้นหา (query timeout) ซึ่งมักถูกวินิจฉัยผิดว่าเกิดจากปัญหา CPU หรือระบบจัดเก็บข้อมูล นอกจากนี้ งานฝึกโมเดล AI ที่ใช้หน่วยความจำเกินกว่าที่มีอยู่อาจสำเร็จลุล่วงได้ แต่ให้ประสิทธิภาพเพียงเศษเสี้ยวของอัตราที่คาดไว้ ส่งผลให้วัฏจักรการฝึกยืดเยื้อจากหลายชั่วโมงไปเป็นหลายวัน

ต้นทุนทางธุรกิจจากการจัดสรรหน่วยความจำไม่เพียงพอ ความจุของ ram ขยายออกไปไกลกว่าประเด็นด้านประสิทธิภาพเท่านั้น มันมักก่อให้เกิดการเปลี่ยนฮาร์ดแวร์ก่อนกำหนด การอัปเกรดฉุกเฉินที่มีราคาแพง และการสูญเสียประสิทธิภาพการทำงาน ดังนั้น การเข้าใจวิธีคำนวณปริมาณ ความจุของ ram หน่วยความจำ (RAM) ที่เหมาะสมตั้งแต่ต้น จึงไม่ใช่เพียงการปฏิบัติงานเชิงเทคนิคเท่านั้น แต่ยังเป็นกลยุทธ์การเพิ่มประสิทธิภาพด้านการเงินอีกด้วย

การคำนวณความจุ RAM สำหรับภาระงาน AI

ขนาดของโมเดลและความต้องการหน่วยความจำสำหรับพารามิเตอร์

การคำนวณพื้นฐานสำหรับปัญญาประดิษฐ์ ความจุของ ram เริ่มต้นจากการนับจำนวนพารามิเตอร์ของโมเดล แต่ละพารามิเตอร์ในเครือข่ายประสาทเทียมจำเป็นต้องจัดเก็บในรูปแบบความแม่นยำเชิงตัวเลขเฉพาะเจาะจง ในการใช้ความแม่นยำแบบจุดลอยตัวเต็ม 32 บิต (full 32-bit floating point precision) พารามิเตอร์แต่ละตัวจะใช้พื้นที่จัดเก็บ 4 ไบต์ ดังนั้น โมเดลที่มีพารามิเตอร์ 7,000 ล้านตัวจึงต้องใช้หน่วยความจำประมาณ 28 กิกะไบต์ เพื่อจัดเก็บค่า weight ของมันไว้ในหน่วยความจำเท่านั้น ในกรณีที่ใช้ความแม่นยำผสมแบบ 16 บิต (16-bit mixed precision) ปริมาณหน่วยความจำจะลดลงเหลือประมาณ 14 กิกะไบต์ แต่การลดลงของ ความจุของ ram ความต้องการหน่วยความจำไม่ได้สิ้นสุดเพียงเท่านี้

ระหว่างการฝึก (training) ระบบยังต้องจัดเก็บสถานะของตัวเพิ่มประสิทธิภาพ (optimizer states) ซึ่งในตัวเพิ่มประสิทธิภาพ Adam ที่นิยมใช้กันอย่างแพร่หลาย จะใช้พื้นที่เพิ่มเติมอีก 8 ไบต์ต่อพารามิเตอร์ สำหรับการประมาณค่าโมเมนต์อันดับหนึ่งและอันดับสอง (first and second moment estimates) ส่วนบัฟเฟอร์เกรเดียนต์ (gradient buffers) จะใช้พื้นที่เพิ่มอีก 4 ไบต์ต่อพารามิเตอร์ เมื่อใช้ความแม่นยำแบบ 32 บิต ซึ่งหมายความว่า ปริมาณ ความจุของ ram ที่จำเป็นจริงๆ สำหรับการฝึกโมเดลที่มีพารามิเตอร์ 7,000 ล้านตัวในโหมดความแม่นยำผสม จะอยู่ที่ประมาณ 80–100 กิกะไบต์ เพียงแค่สำหรับสถานะของโมเดล (model state) เท่านั้น โดยยังไม่รวมขนาดของชุดข้อมูลนำเข้า (input data batches) การคำนวณนี้จึงถือเป็นค่าพื้นฐานที่ใช้เป็นจุดเริ่มต้นสำหรับการวางแผนการใช้หน่วยความจำทั้งหมดในขั้นตอนต่อไป

ขนาดแบตช์ การเปิดใช้งาน และหน่วยความจำส่วนเกิน

นอกเหนือจากสถานะของโมเดลแล้ว ความจุของ ram ความต้องการจะเพิ่มขึ้นตามขนาดแบตช์ของการฝึกอบรมและหน่วยความจำสำหรับการเปิดใช้งาน เทนเซอร์การเปิดใช้งาน — ซึ่งคือผลลัพธ์ระหว่างที่ได้รับในแต่ละเลเยอร์ระหว่างการส่งผ่านไปข้างหน้า (forward pass) — จะต้องเก็บไว้ในหน่วยความจำจนกว่าการส่งผ่านย้อนกลับ (backward pass) จะเสร็จสิ้นในระหว่างกระบวนการย้อนกลับแบบเกรเดียนต์ (backpropagation) สำหรับเครือข่ายที่ลึกมาก เช่น สถาปัตยกรรมทรานส์ฟอร์เมอร์ หน่วยความจำสำหรับการเปิดใช้งานอาจเทียบเคียงหรือเกินหน่วยความจำสำหรับพารามิเตอร์ได้เมื่อใช้ขนาดแบตช์ที่ใหญ่ จึงถือเป็นปัจจัยสำคัญในการ ความจุของ ram การคำนวณ

สูตรเชิงปฏิบัติสำหรับประมาณการการฝึกอบรม ความจุของ ram เป็นไบต์ คือ: (จำนวนพารามิเตอร์ × จำนวนไบต์ต่อพารามิเตอร์ × ปัจจัยความแม่นยำ) + (ขนาดแบตช์ × ความยาวลำดับ × มิติที่ซ่อนอยู่ × จำนวนเลเยอร์ × จำนวนไบต์สำหรับการเปิดใช้งาน) + หน่วยความจำส่วนเกินของระบบ ส่วนประกอบหน่วยความจำส่วนเกินของระบบ ซึ่งรวมถึงหน่วยความจำของระบบปฏิบัติการ หน่วยความจำสำหรับการทำงานของเฟรมเวิร์ก บัฟเฟอร์ตัวโหลดข้อมูล และกระบวนการอื่นๆ ที่หลากหลาย มักเพิ่มเข้าไปอีก 10 ถึง 20 เปอร์เซ็นต์จากค่าที่คำนวณได้โดยตรง และไม่ควรละเลยอย่างเด็ดขาดเมื่อกำหนด ความจุของ ram .

ภาระงานการอนุมานและการโฮสต์หลายโมเดล

ภาระงานการอนุมานมีลักษณะที่แตกต่างออกไป ความจุของ ram เมื่อเปรียบเทียบกับการฝึกอบรม เนื่องจากไม่มีการคำนวณเกรเดียนต์ระหว่างการอนุมาน ดังนั้นปริมาณหน่วยความจำที่ใช้ต่อโมเดลจึงลดลงอย่างมาก อย่างไรก็ตาม สภาพแวดล้อม AI สำหรับการใช้งานจริงมักจะโฮสต์เวอร์ชันของโมเดลหลายเวอร์ชันพร้อมกัน เพื่อการทดสอบ A/B การส่งต่อแบบสำรอง (fallback routing) หรือการให้บริการหลายภารกิจ (multi-task serving) แต่ละอินสแตนซ์ของโมเดลที่ถูกโฮสต์จะใช้หน่วยความจำของตนเอง ความจุของ ram และเมื่อรวมปริมาณหน่วยความจำเหล่านี้เข้ากับคิวร้องขอแบบพร้อมกัน (concurrent request queue) และบัฟเฟอร์การแยกโทเค็น (tokenization buffers) ในการให้บริการโมเดลภาษาขนาดใหญ่ (large language model serving) ความต้องการหน่วยความจำรวมจะเพิ่มขึ้นอย่างรวดเร็ว

สำหรับแพลตฟอร์มการให้บริการการอนุมาน (inference serving platforms) แนวทางปฏิบัติทั่วไปคือการคำนวณความต้องการ ความจุของ ram rAM ต่อโมเดลแต่ละตัวแยกกัน จากนั้นจึงรวมผลรวมทั้งหมดและเพิ่มส่วนสำรอง (headroom buffer) อีก 30 ถึง 40 เปอร์เซ็นต์ เพื่อรองรับยอดการร้องขอแบบพร้อมกันที่เพิ่มขึ้นอย่างฉับพลัน วิธีนี้จะช่วยให้มั่นใจได้ว่าระบบจะไม่ถูกจำกัดด้วยหน่วยความจำในช่วงที่มีปริมาณการรับส่งข้อมูลสูง ซึ่งหากเกิดขึ้นจะทำให้เกิดการคิวร้องขอและเวลาแฝง (latency) เพิ่มขึ้นอย่างเห็นได้ชัดสำหรับผู้ใช้ปลายทาง

การคำนวณความจุ RAM สำหรับภาระงานฐานข้อมูล

การปรับขนาดพูลบัฟเฟอร์และการวิเคราะห์ชุดข้อมูลที่ใช้งานจริง

ฐานข้อมูล ความจุของ ram การคำนวณจะเน้นแนวคิดเรื่องชุดข้อมูลที่ใช้งานจริง (working set) — ซึ่งหมายถึงส่วนหนึ่งของฐานข้อมูลทั้งหมดที่มีการอ่านหรือเขียนอย่างกระตือรือร้นในช่วงเวลาที่เป็นตัวแทนของภาระงานจริง วัตถุประสงค์คือการจัดสรรทรัพยากรให้เพียงพอ ความจุของ ram เพื่อให้พูลบัฟเฟอร์ ซึ่งทำหน้าที่เก็บแคชของหน้าข้อมูลที่ถูกเรียกใช้งานบ่อย ๆ สามารถรองรับชุดข้อมูลที่ใช้งานจริงทั้งหมดได้โดยไม่ต้องปลดปล่อยหน้าข้อมูลออกมาก่อนเวลาที่เหมาะสม เมื่อพูลบัฟเฟอร์มีขนาดใหญ่พอที่จะบรรจุชุดข้อมูลที่ใช้งานจริงทั้งหมด อัตราการพบข้อมูลในแคช (cache hit ratio) จะสูงถึงร้อยละ 99 หรือมากกว่า และการเข้าถึงดิสก์ (disk I/O) สำหรับการอ่านข้อมูลจะลดลงใกล้เคียงศูนย์

การคำนวณชุดข้อมูลที่ใช้งานจริงจำเป็นต้องอาศัยการวิเคราะห์ลักษณะภาระงาน (workload profiling) ผู้ดูแลระบบฐานข้อมูลควรวัดรูปแบบการเข้าถึงข้อมูลที่ใช้งานจริงในช่วงเวลาที่เป็นตัวแทน — โดยทั่วไปคือหนึ่งรอบธุรกิจเต็มรูปแบบ — และระบุปริมาตรของหน้าข้อมูลที่ถูกเข้าถึงบ่อยอย่างมีนัยสำคัญ ชุดหน้าข้อมูลที่ใช้งานจริงนี้ เมื่อนำมาคูณด้วยขนาดของแต่ละหน้าข้อมูล (page size) ที่ใช้ในระบบฐานข้อมูล จะให้ค่าพื้นฐาน ความจุของ ram ความต้องการสำหรับบัฟเฟอร์พูล การเพิ่มพื้นที่สำหรับหน้าดัชนี ตารางชั่วคราว บัฟเฟอร์จัดเรียง และการจัดสรรหน่วยความจำระดับการเชื่อมต่อ จะทำให้ได้ปริมาณหน่วยความจำรวมทั้งหมดที่ฐานข้อมูลต้องการ ความจุของ ram requirement.

รูปแบบการใช้หน่วยความจำของ OLTP เทียบกับ OLAP

การประมวลผลธุรกรรมออนไลน์ (OLTP) และการประมวลผลวิเคราะห์ออนไลน์ (OLAP) มีลักษณะการใช้งานที่แตกต่างกันโดยสิ้นเชิง ความจุของ ram ซึ่งต้องคำนวณแยกต่างหาก งานโหลดแบบ OLTP มีลักษณะเด่นคือการใช้งานพร้อมกันจำนวนมากและคำสั่งสอบถามที่มีขนาดเล็กและเจาะจง ซึ่งเข้าถึงแถวจำนวนน้อยในตารางขนาดใหญ่ ความต้องการหน่วยความจำต่อคำสั่งสอบถามจึงค่อนข้างต่ำ แต่เมื่อรวมกันแล้ว ความจุของ ram จะต้องใช้หน่วยความจำจำนวนมากเพื่อรองรับเซสชันพร้อมกันหลายร้อยหรือหลายพันเซสชัน — แต่ละเซสชันมีบัฟเฟอร์การเชื่อมต่อ พื้นที่จัดเรียง และแคชแผนการดำเนินการของตนเอง — ซึ่งเมื่อรวมกันแล้วจะมีค่าสูงมาก

งานโหลดแบบ OLAP เกี่ยวข้องกับคำสั่งสอบถามเชิงวิเคราะห์ที่ซับซ้อน ซึ่งดำเนินการสแกนลำดับแบบเต็มขนาดใหญ่ การจับคู่ข้อมูล (joins) ข้ามตารางขนาดใหญ่หลายตาราง และการรวมผล (aggregations) บนแถวจำนวนหลายล้านแถว คำสั่งสอบถามเหล่านี้จึงต้องการหน่วยความจำอย่างมาก ความจุของ ram สำหรับชุดผลลัพธ์ชั่วคราวและการดำเนินการ hash join ฐานข้อมูลที่ทำงานในหน่วยความจำซึ่งออกแบบมาสำหรับ OLAP อาจต้องการให้ชุดข้อมูลทั้งหมดสามารถจัดเก็บได้ภายใน ความจุของ ram เพื่อให้บรรลุประสิทธิภาพการประมวลผลคำสั่งค้นหาตามที่ระบุไว้ ดังนั้นการประมาณขนาดข้อมูลอย่างแม่นยำจึงเป็นจุดเริ่มต้นของการคำนวณความสามารถในการรองรับระบบ

การคาดการณ์การเติบโตและพื้นที่ว่างของหน่วยความจำ

มิติที่สำคัญและมักถูกมองข้ามบ่อยครั้งของ ความจุของ ram การวางแผนฐานข้อมูลคือ พื้นที่ว่างสำหรับการเติบโต ฐานข้อมูลจะขยายตัวตามการเติบโตของกิจกรรมทางธุรกิจ และข้อกำหนดด้านหน่วยความจำที่เหมาะสมพอดีกับชุดข้อมูลที่ใช้งานจริงในปัจจุบัน อาจกลายเป็นคอขวดภายในระยะเวลา 18 ถึง 24 เดือน แนวทางปฏิบัติที่ดีที่สุดในอุตสาหกรรมแนะนำให้คำนวณความต้องการหน่วยความจำปัจจุบัน ความจุของ ram แล้วนำไปคูณด้วยอัตราส่วนการเติบโตที่สอดคล้องกับการเพิ่มขึ้นของปริมาณข้อมูลที่คาดการณ์ไว้ โดยทั่วไปอยู่ระหว่าง 1.5 เท่า ถึง 2 เท่า ภายในกรอบเวลาการวางแผนสามปี

เซิร์ฟเวอร์ที่รองรับจำนวนช่องเสียบ DIMM ได้สูงมีความสำคัญอย่างยิ่งในบริบทนี้ เพราะช่วยให้สามารถ ความจุของ ram จะถูกขยายขีดความสามารถอย่างค่อยเป็นค่อยไปตามความต้องการที่เพิ่มขึ้น แทนที่จะต้องเปลี่ยนเซิร์ฟเวอร์ทั้งตัว ความจุของ ram -การออกแบบเซิร์ฟเวอร์แบบสี่ซ็อกเก็ตที่เน้นการใช้ทรัพยากรให้สูงสุด พร้อมช่องเสียบหน่วยความจำ (DIMM) จำนวน 96 ช่อง มอบความสามารถในการปรับขนาดหน่วยความจำทางกายภาพที่จำเป็น เพื่อเตรียมความพร้อมให้กับสภาพแวดล้อมองค์กรที่มีความต้องการสูงในอนาคต

ขั้นตอนปฏิบัติเพื่อยืนยันผลการคำนวณความจุ RAM ของคุณ

การทดสอบประสิทธิภาพ (Benchmarking) และการวิเคราะห์ลักษณะการใช้งาน (Profiling) ก่อนการจัดซื้อ

ความต้องการด้าน ความจุของ ram ให้ข้อมูลพื้นฐานเบื้องต้น แต่การตรวจสอบด้วยหลักฐานเชิงประจักษ์นั้นจำเป็นอย่างยิ่งก่อนตัดสินใจจัดซื้อฮาร์ดแวร์ หากเป็นไปได้ ควรดำเนินงานตัวอย่างจริงบนสภาพแวดล้อมการทดสอบที่มีเครื่องมือติดตามการใช้หน่วยความจำ เพื่อให้ได้ข้อมูลตรงเกี่ยวกับการใช้หน่วยความจำจริง เครื่องมือต่าง ๆ เช่น โปรแกรมวิเคราะห์การใช้หน่วยความจำสำหรับเฟรมเวิร์กปัญญาประดิษฐ์ (AI) และแดชบอร์ดติดตามประสิทธิภาพฐานข้อมูล สามารถเปิดเผยค่าสูงสุด ความจุของ ram การใช้งาน รูปแบบการจัดสรรหน่วยความจำ และความถี่ของเหตุการณ์ที่เกิดแรงกดดันต่อหน่วยความจำ เช่น กิจกรรมการสลับข้อมูล (swap activity) หรือการกำจัดข้อมูลออกจากบัฟเฟอร์พูล (buffer pool evictions)

หากไม่มีสภาพแวดล้อมสำหรับการทดสอบแบบเต็มรูปแบบ คุณสามารถใช้การประเมินประสิทธิภาพที่ผู้จำหน่ายจัดให้ (vendor-supplied benchmarks) และงานวิจัยเชิงลักษณะภาระงาน (workload characterization studies) ที่เผยแพร่สู่สาธารณะสำหรับชุดข้อมูลและสถาปัตยกรรมโมเดลที่คล้ายคลึงกัน มาเสริมการคำนวณเชิงทฤษฎีได้ ประเด็นสำคัญคือ ห้ามพึ่งพาตัวเลขที่คำนวณได้เพียงอย่างเดียวเมื่อ ความจุของ ram การตัดสินใจเกี่ยวข้องกับการลงทุนขนาดใหญ่ เนื่องจากการใช้หน่วยความจำในโลกแห่งความเป็นจริงมักสูงกว่าค่าต่ำสุดเชิงทฤษฎี เนื่องจากปัญหาการแบ่งส่วนหน่วยความจำ (fragmentation) ภาระงานขณะรันไทม์ (runtime overhead) และความต้องการของกระบวนการที่ทำงานพร้อมกัน

การกำหนดขอบเขตความปลอดภัยที่เหมาะสม

เมื่อกำหนดค่าพื้นฐานแล้ว ความจุของ ram ค่าที่ระบุนี้ได้มาจากการคำนวณและตรวจสอบความถูกต้อง ดังนั้นจึงจำเป็นต้องเพิ่มขอบเขตความปลอดภัย (safety margin) ก่อนการกำหนดข้อกำหนดสุดท้าย สำหรับงานโหลดการฝึกอบรม AI แนะนำให้เพิ่มพื้นที่สำรอง (overhead buffer) อย่างน้อยร้อยละ 20 เหนือค่าการใช้งานสูงสุดที่คำนวณได้ เพื่อรองรับภาวะหน่วยความจำล้น (out-of-memory spikes) ที่อาจเกิดขึ้นระหว่างการทดลองขนาดชุดข้อมูลแบบไดนามิก (dynamic batch size exploration) และการทดลองโครงสร้างโมเดล (model architecture experimentation) สำหรับสภาพแวดล้อมฐานข้อมูล ขอบเขตความปลอดภัยร้อยละ 25 ถึง 30 เหนือชุดข้อมูลที่ใช้งานจริง (working set) บวกกับภาระงานปฏิบัติการ (operational overhead) จะให้การป้องกันที่เพียงพอต่อความซับซ้อนของคำสั่งสอบถามที่ไม่คาดคิด และการเพิ่มขึ้นอย่างฉับพลันของจำนวนเซสชันพร้อมกัน

สุดท้าย ความจุของ ram ข้อกำหนดควรปัดขึ้น (rounded up) ให้สอดคล้องกับตัวเลือกการกำหนดค่า DIMM ที่รองรับโดยแพลตฟอร์มเซิร์ฟเวอร์เป้าหมาย เซิร์ฟเวอร์ระดับองค์กรส่วนใหญ่รองรับหน่วยความจำในรูปแบบการกำหนดค่าที่สมดุลตามช่องทาง (channel-balanced configurations) โดยเฉพาะ และการเลือก ความจุของ ram ซึ่งเพิ่มการใช้ประโยชน์จากช่องทางให้สูงสุดก็จะเพิ่มแบนด์วิดท์หน่วยความจำให้สูงสุดเช่นกัน — ปัจจัยด้านประสิทธิภาพรองที่มีความสำคัญอย่างยิ่งทั้งในงานประมวลผลปัญญาประดิษฐ์ (AI) และฐานข้อมูล โดยแบนด์วิดท์หน่วยความจำอาจกลายเป็นคอขวดได้แม้โดยไม่ขึ้นกับความจุรวมทั้งหมด

คำถามที่พบบ่อย

ฉันจะประมาณความจุแรมสำหรับโมเดลภาษาขนาดใหญ่ที่รันบนระบบภายในองค์กรได้อย่างไร

เริ่มต้นด้วยการนำจำนวนพารามิเตอร์ของโมเดลมาคูณด้วยจำนวนไบต์ต่อพารามิเตอร์ตามความแม่นยำเชิงตัวเลขที่เลือกใช้ — คือ 4 ไบต์สำหรับ FP32, 2 ไบต์สำหรับ FP16 หรือ BF16 จากนั้นเพิ่มหน่วยความจำสำหรับสถานะของตัวเพิ่มประสิทธิภาพ (optimizer states) หากมีการฝึกโมเดล หรือข้ามขั้นตอนนี้ไปหากใช้งานเฉพาะการอนุมาน (inference-only deployments) นำผลลัพธ์ที่ได้มาคูณด้วย 1.5 ถึง 2 เท่า เพื่อรองรับบัฟเฟอร์การกระตุ้น (activation buffers), ภาระงานของระบบ (system overhead), และเวลาทำงานของเฟรมเวิร์ก (framework runtime) แล้วจึงเพิ่มส่วนสำรอง (headroom buffer) อีก 20 ถึง 30 เปอร์เซ็นต์ ความจุของ ram เพื่อให้ได้ข้อกำหนดที่ปลอดภัยสำหรับการใช้งานจริง

ความสัมพันธ์ระหว่างความจุแรมกับอัตราการพบข้อมูลในแคชของฐานข้อมูลคืออะไร

อัตราการพบข้อมูลในแคช (Cache hit ratio) วัดสัดส่วนของคำขออ่านฐานข้อมูลที่สามารถให้บริการได้จากหน่วยความจำแทนที่จะเป็นจากดิสก์ ความจุของ ram เพิ่มขึ้น ชุดข้อมูลที่ใช้งานจริง (active working set) จะสามารถจุลงในบัฟเฟอร์พูลได้มากขึ้น และอัตราการพบข้อมูลในแคช (cache hit ratio) ก็จะสูงขึ้น หลังจากที่ชุดข้อมูลที่ใช้งานจริงทั้งหมดอยู่ในหน่วยความจำแล้ว อัตราการพบข้อมูลในแคชจะคงตัวใกล้ระดับ 100 เปอร์เซ็นต์ และการเพิ่มหน่วยความจำเพิ่มเติม ความจุของ ram จะให้ผลตอบแทนจากการอ่านลดลงเรื่อยๆ เป้าหมายของการวางแผนหน่วยความจำสำหรับฐานข้อมูลคือการระบุขนาดหน่วยความจำขั้นต่ำ ความจุของ ram ที่ซึ่งอัตราการพบข้อมูลในแคชจะถึงระดับคงตัวนี้ ภายใต้ภาระงานเฉพาะของคุณ

ฉันสามารถใช้วิธีการคำนวณความจุแรม (RAM) เดียวกันกับภาระงานแบบ OLTP และ OLAP ได้หรือไม่

กรอบแนวคิดโดยรวมนั้นคล้ายกัน — คือ คำนวณขนาดชุดข้อมูลที่ใช้งานจริง (working set size) เพิ่มบัฟเฟอร์สำหรับการปฏิบัติงาน และนำตัวคูณสำหรับการเติบโตมาใช้ — แต่ตัวแปรเฉพาะนั้นมีความแตกต่างกันอย่างมาก การคำนวณสำหรับ OLTP ต้องพิจารณาการจัดสรรหน่วยความจำต่อการเชื่อมต่อ (per-connection memory allocations) และแผนแคช (plan cache) ขณะที่การคำนวณสำหรับ OLAP ต้องพิจารณาชุดผลลัพธ์ชั่วคราวขนาดใหญ่ (large temporary result sets) และหน่วยความจำสำหรับการเรียงลำดับ (sort memory) หากเซิร์ฟเวอร์เครื่องเดียวกันรองรับทั้งสองประเภทของภาระงาน ให้คำนวณ ความจุของ ram ความต้องการหน่วยความจำสำหรับแต่ละประเภทอย่างเป็นอิสระ แล้วนำผลลัพธ์มารวมกัน แทนที่จะสมมุติว่าการคำนวณแบบใดแบบหนึ่งสามารถครอบคลุมทั้งสองสถานการณ์ได้

ฉันต้องการสล็อต DIMM กี่ช่องเพื่อรองรับความจุ RAM สูงในเซิร์ฟเวอร์ระดับองค์กร?

จำนวนสล็อต DIMM กำหนดทั้งความจุสูงสุดที่สามารถบรรลุได้ ความจุของ ram และแบนด์วิดท์หน่วยความจำที่มีให้ผ่านการเข้าถึงแบบขนานหลายช่องทาง เซิร์ฟเวอร์ที่มีสล็อต DIMM 48 ช่องหรือน้อยกว่าอาจมีขีดจำกัดสูงสุดอยู่ที่ 3–6 TB ของ ความจุของ ram หน่วยความจำ โดยใช้เทคโนโลยี DIMM ปัจจุบัน ซึ่งอาจไม่เพียงพอสำหรับเวิร์กโหลด AI และฐานข้อมูลแบบ in-memory ที่ต้องการทรัพยากรสูงที่สุด แพลตฟอร์มเซิร์ฟเวอร์ระดับองค์กรแบบสี่ซ็อกเก็ต (four-socket) ที่มีสล็อต DIMM จำนวน 96 ช่อง ให้ความสามารถในการขยายหน่วยความจำรวมและแบนด์วิดท์หน่วยความจำได้มากกว่าอย่างมีนัยสำคัญ ความจุของ ram ทำให้เหมาะอย่างยิ่งสำหรับองค์กรที่ต้องการเพิ่มความจุหน่วยความจำอย่างรวดเร็วควบคู่ไปกับขนาดโมเดล AI ที่เติบโตขึ้นเรื่อย ๆ และชุดข้อมูลการทำงาน (working sets) ของฐานข้อมูล