اخبار تکنولوژی

ابر کامپیوتر Frontier مدلی شبیه GPT-4 با 1 تریلیون پارامتر را آموزش داد

Frontier_20
Frontier_3

ابر کامپیوتر Frontier مدلی شبیه GPT-4

ابرکامپیوتر فرانتیر (Frontier) مجهز به پردازنده‌ های AMD با پردازشگر های گرافیکی Instinct MI250X برای آموزش یک تریلیون پارامتر در یک مدل زبانی بزرگ (LLM) استفاده شده و راندمان بسیار بالایی در این زمینه داشته است.
Frontier قدرتمند ترین ابرکامپیوتر جهان و تنها دستگاه با قدرت رایانش اگزامقیاس است. این دستگاه از پردازنده‌ های سری Epyc و پردازشگر های گرافیکی سری Instinct شرکت AMD بهره می‌برد که با کمک آن‌ها عملکردهای با پردازش بالا را بهتر انجام می‌دهد و همچنین به‌عنوان دومین ابرکامپیوتر کارآمد روی کره زمین شناخته می‌شود. حالا براساس گزارش جدیدی، ابررایانه Frontier ظاهراً به قابلیت آموزش یک تریلیون پارامتر از طریق رویکرد «تنظیم ابرپارامترها» دست یافته است که معیار جدیدی در صنعت خود به حساب می‌آید.
نکته قابل‌ توجه دیگر اینکه فرانتیر در آزمایش‌ های خود فقط از 3000 شتاب‌ دهنده هوش مصنوعی MI250X بهره برده است، در حالی که مجموعاً دارای 37 هزار شتاب‌ دهنده است.
رکورد جدید فرانتیر با استراتژی‌ های مؤثری که برای آموزش مدل‌ های زبان بزرگ (LLM) به‌ کار‌گرفته‌ شده و همچنین استفاده از سخت‌ افزار داخلی به‌ بهترین نحو ممکن به‌ دست‌ آمده است. این تیم در آزمایش‌ های خود با استفاده از 22 میلیارد، 175 میلیارد و 1 تریلیون پارامتر به نتایج قابل‌ توجهی دست یافته است.
آینده امیدوار کننده‌ای برای سرورها و بخش مرکز داده در انتظار است و نکته مهم دیگری که باید به آن توجه داشته باشیم این است که فرانتیر از سخت‌ افزاری استفاده می‌کند که نسبتاً جدید نیست. با پیشرفت مداوم در بخش هوش مصنوعی مولد، بدیهی است که بازارها به قدرت محاسباتی بیشتری نیاز دارند و به‌ همین دلیل است که پیشرفت‌ های سخت‌ افزاری طراحی‌شده برای این بخش، برای پیشرفت به نسل بعدی مهم هستند.

محققان در پژوهش خود می‌نویسند: «برای 22 میلیارد، 175 میلیارد و 1 تریلیون پارامتر، ما به‌ترتیب به 38.38 درصد، 36.14 درصد و 31.96 درصد از توان عملیاتی GPU دست یافته‌ایم. برای آموزش با 175 میلیارد و 1 تریلیون پارامتر نیز به‌ ترتیب 1024 و 3072 پردازنده MI250X استفاده شده و راندمان مقیاس‌ پذیری ضعیف را به 100 درصد رسانده‌ایم. همچنین برای این دو مدل به راندمان مقیاس پذیری قوی 89 و 87 درصد دست یافتیم.»

راهنمای خرید بهترین ساعت هوشمند تا 3 میلیون تومان-بنر
دنیای گجت‌ها در سال‌های اخیر با سرعت شگفت‌انگیزی پیشرفت کرده است. در این میان، ساعت‌های هوشمند به عنوان یکی از محبوب‌ترین و پرطرفدارتری...
راهنمای خرید ساعت هوشمند تا 2 میلیون_بنر
در دنیای امروز، ساعت‌های هوشمند فراتر از یک وسیله برای نشان دادن زمان هستند. این گجت‌های پوشیدنی کاربردهای متنوعی دارند و حتی می‌توانند...
راهنمای-خرید-ساعت-هوشمند_اصلی
‌راهنمای خرید ساعت‌هوشمند; نکات مهم هنگام خرید اسمارت‌واچ با پیشرفت تکنولوژی و حضور فناوری در زندگی روزمره، کم کم صنعت پوشاک و مد نیز ...
افزایش سرعت کامپیوتر_15
سرعت کامپیوتر خود را افزایش دهید اگر کامپیوتر شما دائماً هنگ می کند، یا احساس می کنید که از یک مرورگر نت اسکیپ دهه 90 برای گشت و گذار ...
کامپیوتر-خانگی_بنر5
چگونه یک کامپیوتر خانگی بسازیم هدف ما از این وبلاگ این است که زمینه مورد نیاز برای انتخاب هر جزء از قطعات را در اختیار شما قرار دهیم. ...
Western-Digital-vs-Seagate-60
وسترن دیجیتال در مقابل سیگیت بیشتر شما نام سیگیت و وسترن دیجیتال را شنیده اید، اما واقعاً چقدر در مورد آنها می دانید؟ این دو شرکت از ه...
Western-Digital-vs-Seagate-70
نکاتی مهم که قبل از خرید کارت گرافیک باید بدانید در چشم انداز دیجیتال امروزی، اهمیت انتخاب کارت گرافیک مناسب را نمی توان نادیده گرفت. ...

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *