SLM

معرفی مدل‌های اپن‌سورس Gemma توسط Google DeepMind

/%D9%85%D8%B9%D8%B1%D9%81%DB%8C-%D9%85%D8%AF%D9%84-%D9%87%D8%A7%DB%8C-%D8%A7%D9%BE%D9%86-%D8%B3%D9%88%D8%B1%D8%B3-gemma-%D8%AA%D9%88%D8%B3%D8%B7-google-deepmind

گوگل DeepMind مجموعه‌از مدل‌های سبک را با نام Gemma به صورت اپن‌سورس منتشر کرد. طبق گفته DeepMind این مدل با استفاده از تکنولوژی و نتایج تحقیقاتی جمینای (Gemini) توسعه داده شده است. در حال حاضر دو نسخه از این مدل زبانی کوچک (SLM) با سایزهای 2B و 7B منتشر شده است. هر سایز نیز در نسخه‌های Instruction Tuned (IT) و (PT) Pre Trained موجود است. طبق نتایج منتشر شده نسخه 7B در بنچ‌مارک‌های مختلف عملکرد بهتری از نسخه‌های 7B و 13B مدل Llama2 داشته است. مدل‌های Gemma را می‌توان در کامپیوتر شخصی به صورت لوکال اجرا کرده و مشکلی بابت منابع پردازشی نداشت.

مایکروسافت مدل Phi2 را معرفی کرد.

/%D9%85%D8%A7%DB%8C%DA%A9%D8%B1%D9%88%D8%B3%D8%A7%D9%81%D8%AA-%D9%85%D8%AF%D9%84-phi2-%D8%B1%D8%A7-%D9%85%D8%B9%D8%B1%D9%81%DB%8C-%DA%A9%D8%B1%D8%AF

با داغ شدن مسابقه مدل‌های بزرگ زبانی (LLM) شاهد معرفی مدل‌های کوچک زبانی (SLM) نیز هستیم. در حال حاضر LLMها از چند ده میلیارد، تا چند میلیارد و حتی چند تریلیون پارامتر دارند. هر چقدر تعداد پارامترهای یک مدل بیشتر باشد، پروسه آموزش آن زمان‌بر و هزینه‌بر شده و در نهایت خروجی آن نیز سایز زیادی خواهد داشت. اجرای مدل‌های بزرگ زبانی نیازمند منابع پردازشی زیاد است. از این‌رو، برای فراهم کردن قابلیت‌های مدل‌های زبانی برای پلتفرم‌های مختلف شاهد توسعه و معرفی مدل‌های کوچک زبانی یا SLMها هستیم. کاهش سایز مدل زبانی و در عین حال افزایش کیفیت آن از ترندهای موجود در حوزه هوش‌مصنوعی مولد است. مدل Phi یکی از این SLMها بوده که توسط مایکروسافت منتشر شده است. نسخه Phi2 که به تازگی منتشر شده در مقایسه با نمونه‌های مشابه نتایج درخور توجهی داشته است.