گوگل DeepMind مجموعه‌از مدل‌های سبک را با نام Gemma به صورت اپن‌سورس منتشر کرد. Gemma در زبان لاتین به معنای سنگ باارزش (Precious Stone) است! طبق گفته DeepMind این مدل با استفاده از تکنولوژی و نتایج تحقیقاتی جمینای (Gemini) توسعه داده شده است. در حال حاضر دو نسخه از این مدل زبانی کوچک (SLM) با سایزهای 2B و 7B منتشر شده است. هر سایز نیز در نسخه‌های Instruction Tuned (IT) و (PT) Pre Trained موجود است. همانطور که در نمودار زیر دیده می‌شود نسخه 7B در بنچ‌مارک‌های مختلف عملکرد بهتری از نسخه‌های 7B و 13B مدل Llama2 داشته است. مدل‌های Gemma را می‌توان در کامپیوتر شخصی به صورت لوکال اجرا کرده و مشکلی بابت منابع پردازشی نداشت.

مقایسه Gemma و Llama

طبق نتایج منتشر شده Gemma 7B در بنچ‌مارک‌های مربوط به برنامه‌نویسی و ریاضی از از مدل‌های مشابه خود (Llama و Mistral) بهتر عمل کرده است.

مقایسه Gemma با مدل‌های مشابه

این مدل‌ها در پلتفرم‌های مختلفی نظیر Google Colab، HuggingFace و Kaggle در دسترس قرار گرفته‌اند (برای دسترسی به آن اینجا را نگاه کنید).

گوگل DeepMind علاوه بر انتشار این مدل‌ها جعبه ابزاری به نام Responsible Generative AI Toolkit را برای توسعه ایمن مدل‌های هوش‌مصنوعی مولد ارائه کرده است. در حال حاضر این جعبه ابزار تنها برای مدل‌های text-to-text در زبان انگلیسی قابل استفاده است. برای استفاده از این جعبه ابزار ابتدا باید مجموعه‌ای از سیاست‌ها برای حفظ ایمنی مدل را تعریف کرد. هدف از تعریف این سیاست‌ها جلوگیری از تولید اطلاعات بایاس، جنسیتی، جعلی و آسیب‌زننده است. سپس با فراهم کردن دیتاست مناسب باید مدل را با یکی از روش‌های Supervised fine-tuning (SFT) یا Reinforcement learning from human preferences (RLHF) دوباره آموزش داد (به این کار fine tune کردن می‌گویند). همانطور که در شکل زیر مشخص شده است، این جعبه ابزار مکانیزم‌های کنترلی در ورودی و خروجی مدل را نیز فراهم می‌کند. این مکانیزم‌های کنترلی در ورودی در واقع تمپلیت‌هایی هستند که با اضافه کردن جزئیات بیشتر به Prompt (ورودی کاربر) رفتار آن را کنترل می‌کنند. مکانیزم‌های کنترلی در سمت خروجی علاوه بر بررسی کیفیت خروجی مدل از ورود فیدبک نامناسب به سیستم جلوگیری می‌کنند. 

Responsible Generative AI Toolkit

  • برای مطالعه جزئیات فنی درباره Gemma اینجا را بخوانید. 
  • برای مطالعه جزئیات فنی درباره Responsible Generative AI Toolkit اینجا را بخوانید. 

اگر مایل به دریافت این خبرنامه در پست‌الکترونیک خود هستید از اینجا ثبت‌نام کنید. این خبرنامه هر دو هفته به پست الکترونیک شما ارسال خواهد شد. همچنین می‌توانید با عضو شدن در کانال تلگرام این خبرنامه، در سریع‌ترین زمان در جریان مقالات جدید قرار بگیرید.