کلون متن باز جدید ChatGPT – به نام دالی

چت متن باز GPT با انتشار مدل زبان بزرگ Dolly (DLL) ایجاد شده توسط شرکت نرم افزاری سازمانی Databricks، گام دیگری به جلو برداشت.

کلون جدید ChatGPT Dolly نام دارد که به نام گوسفند معروف به این نام، اولین پستاندار شبیه سازی شده، نامگذاری شده است.

مدل های زبان بزرگ منبع باز

دالی LLM جدیدترین تجلی جنبش رو به رشد هوش مصنوعی منبع باز است که به دنبال ارائه دسترسی بیشتر به این فناوری است تا در انحصار و کنترل شرکت های بزرگ قرار نگیرد.

یکی از نگرانی‌هایی که باعث جنبش AI منبع باز می‌شود این است که کسب‌وکارها ممکن است تمایلی به تحویل داده‌های حساس به شخص ثالثی که فناوری هوش مصنوعی را کنترل می‌کند، نداشته باشند.

بر اساس منبع باز

Dolly از یک مدل منبع باز ایجاد شده توسط موسسه تحقیقاتی غیرانتفاعی EleutherAI و دانشگاه استنفورد مدل آلپاکا که خود از 65 میلیارد پارامتر منبع باز مدل LLaMA ایجاد شده توسط متا.

LLaMA که مخفف Large Language Model Meta AI است، یک مدل زبانی است که بر روی داده‌های در دسترس عموم آموزش داده شده است.

طبق مقاله ای از Weights & Biases، LLaMA علیرغم کوچکتر بودن می تواند از بسیاری از مدل های زبان برتر (OpenAI GPT-3، Gopher توسط Deep Mind و Chinchilla توسط DeepMind) بهتر عمل کند.

ایجاد مجموعه داده بهتر

یک الهام دیگر از یک مقاله تحقیقاتی آکادمیک (SELF-INSTRUCT: Aligning Model Language with Self Genered Instructions PDF) که روشی را برای ایجاد یک داده آموزشی پرسش و پاسخ با کیفیت بالا که بهتر از داده‌های عمومی محدود است را مشخص می‌کند.

مقاله تحقیقاتی Self-Instruct توضیح می‌دهد:

“…ما مجموعه‌ای از دستورالعمل‌های نوشته شده توسط متخصص را برای کارهای جدید تنظیم می‌کنیم، و از طریق ارزیابی انسانی نشان می‌دهیم که تنظیم GPT3 با SELF-INSTRUCT با استفاده از مجموعه داده‌های دستورالعمل عمومی موجود با فاصله زیادی بهتر عمل می‌کند. تنها یک شکاف مطلق 5٪ از InstructGPT…

…با استفاده از روش ما برای وانیلی GPT3، ما نسبت به مدل اصلی در SUPERNATURALINSTRUCTIONS 33% بهبود مطلق را نشان می دهیم، همتراز با عملکرد InstructGPT… که با داده های کاربر خصوصی و حاشیه نویسی های انسانی آموزش داده شده است.”

اهمیت Dolly در این است که نشان می‌دهد یک مدل زبان بزرگ و مفید را می‌توان با مجموعه داده‌ای کوچکتر اما با کیفیت بالا ایجاد کرد.

Databricks مشاهده می کند:

“دالی با گرفتن یک مدل منبع باز 6 میلیارد پارامتری از EleutherAI و تغییر آن تا حد کمی برای استخراج دستورالعمل‌هایی مانند طوفان فکری و تولید متن که در مدل اصلی وجود ندارد، کار می‌کند. با استفاده از داده های آلپاکا.

…ما نشان می‌دهیم که هر کسی می‌تواند یک مدل زبان بزرگ منبع باز قدیمی (LLM) را تهیه کند و با آموزش آن در 30 دقیقه روی یک دستگاه، با استفاده از آموزش با کیفیت بالا، دستورالعمل‌های جادویی مانند ChatGPT را به آن ارائه دهد. داده ها.

در کمال تعجب، به نظر نمی‌رسد که پیروی از دستورالعمل‌ها به جدیدترین یا بزرگترین مدل‌ها نیاز داشته باشد: مدل ما تنها 6 میلیارد پارامتر دارد، در مقایسه با 175 میلیارد برای GPT-3.»

AI منبع باز Databricks

گفته می شود دالی هوش مصنوعی را دموکراتیک می کند. این بخشی از یک جنبش لباس مجلسی است که اخیراً توسط سازمان غیرانتفاعی موزیلا با تأسیس Mozilla.ai به آن ملحق شده است. موزیلا ناشر مرورگر فایرفاکس و سایر نرم افزارهای منبع باز است.

اطلاعیه کامل Databricks را بخوانید:

سلام دالی: دموکراتیک کردن جادوی ChatGPT با مدل‌های باز