یک مقاله پژوهشی جدید از اپل روشی را معرفی کرده که می تواند سرعت پاسخ دهی مدل های زبانی بزرگ را چند برابر کند، بدون این که کیفیت خروجی کاهش یابد. این روش به ویژه در کارهایی مانند ریاضی و برنامه نویسی، سرعت را تا ۵ برابر افزایش داده است.
چالش روش های سنتی در مدل های زبانی
به طور معمول، مدل های زبانی بزرگ (LLM) متن را توکن به توکن تولید می کنند. این روند کند است، زیرا هر مرحله باید به تمام توکن های قبلی وابسته باشد تا خروجی منسجم و دقیق باقی بماند.
برای مثال، اگر مدل بخواهد جمله «The cat is black» را بنویسد، پس از نوشتن «The cat is» تمام متن قبلی، درخواست کاربر و الگوهای آموخته شده را بررسی می کند تا محتمل ترین کلمه بعدی را انتخاب کند. این فرایند که «خودبازگشتی» یا autoregression نام دارد، باعث می شود انتخاب هر توکن زمان بر باشد.
رویکرد جدید اپل
تیم تحقیقاتی اپل در مطالعه ای با عنوان «مدل زبانی شما آینده را می داند: کشف پتانسیل پیش بینی چند توکن» دریافت که حتی اگر این مدل ها به طور معمول برای پیش بینی تنها توکن بعدی آموزش داده شده باشند، همچنان اطلاعات مفیدی درباره چند توکن آینده در خود دارند.
بر این اساس، اپل چارچوبی به نام «پیش بینی چند توکن» (Multi-Token Prediction یا MTP) توسعه داد که به مدل اجازه می دهد چندین توکن را به صورت همزمان تولید کند.
چگونگی کار روش جدید
در این روش، پژوهشگران توکن های ویژه ای به نام «ماسک» در ورودی مدل قرار دادند که در واقع جایگزین کلمات آینده هستند.
به عنوان مثال، جمله «The cat is » می تواند در یک مرحله به «very fluffy» تبدیل شود. مدل هنگام نوشتن، چند کلمه بعدی را به صورت همزمان حدس می زند و هر کلمه بلافاصله با آنچه روش خودبازگشتی استاندارد تولید می کند، مقایسه می شود. اگر حدس با نتیجه مورد انتظار تطابق نداشته باشد، مدل به حالت عادی و پیش بینی یک به یک بازمی گردد. این کار سرعت را افزایش می دهد، بدون آن که دقت فدای سرعت شود.
نتایج آزمایش
اپل این روش را روی مدل متن باز Tulu3-8B آزمایش کرد و آن را طوری آموزش داد که به صورت آزمایشی ۸ توکن آینده را پیش بینی کند.
نتایج نشان داد که این روش در وظایف عمومی مانند پرسش و پاسخ یا مکالمه، به طور میانگین سرعت را ۲ تا ۳ برابر افزایش داده و در حوزه های قابل پیش بینی تر مانند کدنویسی و ریاضیات، تا ۵ برابر سریع تر عمل کرده است.
محققان اعلام کردند که این پیشرفت ها با «هیچ افت کیفیتی» همراه نبوده و این موضوع به لطف روشی ساده اما موثر به نام Gated LoRA Adaptation محقق شده است.
