در حال حاضر دو مدل جمینای 3 و گروک 4.1 در بالای جدول ال ام ارنا قرار گرفته اند. ال ام ارنا یک جدول عمومی است که مدل های هوش مصنوعی را بر اساس مبارزه های واقعی بین کاربران رتبه بندی می کند. این سیستم توسط تیم ال ام سیس ساخته شده همان تیمی که چت بات ارنا را راه اندازی کرده است و حالا یکی از معتبرترین معیارها برای مقایسه مدل ها در دنیای واقعی به حساب می آید.
در این بررسی نویسنده جمینای 3 و گروک 4.1 را رو در رو و در 9 چالش متفاوت آزمایش کرده است. چالش هایی که از معماهای منطقی و مسائل استدلالی گرفته تا کدنویسی خلاقیت نوشتن داستان و حتی خوداگاهی مدل را پوشش می دهند. هدف این بوده که شبیه رفتار کاربران واقعی عمل شود و مدل ها در شرایطی سنجیده شوند که به شکل روزمره با آن روبه رو هستند. نتیجه این جدال تصویری جالب از تفاوت سبک عمق پاسخ ها و میزان قابل اعتماد بودن هر مدل نشان می دهد.
مقایسه جمینای 3 و گروک 4.1 در 9 چالش واقعی
در چالش اول تمرکز روی استدلال و حل معما بود. معمای معروف دو طناب که هرکدام 60 دقیقه طول می کشد تا کامل بسوزد اما سرعت سوختن در طول طناب یکسان نیست. باید فقط با همین دو طناب و یک فندک دقیقا 45 دقیقه اندازه گیری شود. جمینای 3 پاسخ را با ساختار مرتب و تیترهای واضح ارائه کرد و اصل ایده را توضیح داد. گروک 4.1 توضیحی محاوره ای تر نوشت و به نکته ظریفی اشاره کرد که چرا ناهمگن بودن سرعت سوختن بخش های مختلف طناب مشکل ساز نمی شود و چطور همین ناهمگنی در روش درست عملا خنثی می شود. نویسنده بر اساس همین توجه دقیق به جزئیات ناهمگن بودن سوختن طناب گرک را برنده این دور دانسته است.
در چالش دوم نوبت منطق و پارادوکس بود. معمای معروف سلمانی در یک روستا که همه کسانی را می تراشد که خودشان صورتشان را اصلاح نمی کنند و سوال این است که آیا خود سلمانی خودش را می تراشد یا نه. جمینای 3 ساختاری مرتب با تیترهای بخش بندی شده و توضیح if و then ارائه کرد و تضاد منطقی را مرحله به مرحله نشان داد. گروک 4.1 در کنار توضیح منطق پارادوکس به تاریخچه آن هم پرداخت و با لحن قاطع گفت چنین سلمانی در واقع نمی تواند وجود داشته باشد و پیام عمیق تر این نوع تعریف های خودارجاع را برجسته کرد. با این حال نویسنده به خاطر شفافیت ساختار و اطلاع رسانی متعادل تر این دور را به جمینای اختصاص داده است.
چالش سوم وارد دنیای کدنویسی شد. درخواست این بود که یک تابع پایتون نوشته شود که تشخیص دهد یک جدول سودوکو 9 در 9 معتبر است یا نه. برخی خانه ها پر شده اند و برخی صفر هستند و تابع باید قواعد سودوکو را رعایت کند و حالت های لبه را هم پوشش دهد. جمینای 3 در این بخش بسیار آموزشی ظاهر شده است. کد آن با توضیح خط به خط همراه شده و برای کسی که می خواهد یاد بگیرد چرا هر قسمت نوشته شده انتخاب خوبی است بسیار مفید است. او روی اعتبارسنجی ورودی ها و خطاهای احتمالی تاکید کرده است. گروک 4.1 بیشتر به سمت کاربرد واقعی رفت و بدون شلوغ کردن بی دلیل کد مساله را حل کرد و با ورودی های متنوع بهتر کنار آمد. با این وجود نویسنده جمینای را برنده دانسته چون گزارش خطاها توضیحات و خوانایی کد آن بهتر بوده است و برای نگهداری و توسعه بعدی مناسب تر است.
در چالش چهارم نوبت دیباگ بود. یک تابع فیبوناچی به این شکل داده شده بود که فقط تعریف شده بود fib n برابر است با fib n منهای 1 به اضافه fib n منهای 2 و تمام. جمینای 3 خیلی سریع به نقطه اصلی زد و توضیح داد که چرا نبودن شرط پایه باعث فراخوانی بازگشتی بی پایان می شود. سپس نسخه اصلاح شده را با حداقل تغییر نشان داد و در کنار آن درباره ناکارآمد بودن این روش ساده بازگشتی و امکان استفاده از روش های بهینه تر توضیح داد. گروک 4.1 در عوض مسیر خطا را مرحله به مرحله نمایش داد تا خواننده ببیند چگونه فراخوانی های بی پایان گسترش پیدا می کند و چند نسخه مختلف اصلاح شده از تابع را ارائه کرد که شامل اعتبارسنجی ورودی هم بود. در نهایت نویسنده باز هم جمینای را برنده این بخش می داند چون مستقیم سراغ اصل موضوع رفته و از این خطا به عنوان فرصتی برای آموزش مفید استفاده کرده است.
چالش پنجم مربوط به نوشتن داستان خلاقانه بود. درخواست این بود که یک داستان کوتاه حدود 200 کلمه نوشته شود که جمله آخر همه چیز قبل از خودش را از نو معنا کند. جمینای 3 یک داستان با زاویه دید جالب و چاشنی طنز ارائه کرده است. گروک 4.1 در این بخش سراغ فضایی جدی تر رفته و داستانی با تغییر نقش قهرمان به ضد قهرمان نوشته که حس درام و لایه های فکری بیشتری دارد. به گفته نویسنده پیچش پایانی گروک به صورت عمیق تری باعث می شود خواننده کل داستان را دوباره در ذهن مرور کند و برداشت جدیدی به دست بیاورد. برای همین گروک برنده چالش خلاقیت معرفی شده است.
در چالش ششم مدل ها روی یک پرسش اجتماعی حساس سنجیده شدند. سوال این بود که قوی ترین استدلال های موافق و مخالف درآمد پایه همگانی چیست و هر دو طرف باید کاملا منصفانه و با بهترین شکل ممکن ارائه شوند. جمینای 3 مستقیم سراغ نقاط ضعف نظام های حمایتی فعلی رفت و تاثیرهای احتمالی روی تورم و بازار کار را با دقت توضیح داد. گروک 4.1 علاوه بر این به شواهد تجربی از آزمایش های دنیای واقعی اشاره کرد و موضوعاتی مثل کرامت انسانی و مشارکت همگانی در ثروت را پررنگ تر مطرح کرد. نویسنده در نهایت این دور را به جمینای داده است چون ساختار بحث آن منظم تر و دامنه استدلال ها گسترده تر بوده است.
چالش هفتم مربوط به پیروی دقیق از دستور بود. دستور این بود که دقیقا 7 حیوان نام برده شود حیوان سوم حتما پرنده باشد حیوان پنجم با حرف E شروع شود و هیچ نام حیوانی بیش از 8 حرف نداشته باشد. جمینای 3 فهرستی متنوع از حیوانات کوچک و بزرگ ارائه کرد که همه شرایط را رعایت می کرد. گروک 4.1 هم لیستی درست تحویل داد که شاید حیوانات آن کمی معمولی تر بودند اما به طور کامل با محدودیت ها سازگار بود. اینجا نویسنده نتیجه را مساوی اعلام کرده چون هر دو مدل به طور کامل همه شرط ها را رعایت کرده اند.
چالش هشتم روی دقت factual تمرکز داشت. سوال در مورد کسی بود که سقف کلیسای سیستین را نقاشی کرده زمان انجام آن و روایت اصلی تصویر چه بوده است. جمینای 3 بلافاصله به سه بخش سوال پاسخ داد و اطلاعات را به صورت دسته بندی شده ارائه کرد به گونه ای که روایت های مختلف اثر را به خوبی از هم جدا می کرد. گروک 4.1 تاریخ را دقیق تر ذکر کرد و جزئیات تاریخی بیشتری به متن اضافه کرد و ساختار توضیح آن هم شفاف بود. نویسنده این بار گروک را برنده دانسته چون هم اطلاعاتش کامل تر بوده هم بدون از دست دادن وضوح متن جزئیات بیشتری را پوشش داده است.
چالش نهم موضوع خوداگاهی و شناخت محدودیت های مدل بود. از هر دو مدل خواسته شد که سه نمونه مشخص از کارهایی که ممکن است با آن مشکل داشته باشند یا اشتباه انجام دهند بیان کنند. پاسخ جمینای 3 در این بخش چندان مناسب نبود. مدل در توضیح خود کمی از مسیر منحرف شد بعضی قسمت های قبل را دوباره آورد و در حالتی بین فکر کردن و تولید پاسخ گیر کرد که شبیه نوعی هالوسینیشن بود. در مقابل گروک 4.1 پاسخ کاملا واضح و مستقیم داد سه مثال مشخص و قابل تصور ارائه کرد و توضیح داد چرا در این موقعیت ها احتمال خطا بالا می رود. در نتیجه گروک برنده دور خوداگاهی معرفی شده است.
در پایان برای تساوی شکن یک چالش اضافه مطرح شد. یک پیام جدایی یا همان بریک آپ تکست که باید از زبان ماه خطاب به زمین نوشته شود هم شاعرانه باشد و هم کمی علم واقعی در خود داشته باشد. جمینای 3 دقیقا مفهوم پیام متنی را گرفت و آن را به شکل یک گفتگوی امروزی شروع کرد مثلا با لحن ساده و صمیمی که حس مکالمه واقعی را می داد و در طول متن مفاهیم علمی مانند مدار فاصله جزر و مد و جزئیات دیگر را به طور هوشمند در احساسات جدایی گنجاند. گروک 4.1 به سمت داستان علمی تخیلی رفت و متنی زیبا و خلاقانه نوشت اما بیشتر شبیه قطعه ادبی بود تا پیام متنی. نویسنده در این تساوی شکن جمینای را برنده اعلام کرده است چون هم قالب پیام را بهتر درک کرده هم ترکیب علم و احساس را به شکلی تاثیرگذارتر انجام داده است.
برنده نهایی جمینای یا گروک کدام مدل برای شما مناسب تر است؟
در جمع بندی این مقایسه گسترده جمینای توانسته در 9 دور اصلی و یک تساوی شکن کمی جلوتر از گروک قرار بگیرد. با این حال نویسنده تاکید می کند که با وجود نزدیکی امتیازها غافلگیر شده که گروک در این تعداد از چالش ها برنده شده است. این نشان می دهد که فاصله عملکردی این دو مدل روی کاغذ و روی جدول ها شاید خیلی بزرگ دیده شود اما در کار واقعی نتیجه ها نزدیک تر است.
یک نکته مهم در طول این آزمایش هالوسینیشن جمینای بود. نویسنده که صدها ساعت با چت بات ها کار کرده اشاره می کند که این اولین بار بوده که در روند تست چنین رفتاری از جمینای دیده است. همان سوال مربوط به محدودیت های هوش مصنوعی باعث شده مدل در نوعی دور باطل محتوایی بیفتد. با این وجود عملکرد جمینای در بخش هایی مثل دیباگ کد و توضیح های تحلیلی عمیق بسیار قوی بوده است. در مقابل گروک در بخش هایی مانند حل معمای طناب داستان نویسی با پیچش پایانی و خوداگاهی رفتاری جواب هایی داده که از نظر انسانی شدن لحن و درگیر کردن مخاطب چشمگیر به نظر می رسد.
برای کسی که می خواهد بین این دو مدل یکی را انتخاب کند نتیجه این مقایسه بیشتر از آن که فقط یک برنده مطلق معرفی کند به انتخاب بر اساس نیاز کمک می کند. اگر کاربر بیشتر به کدنویسی آموزش ساختارمند و توضیح های تحلیلی نیاز داشته باشد جمینای انتخاب منطقی تری است. اگر در مقابل به دنبال پاسخی است با لحن محاوره ای تر داستان های خلاقانه تر و نگاه کمی عمیق تر به جنبه انسانی و احساسی برخی موضوعات گروک می تواند جذاب تر باشد.
مدل های هوش مصنوعی هر روز در حال تغییر و ارتقا هستند و چنین مقایسه های رو در رو کمک می کند بفهمیم کدام مدل فقط روی کاغذ بهتر است و کدام مدل با سبک کاری و شخصیت کاربر هماهنگ تر است. در نهایت مهم ترین سوال این نیست که کدام مدل به طور مطلق برتر است بلکه این است که کدام مدل برای کاربری خاص برای نوع پرسش ها و مسئله هایی که او روزانه مطرح می کند انتخاب مناسب تری به حساب می آید.
