اپل در 1404 08 08 پژوهشی با عنوان پیکو بنانا 400K منتشر کرد که نشان می دهد چگونه در حال آموزش هوش مصنوعی برای ویرایش تصویر به شیوه انسان است. ایده اصلی این است که مدل بتواند دستور متنی را بفهمد و همان تغییری را روی عکس اعمال کند که یک کاربر واقعی انجام می دهد. در این کار از حدود 400000 نمونه با کیفیت ویرایش تصویر بر پایه متن استفاده شده است. مدل نانو بنانا عملیات ویرایش را انجام می دهد. جمینای 2.5 فلش دستورهای ویرایش را می سازد. جمینای 2.5 پرو کیفیت خروجی را ارزیابی می کند. دامنه ویرایش ها به 35 نوع دقیق تقسیم شده است. از تغییر رنگ و سبک گرفته تا اضافه کردن شیء و اصلاحات متنی.
پژوهشگران اپل تاکید می کنند که اگر داده های واقعی به همراه فیلترگذاری قوی توسط یک مدل داور استفاده شود می توان ویرایش های گسترده و در عین حال با کیفیت انجام داد. در آزمون ها مشخص شد ویرایش های مربوط به سبک قابل اعتمادترند. در مقابل جابجا کردن اشیا یا تغییر متن روی تصویر نرخ موفقیت پایین تری دارد.
روش و یافته های کلیدی اپل چیست؟
رویکرد اپل سه لایه دارد. تولید دستور دقیق به زبان طبیعی. اجرای ویرایش توسط مدل سبک و چابک. ارزیابی خودکار برای حذف خروجی های نامطلوب. ترکیب این سه مرحله دو هدف دارد. اول تربیت مدل های چندحالته آینده با داده استاندارد و یکنواخت. دوم ساخت یک معیار سنجش تا بتوان دقت ویرایش تصویر را میان مدل های مختلف مقایسه کرد.
نتیجه عملی برای کاربر این است که مدل بهتر می فهمد وقتی می گوید نور را کم کن یا کادر را 1 به 1 کن دقیقا چه باید بکند. بر اساس یافته های مقاله و تجربه های مشابه می توان انتظار داشت ویرایش های سبک محور مانند گرم تر کردن رنگ ها یا تبدیل به سیاه و سفید پایدارتر و نزدیک تر به انتظار کاربر باشند. در عوض کارهایی مثل برداشتن و جابجا کردن یک لیوان در دست یا جایگزینی نوشته روی تابلو همچنان چالش برانگیز است و به دقت منبع تصویر و کیفیت تشخیص بستگی دارد.
این پژوهش چه اثری بر اپل اینتلیجنس و سیری خواهد داشت؟
اپل در حال حاضر ابزارهایی مانند کلین آپ و ایمیج پلی گراند را ارائه می دهد. با آی او اس 26 نیز پشتیبانی از سبک های بیشتر چت جی پی تی اضافه شد. با این حال در ویرایش عکس با هوش مصنوعی هنوز به اندازه گوگل و سامسونگ ورود عمیق نداشته است. این دیتاست می تواند برای آموزش یا ریزتنظیم مدل های چندحالته آینده اپل به کار برود و همزمان نقش معیار سنجش را برای ارزیابی دقت ویرایش ایفا کند. اگر این مسیر ادامه پیدا کند احتمال دارد ابزارهای ویرایش تصویری طبیعی تر و قدرتمندتری ببینیم که منظور کاربر را بهتر درک می کنند.
سرنخ دیگر زمان بندی است. انتظار می رود با عرضه نسخه بازطراحی شده سیری در ابتدای سال آینده میلادی تصویر روشن تری از اجرای این ایده ها ببینیم. در مرحله نخست گفته می شود سیری آگاهی از محتوای روی صفحه خواهد داشت و احتمالا می تواند داده های روی دستگاه را جستجو کند. اگر این قابلیت با ویرایش عکس همراه شود دستورهایی مثل سیری این عکس را برش بده یا تراز سفیدی را تنظیم کن یا پس زمینه را نرم تر کن می توانند به شکلی طبیعی و کم خطا اجرا شوند.
در نهایت اگرچه فاصله ای میان آنچه کاربران می خواهند و آنچه مدل ها می توانند انجام دهند وجود دارد اما مسیر اپل نشان می دهد تمرکز بر داده واقعی، داوری خودکار و تقسیم مسئله به گام های کوچک می تواند آن فاصله را کم کند. نتیجه این است که کاربر عادی بدون نیاز به دانش فتوشاپ ویرایش های کاربردی و تمیز را تنها با چند جمله ساده انجام می دهد.
