انتخاب مدل
بهترین هوش مصنوعی فارسی را با این پنج آزمون انتخاب کن
یک بستهٔ مقایسهٔ فارسی برای نوشتن، درک متن، عدد، کد و ارجاع؛ همراه جدول امتیاز و مثال‌هایی که ضعف مدل را آشکار می‌کنند.
تصویر اختصاصی مجلهٔ ساروی؛ ساخته‌شده با هوش مصنوعی
یک مدل ممکن است فارسی روان بنویسد و همان‌وقت عددهای یک جدول را غلط جمع کند. مدل دیگر کد خوبی می‌دهد اما پیام ساده را شبیه بیانیه می‌نویسد. برای پیدا کردن بهترین هوش مصنوعی فارسی، کار واقعی خودت را به آزمون تبدیل کن. این پنج آزمون کوچک از یک رتبه‌بندی بی‌تاریخ بیشتر به انتخابت کمک می‌کنند.
اولین آزمون فارسی را اجرا کنآزمون اول: فارسی طبیعی، با مخاطب مشخص
از مدل بخواه برای عقب انداختن جلسهٔ گروهی دو جمله بنویسد. متن باید صمیمی باشد، تاریخ جدید را از ورودی بگیرد و عذر ساختگی نسازد. اگر «در راستای ارتقای تعاملات» تحویل گرفتی، روان بودن ظاهری را با مناسب بودن اشتباه نگیر.
در مرحلهٔ دوم همان پیام را برای استاد بازنویسی کن. مدل خوب باید فاصلهٔ اجتماعی را بفهمد و اطلاعات را ثابت نگه دارد. تبدیل همهٔ جمله‌ها به فارسی رسمی، مهارت کافی برای نوشتن روزمره نیست.
آزمون دوم: فرق «ذکر نشده» با «حدس می‌زنم»
این متن کوتاه را بده: «کارگاه پنجشنبه برگزار می‌شود. ثبت‌نام تا سه‌شنبه باز است. ظرفیت ۲۴ نفر است.» بعد بپرس: ساعت شروع، محل، آخرین روز ثبت‌نام و ظرفیت چیست؟ جواب درست باید دو مورد اول را نامعلوم اعلام کند.
این آزمون برای خلاصهٔ قرارداد، مقاله و جزوه هم کاربرد دارد. اگر مدل خانهٔ خالی را با یک پاسخ محتمل پر کند، بعداً در کار مهم‌تر هم باید مراقب همین عادت باشی.
آزمون سوم: عدد فارسی و واحد پول
در این تمرین سه هزینه داریم: ۱۲۰٬۰۰۰، ۸۰٬۰۰۰ و ۵۰٬۰۰۰ تومان. جمع ۲۵۰٬۰۰۰ تومان است. با ۱۰ درصد تخفیف، مبلغ ۲۲۵٬۰۰۰ تومان می‌شود. از مدل هم محاسبه را بخواه هم فرمول را.
یک خطای رایج، مخلوط شدن ریال و تومان است. ورودی را صریحاً تومان بنویس و بعد یک ردیف را به ریال تغییر بده. آیا مدل واحدها را تبدیل می‌کند یا همه را مستقیم جمع می‌زند؟ این آزمایش را برای دادهٔ مالی واقعی فقط با اطلاعات غیرحساس انجام بده.
| آزمون | شرط قبولی |
|---|---|
| نوشتن | مخاطب درست، لحن طبیعی، بدون اطلاعات ساختگی |
| استخراج | چهار پاسخ، با دو مورد «ذکر نشده» |
| حساب | ۲۲۵٬۰۰۰ تومان، همراه مراحل محاسبه |
| کد | جواب قابل اجرا، با ورودی تکراری و خالی |
| ارجاع | لینکی که باز می‌شود و همان ادعا را پشتیبانی می‌کند |
آزمون چهارم: توضیح کد به فارسی بدون خراب کردن کد
تابع Two Sum را از این آموزش بردار. بپرس چرا مکمل را قبل از ذخیره‌کردن عدد فعلی بررسی می‌کنیم. توضیح خوب باید با [3, 3] و هدف 6 نشان بدهد که دو اندیس متفاوت داریم.
فقط به خروجی نهایی نگاه نکن. از مدل بخواه ورودی [3] و هدف 6 را هم بررسی کند. اگر همان عضو را دوبار استفاده کند، دلیل الگوریتم را درست نفهمیده است. این آزمون کوتاه، توان توضیح و توان حل را با هم می‌سنجد.
آزمون پنجم: خبر تازه، با تاریخ و منبع
برای خبری که ممکن است عوض شده باشد، منبع رسمی و تاریخ انتشار بخواه. مثلاً پروندهٔ تازهٔ Claude خبر، ادعای سازنده و تحلیل تحریریه را کنار هم می‌گذارد. «بهترین مدل دنیا» بدون نام آزمون، تنظیمات و تاریخ، راهنمای خرید خوبی نیست.
در مقایسهٔ خودت، یک درخواست را بدون تغییر به چند مدل بده و نامشان را موقع امتیاز دادن پنهان کن. به هر شرط صفر یا یک بده. مدل برنده برای همین کار انتخاب خوبی است؛ هنوز ثابت نکرده‌ای که برای همهٔ کارها برنده است.
در ساروی چطور این مقایسه را انجام بدهی؟
با یک گفتگوی کوتاه شروع کن و از انتخابگر، مدل موجود را ببین. مدل‌ها هزینه و سرعت متفاوت دارند. یک متن ورودی ثابت نگه دار، جواب اول هر مدل را ذخیره کن و فقط بعد از امتیاز دادن سراغ اصلاح برو.
برای کدنویسی از آزمون‌های اجرایی استفاده کن. برای نوشتن، متن را واقعاً برای مخاطب بخوان. در مقایسهٔ مدل‌ها می‌توانی زمینهٔ بیشتری بگیری، ولی آزمون شخصی توست که تناسب با کار فارسی را روشن می‌کند.
این کار را خودت انجام بده.
- همان پنج ورودی را به مدل‌های انتخابی بده.
- عددهای جدول و پاسخ نامعلوم را مستقل کنترل کن.
- زمان و تعداد اصلاح‌ها را کنار کیفیت فارسی ثبت کن.
در انجام این کار به مشکل خوردی؟
از پشتیبانی کمک بگیر