پژوهشگران یک تیم دانشگاهی امروز در مراسمی از نخستین مدل زبانی بزرگ متن‌باز که به‌طور ویژه برای زبان فارسی آموزش دیده است، رونمایی کردند. این مدل با بیش از ۸۰۰ میلیارد توکن متن فارسی شامل کتاب‌ها، مقالات علمی و متون خبری آموزش دیده است.
چرا این مدل مهم است؟
مدل‌های زبانی جهانی معمولاً سهم کوچکی از داده‌های آموزشی خود را به زبان فارسی اختصاص می‌دهند. همین موضوع باعث می‌شود درک ظرافت‌های زبانی، اصطلاحات و ادبیات کهن فارسی برای آن‌ها دشوار باشد.
«هدف ما ساختن زیرساختی است که هر توسعه‌دهنده ایرانی بتواند روی آن محصول بسازد؛ بدون وابستگی و با هزینه‌ای نزدیک به صفر.»
به گفته سرپرست تیم، نسخه سبک این مدل روی رایانه‌های شخصی نیز قابل اجراست و نسخه کامل آن در آزمون‌های درک مطلب فارسی عملکردی رقابتی با مدل‌های تجاری نشان داده است.
- نسخه سبک: ۷ میلیارد پارامتر، مناسب لپ‌تاپ
- نسخه کامل: ۷۰ میلیارد پارامتر، مناسب سرورهای پردازشی
- مجوز: متن‌باز و رایگان برای استفاده تجاری
فعالان اکوسیستم استارتاپی این خبر را نقطه عطفی برای توسعه دستیارهای هوشمند، موتورهای جست‌وجو و ابزارهای آموزشی بومی توصیف کرده‌اند.
