نتایج جالب از بازی کردن با GPT-J - یک language model جدید با 6 میلیارد پارامتر

سلام، یه ویدیو توی YouTube دیدم از کار کردن با این مدل، خیلی پیشنهاد می‌کنم که ببینید تا یه ایده کلی بگیرید از این که این language model ها به چه دردی می‌خورن و چه کار‌هایی ازشون برمیاد:

اگه خودتون می‌خواین امتحان کنید به گیت‌هاب این مدل مراجعه کنید، باید وزن‌ها رو دانلود کنید که نسخه کاملش 61 گیگ هستش ولی نسخه slim هم داره:

یه دمو آنلاین هم اینجا هست که میتونید خیلی سریع‌تر این مدل رو باهاش امتحان کنید:
https://6b.eleuther.ai/
دمو آنلاین کنده، برای همین اگه هم قصد امتحان کردن بی دردسر و سریع رو دارین و هم اینترنت لاکپشتی دارین با colab مدل رو امتحان کنید، توی دو سه دقیقه وزن‌های slim رو دانلود می‌کنه:


آزمایشات خودم:

چیزی که برای خودم خیلی جالبه توانایی نوشتن کد از روی کامنته، نه تنها اینکارو با همون وزن‌های slim خیلی خوب انجام میده، بلکه میشه فهمید درک قابل توجهی نسبت به کد داره برای همین چیز‌های عجیب و نادر رو هم میتونه generate کنه، برای مثال من این ورودی رو بهش دادم:

import numpy as np

# Create an array named poqlk with 27 random element from 4 to 6

خیلی بعیده یه جایی تو stackoverflow یا گیت‌هاب یکی یه آرایه با مقادیر بین 4 تا 6 و اندازه 27 و اسم poqlk درست کرده باشه، برای همین اگر مدل بتونه واقعا انتظار مارو برآورده کنه و اسم آرایه رو بزاره poqlk یعنی این که کارشو خیلی خوب انجام داده.
خروجی:

import numpy as np

# Create an array named poqlk with 27 random element from 4 to 6
#
poqlk = np.random.choice(list(range(4,6)), size=(27,))

مورد بعدی ای که تست کردم این بود که یه جمله بنویسم که ادامه اون واضح و مشخص باشه و ببینم آیا مدل میتونه ادامه جمله رو منطقی پر کنه؟ چیزی که نوشتم این بود:
من فقط پیرهن آبی و صورتی می‌پوشم و الآن یک پیرهن آبی نپوشیدم، این به این معنیه که من الآن … پوشیدم.
برام جالب بود ببینم میتونه به صورت منطقی ادامه رو generate کنه و اصطلاحا reason it out کنه یا نه.
جمله ورودی:

If I only wear blue and pink shirts and
I'm not wearing a blue shirt right now,
that means I'm wearing a

خروجی:

If I only wear blue and pink shirts and
I'm not wearing a blue shirt right now,
that means I'm wearing a pink shirt,
7 Likes