اجرای مدل هوش مصنوعی متنباز محلی خودتان آسان است — اینطور انجامش دهید
اگر توسعهدهنده نیستید، پس چرا باید بخواهید یک مدل هوش مصنوعی متنباز را روی کامپیوتر خانگیتان اجرا کنید؟
مشخص شده دلایل خوب متعددی وجود دارد. و با توجه به اینکه مدلهای رایگان و متنباز بهتر از همیشه شدهاند — و استفاده از آنها ساده است، با حداقل نیازهای سختافزاری — اکنون زمان فوقالعادهای برای امتحان کردن آن است.
در اینجا چند دلیل آورده شده که چرا مدلهای متنباز بهتر از پرداخت ماهیانه ۲۰ دلار به چتجیپیتی، پِرپلکسیتی یا گوگل هستند:
- رایگان است. هیچ هزینه اشتراکی ندارد.
- دادههای شما روی دستگاه خودتان باقی میماند.
- آفلاین کار میکند، نیازی به اینترنت نیست.
- میتوانید مدل خود را برای موارد استفاده خاص، مانند نوشتن خلاقانه یا… خب، هر چیزی، آموزش و سفارشیسازی کنید.
مانع ورود از بین رفته است. اکنون برنامههای تخصصیافتهای وجود دارند که به کاربران اجازه میدهند بدون دردسر نصب کتابخانهها، وابستگیها و افزونهها به صورت مستقل، با هوش مصنوعی آزمایش کنند. تقریباً هر فردی با یک کامپیوتر نسبتاً جدید میتواند این کار را انجام دهد: یک لپتاپ یا رومیزی میانرده با ۸ گیگابایت حافظه ویدئویی میتواند مدلهای شگفتآور قدرتمندی را اجرا کند و برخی مدلها حتی با ۶ یا ۴ گیگابایت حافظه ویدئویی نیز کار میکنند. و برای اپل، هر تراشه سری-ام (از چند سال گذشته) قادر به اجرای مدلهای بهینهشده خواهد بود.
نرمافزار رایگان است، نصب آن چند دقیقه طول میکشد و دلهرهآورترین مرحله — انتخاب ابزار مورد استفاده — به یک سؤال ساده ختم میشود: دکمه زدن را ترجیح میدهید یا تایپ فرمانها را؟
الام استودیو در مقابل اولاما
دو پلتفرم فضای هوش مصنوعی محلی را در اختیار دارند و هر کدام از زاویهای مخالف به مسئله نزدیک میشوند.
الام استودیوهمه چیز را در یک رابط گرافیکی شستهرفته میپیچد. شما به سادگی میتوانید برنامه را دانلود کنید، از یک کتابخانه مدل داخلی بازدید کنید، برای نصب کلیک کنید و گفتگو را آغاز نمایید. این تجربه مشابه استفاده از چتجیپیتی است، با این تفاوت که پردازش روی سختافزار خودتان اتفاق میافتد. کاربران ویندوز، مک و لینوکس همه یک تجربه روان یکسان دریافت میکنند. برای تازهواردان، این نقطه شروع آشکار است.
اولاماهدف این ابزار توسعهدهندگان و کاربران حرفهای است که در ترمینال زندگی میکنند. از طریق خط فرمان نصب کنید، مدلها را تنها با یک دستور دریافت نمایید، و سپس تا دلتان میخواهد اسکریپت نویسی یا خودکارسازی کنید. این ابزار سبکوزن، سریع و به شکلی تمیز در گردش کار برنامهنویسی ادغام میشود.
منحنی یادگیری شیبدارتر است، اما نتیجه آن انعطافپذیری است. همچنین این چیزی است که کاربران حرفهای برای تطبیقپذیری و سفارشیسازی انتخاب میکنند.
هر دو ابزار مدلهای پایه یکسانی را با استفاده از موتورهای بهینهسازی یکسان اجرا میکنند. تفاوتهای عملکردی ناچیز است.
راهاندازی استودیو الام
بازدیدال ام استودیو دات ای آیو نصبکننده مربوط به سیستمعامل خود را دانلود کنید. حجم فایل حدود ۵۴۰ مگابایت است. نصبکننده را اجرا کرده و دستورالعملها را دنبال کنید. برنامه را راهاندازی کنید.
راهنمای اول: اگر از شما پرسید چه نوع کاربری هستید، گزینه «توسعهدهنده» را انتخاب کنید. پروفایلهای دیگر فقط گزینهها را مخفی میکنند تا کارها سادهتر شود.
نکته ۲ پیشنهاد دانلود ، مدل هوش مصنوعی متنباز را میدهد. در عوض، فعلاً روی «رد کردن» کلیک کنید؛ مدلهای بهتر و کوچکتری وجود دارند که عملکرد بهتری خواهند داشت.
حافظه ویدیویی: کلید اجرای هوش مصنوعی محلی
پس از نصب ، برنامه آماده اجرا خواهد بود و به این شکل خواهد بود
اکنون باید یک مدل را پیش از آنکه الالام شما کار کند دانلود کنید. و هر قدر مدل قدرتمندتر باشد، به منابع بیشتری نیاز خواهد داشت.
منبع حیاتی، حافظه ویدئویی یا روی کارت گرافیک شماست. مدلهای زبانی بزرگ در حین پردازش به بارگذاری میشوند. اگر فضای کافی نداشته باشید، عملکرد به شدت افت میکند و سیستم مجبور به استفاده از حافظه رم کندتر خواهد شد. برای جلوگیری از این مشکل باید کافی برای مدلی که قصد اجرای آن را دارید در اختیار داشته باشید.
برای دانستن میزان حافظه ویدیویی میتوانید وارد مدیر وظایف ویندوز شوید ++ و روی تب کلیک کنید، مطمئن شوید که کارت گرافیک اختصاصی را انتخاب کردهاید و نه گرافیک مجتمع موجود روی پردازنده اینتلایامدی شما.
در بخش «حافظه اختصاصی پردازنده گرافیکی» خواهید دید که چقدر ویرَم دارید.
در مکهای سری ام، کارها سادهتر است چون رم و ویدیو رم مشترک هستند. میزان رم دستگاه شما معادل ویدیو رم قابل دسترس خواهد بود.
برای بررسی، روی لوگوی اپل کلیک کنید، سپس روی «درباره» کلیک کنید. حافظه را میبینید؟ این مقدار شماست.
شما حداقل به ۸ گیگابایت حافظه ویدئویی نیاز خواهید داشت. مدلهای در محدوده ۷ تا ۹ میلیارد پارامتر که با استفاده از فشردهسازی ۴ بیتی کمظرفیت شدهاند، بهراحتی جای میگیرند و در عین حال عملکرد قدرتمندی ارائه میدهند. شما متوجه خواهید شد که یک مدل کمظرفیت شده است، زیرا توسعهدهندگان معمولاً این موضوع را در نام آن فاش میکنند. اگر در نام مدل ، یا را مشاهده کردید، یعنی با یک مدل کمظرفیت شده روبرو هستید. هرچه عدد پایینتر باشد مانند ، ، ، ، منابع کمتری مصرف خواهد کرد.
این مقایسه کاملاً همسطح نیست، اما کوانتیزهسازی را مانند رزولوشن صفحه نمایش خود تصور کنید. همان تصویر را با وضوح ، ، یا خواهید دید. در هر رزولوشنی قادر به درک کلیت تصویر خواهید بود، اما با زوم کردن و دقت در جزئیات مشخص میشود که تصویر اطلاعات بسیار بیشتری از دارد، البته به حافظه و منابع بیشتری برای پردازش نیاز خواهد داشت.
اما در حالت ایدهآل، اگر واقعاً جدی هستید، باید یک کارت گرافیک گیمینگ مناسب با ۲۴ گیگابایت حافظه ویدئویی بخرید. جدید بودن یا نبودن آن مهم نیست و سرعت یا قدرت آن هم اهمیتی ندارد. در سرزمین هوش مصنوعی، حافظه ویدئویی پادشاه است.
وقتی بدانید چقدر از را میتوانید استفاده کنید، آنگاه میتوانید تشخیص دهید کدام مدلها را میتوانید با رفتن بهماشین حساب حافظه ویدئویییا اینکه، ابتدا با مدلهای کوچکتر با کمتر از ۴ میلیارد پارامتر شروع کنید و سپس به مدلهای بزرگتر بروید تا کامپیوترتان به شما بگوید که حافظه کافی ندارید. (بعداً بیشتر در مورد این تکنیک صحبت خواهیم کرد.)
دریافت مدلهای شما
وقتی محدودیتهای سختافزارتان را دانستید، وقت آن است که یک مدل دانلود کنید. روی آیکون ذرهبین در نوار کناری سمت چپ کلیک کنید و مدل را بر اساس نام جستجو کنید.
کوئن و دیپسیک مدلهای خوبی برای شروع سفرتان هستند. بله، آنها چینی هستند، اما اگر نگران جاسوسی هستید، میتوانید آسوده خاطر باشید. هنگامی که مدل زبانی خود را به صورت محلی اجرا میکنید، هیچ چیزی ماشین شما را ترک نمیکند، بنابراین نه توسط چینیها، نه دولت ایالات متحده و نه هیچ نهاد شرکتی دیگر جاسوسی نخواهید شد.
در مورد ویروسها، تمامی پیشنهادهای ما از طریق هگینگ فیس ارائه میشود، جایی که نرمافزارها بلافاصله از نظر جاسوسافزارها و سایر بدافزارها بررسی میشوند. اما صرف نظر از این، بهترین مدل آمریکایی، لامای متا است، بنابراین اگر میهنپرست هستید شاید بخواهید همان را انتخاب کنید. (ما در بخش پایانی پیشنهادهای دیگری هم ارائه میدهیم.)
توجه داشته باشید که مدلها بسته به مجموعه داده آموزشی و تکنیکهای تنظیم دقیقی که برای ساخت آنها استفاده میشود، رفتار متفاوتی دارند. صرفنظر از گروک ایلان ماسک، چیزی به نام مدل بیطرف وجود ندارد زیرا اطلاعات بیطرف وجود ندارد. بنابراین بسته به میزان اهمیتتان به ژئوپلیتیک، سم خود را انتخاب کنید.
فعلاً هر دو نسخهی مدل کوچکتر با قابلیت کمتر و را دانلود کن. اگر میتوانی نسخهی را اجرا کنی، پس نسخهی را حذف کن و سعی کن نسخهی و به همین ترتیب را دانلود و اجرا کنی. اگر نمیتوانی نسخهی را اجرا کنی، پس آن را حذف کن و از نسخهی استفاده کن.
پس از دانلود، مدل را از بخش مدلهای من بارگیری کنید. رابط چت ظاهر میشود. پیامی تایپ کنید. مدل پاسخ میدهد. تبریک میگویم: شما در حال اجرای یک هوش مصنوعی محلی هستید.
دادن دسترسی اینترنت به مدل شما
مدلهای محلی از ابتدا قابلیت مرور وب را ندارند. آنها بهصورت طراحیشده ایزوله هستند، بنابراین شما بر اساس دانش داخلیشان با آنها تکرار خواهید کرد. آنها برای داستاننویسی کوتاه، پاسخ به سوالات، انجام برخی کدنویسیها و غیره به خوبی عمل میکنند. اما آخرین اخبار را به شما نمیدهند، هوا را اطلاع نمیدهند، ایمیلتان را بررسی نمیکنند یا برایتان جلسه برنامهریزی نمیکنند.
سرورهای پروتکل زمینه مدلتغییرش بده.
سرورهای پل ارتباطی بین مدل شما و سرویسهای خارجی هستند. آیا میخواهید هوش مصنوعی شما گوگل را جستجو کند، مخازن گیتهاب را بررسی کند یا وبسایتها را بخواند؟ سرورهای این امکان را فراهم میکنند. در نسخه ۰.۳.۱۷ پشتیبانی از را اضافه کرد که از طریق تب قابل دسترسی است. هر سرور ابزارهای خاصی را ارائه میدهد – جستجوی وب، دسترسی به فایل، فراخوانیهای .
اگر میخواهید مدلها به اینترنت دسترسی داشته باشند،راهنمای کامل سرورهایروند راهاندازی را توضیح میدهد، از جمله گزینههای محبوبی مانند جستجوی وب و دسترسی به پایگاه داده.
فایل را ذخیره کنید و بهطور خودکار سرورها را بارگیری خواهد کرد. هنگامی که با مدل خود چت میکنید، اکنون میتواند این ابزارها را برای دریافت دادههای زنده فراخوانی کند. هوش مصنوعی محلی شما همین حالا ابرقدرتها را به دست آورد.
مدلهای پیشنهادی ما برای سیستمهای ۸ گیگابایتی
صدها مدل زبانی بزرگ بهطور واقعی در دسترس شماست، از گزینههای همهفنحریف گرفته تا مدلهای تنظیمشده برای موارد استفاده تخصصی مانند برنامهنویسی، پزشکی، نقشآفرینی یا نوشتار خلاق.
بهترین برای کدنویسی:نماترون یا دیپسیک خوب هستند. ذهن شما را متحیر نمیکنند، اما در تولید و دیباگ کد خوب عمل میکنند و در معیارهای برنامهنویسی از بیشتر گزینههای دیگر بهتر عمل میکنند. دیپسیک-کدر-وی۲ ۶.۷بی گزینهای دیگر و مطمئن ارائه میدهد، بهویژه برای توسعه چندزبانه.
بهترین برای دانش عمومی و استدلالمدل قابلیتهای ریاضی قوی داشته و پرسشهای پیچیده را بهطور مؤثر مدیریت میکند. پنجره زمینهای آن اسناد طولانیتر را بدون از دست دادن انسجام در بر میگیرد.
بهترین برای نوشتار خلاقانهانواع دیپسیک ، اما به مهندسی پرمپت سنگین نیاز دارید. فاینتیونهای بدون سانسور مانند «» نیز وجود دارند.نسخهاز جیپیتی-اُاِساِس اُپناِی، که برای ژانر وحشت مناسب است؛ یانویسندهٔ کثیف-موزکه برای داستانهای اروتیک خوب است (به قول خودشان).
بهترین برای چتباتها، نقشآفرینی، داستانهای تعاملی، خدمات مشتریمسترال ۷بی بهویژه و انواع مدلهای لاما با پنجرههای متنی بزرگ. خصوصیات شخصیت را در گفتوگوهای طولانی حفظ میکند و لحن را بهطور طبیعی تطبیق میدهد. برای نقشآفرینی غیرحرفهای دیگر، گزینههای زیادی وجود دارد. ممکن است بخواهید برخی از مدلهای موجود دراین فهرستدر اینجا یک راهنمای گامبهگام برای شروع کار با این ابزار آورده شده است.
برای امسیپیمدلهای و گزینههای خوبی هستند اگر میخواهید چیزی جدید را امتحان کنید. نیز انتخاب مناسب دیگری است.
تمام مدلها را میتوانید مستقیماً از دانلود کنید، فقط کافی است نام آنها را جستجو کنید.
توجه داشته باشید که فضای مدلهای زبانی متنباز به سرعت در حال تغییر است. هر هفته مدلهای جدیدی راهاندازی میشوند که هر یک ادعای بهبود دارند. میتوانید آنها را در الام استودیو بررسی کنید یا در میان مخازن مختلف روی هگینگ فیس جستوجو نمایید. گزینهها را خودتان آزمایش کنید. مدلهای نامناسب به سرعت، به دلیل عبارتبندی ناشیانه، الگوهای تکراری و خطاهای واقعی، آشکار میشوند. مدلهای خوب متفاوت به نظر میرسند. آنها استدلال میکنند. شما را شگفتزده میکنند.
فناوری کار میکند. نرمافزار آماده است. کامپیوتر شما احتمالاً همین حالا هم قدرت کافی را دارد. تنها کاری که باقی مانده، امتحان کردن آن است.
خبرنامه هوش عمومی
یک سفر هفتگی هوش مصنوعی روایت شده توسط جِن، یک مدل هوش مصنوعی تولیدی.