اجرای مدل هوش مصنوعی متن‌باز محلی خودتان آسان است — این‌طور انجامش دهید

اگر توسعه‌دهنده نیستید، پس چرا باید بخواهید یک مدل هوش مصنوعی متن‌باز را روی رایانه خانگی‌تان اجرا کنید؟

مشخص شده دلایل خوب متعددی وجود دارد. و با توجه به اینکه مدل‌های رایگان و متن‌باز بهتر از همیشه شده‌اند – و استفاده از آنها ساده است، با حداقل نیازهای سخت‌افزاری – اکنون زمان بسیار مناسبی برای امتحان کردن آن است.

در اینجا چند دلیل آورده شده که چرا مدل‌های متن‌باز بهتر از پرداخت ماهیانه ۲۰ دلار به چت‌جی‌پی‌تی، پِرپلکسیتی یا گوگل هستند:

• رایگان است. هیچ هزینه اشتراکی ندارد.
• داده‌های شما روی دستگاه خودتان باقی می‌ماند.
• آفلاین کار می‌کند، نیازی به اینترنت نیست.
• می‌توانید مدل خود را برای موارد استفاده خاص، مانند نوشتن خلاقانه یا… خب، هر چیزی، آموزش و سفارشی‌سازی کنید.

مانع ورود از بین رفته است. اکنون برنامه‌های تخصص‌یافته‌ای وجود دارند که به کاربران اجازه می‌دهند بدون دردسر نصب کتابخانه‌ها، وابستگی‌ها و افزونه‌ها به صورت مستقل، با هوش مصنوعی آزمایش کنند. تقریباً هر کسی که یک کامپیوتر نسبتاً جدید دارد می‌تواند این کار را انجام دهد: یک لپ‌تاپ یا دسکتاپ میان‌رده با ۸ گیگابایت حافظه ویدئویی می‌تواند مدل‌های شگفت‌انگیزاً قدرتمندی را اجرا کند و برخی مدل‌ها روی ۶ گیگابایت یا حتی ۴ گیگابایت حافظه ویدئویی نیز اجرا می‌شوند. و برای اپل، هر تراشه سری-ام (از چند سال گذشته) قادر به اجرای مدل‌های بهینه‌شده خواهد بود.

نرم‌افزار رایگان است، نصب آن چند دقیقه بیشتر طول نمی‌کشد، و دلهره‌آورترین مرحله—انتخاب ابزار مورد استفاده—به یک سؤال ساده ختم می‌شود: دکمه زدن را ترجیح می‌دهید یا تایپ فرمان‌ها را؟

ال‌ام استودیو در مقابل اولاما

دو پلتفرم فضای هوش مصنوعی محلی را در اختیار دارند و هر یک از زاویه‌ای مخالف به مسئله نزدیک می‌شوند.

ال‌ام استودیوهمه چیز را در یک رابط گرافیکی شسته‌رفته می‌پیچد. شما به سادگی می‌توانید برنامه را دانلود کنید، از کتابخانه مدل داخلی آن جستجو کنید، برای نصب کلیک کرده و گفتگو را آغاز نمایید. این تجربه مشابه استفاده از چت‌جی‌پی‌تی است، با این تفاوت که پردازش روی سخت‌افزار خودتان انجام می‌شود. کاربران ویندوز، مک و لینوکس همه تجربه‌ای یکسان و روان دریافت می‌کنند. برای تازه‌واردان، این نقطه شروع آشکاری است.

اولاماهدف این ابزار توسعه‌دهندگان و کاربران حرفه‌ای است که در ترمینال زندگی می‌کنند. از طریق خط فرمان نصب کنید، مدل‌ها را تنها با یک فرمان دریافت نمایید و سپس تا دلتان می‌خواهد اسکریپت‌نویسی یا اتوماسیون انجام دهید. این ابزار سبک‌وزن و سریع است و به شکلی تمیز در گردش کارهای برنامه‌نویسی ادغام می‌شود.

منحنی یادگیری شیب‌دارتر است، اما نتیجه آن انعطاف‌پذیری است. همچنین این چیزی است که کاربران حرفه‌ای برای تطبیق‌پذیری و قابلیت سفارشی‌سازی انتخاب می‌کنند.

هر دو ابزار مدل‌های پایه یکسانی را با استفاده از موتورهای بهینه‌سازی یکسان اجرا می‌کنند. تفاوت‌های عملکردی ناچیز است.

راه‌اندازی

بازدیدال ام استودیو دات ای آیو نصب‌کننده مربوط به سیستم‌عامل خود را دانلود کنید. حجم فایل حدود ۵۴۰ مگابایت است. نصب‌کننده را اجرا کرده و دستورالعمل‌ها را دنبال کنید. برنامه را راه‌اندازی کنید.

راهنمایی ۱: اگر از شما پرسید چه نوع کاربری هستید، گزینه «توسعه‌دهنده» را انتخاب کنید. پروفایل‌های دیگر فقط گزینه‌ها را مخفی می‌کنند تا کارها ساده‌تر شود.

نکته ۲ پیشنهاد خواهد داد که ، مدل هوش مصنوعی متن‌باز را دانلود کنید. در عوض، فعلاً روی «رد کردن» کلیک کنید؛ مدل‌های بهتر و کوچک‌تری وجود دارند که عملکرد بهتری خواهند داشت.

حافظه ویدیویی: کلید اجرای هوش مصنوعی محلی

پس از نصب ، برنامه آماده اجرا خواهد بود و به این شکل به نظر می‌رسد

اکنون باید یک مدل دانلود کنید تا ال‌ال‌ام شما کار کند. و هرچه مدل قدرتمندتر باشد، به منابع بیشتری نیاز خواهد داشت.

منبع حیاتی، حافظه ویدئویی یا روی کارت گرافیک شماست. مدل‌های زبانی بزرگ در حین پردازش به بارگذاری می‌شوند. اگر فضای کافی نداشته باشید، عملکرد به شدت افت می‌کند و سیستم مجبور به استفاده از حافظه رم کندتر خواهد شد. برای جلوگیری از این مشکل باید کافی برای مدلی که قصد اجرای آن را دارید، در اختیار داشته باشید.

برای دانستن میزان حافظه ویدیویی خود، می‌توانید وارد مدیریت وظایف ویندوز شوید ++ و روی تب کلیک کنید، مطمئن شوید که کارت گرافیک اختصاصی را انتخاب کرده‌اید و نه گرافیک مجتمع روی پردازنده اینتلای‌ام‌دی خود.

در بخش «حافظه اختصاصی پردازنده گرافیکی» خواهید دید که چقدر وی‌رَم دارید.

در مک‌های سری ام، کارها ساده‌تر است چون رم و ویدیورام مشترک هستند. مقدار رم روی دستگاه شما معادل ویدیورامی خواهد بود که در دسترس دارید.

برای بررسی، روی لوگوی اپل کلیک کنید، سپس روی «درباره» کلیک نمایید. حافظه را می‌بینید؟ این مقدار شماست.

شما حداقل به ۸ گیگابایت حافظه ویدئویی نیاز خواهید داشت. مدل‌های در محدوده ۷ تا ۹ میلیارد پارامتر که با استفاده از فشرده‌سازی ۴ بیتی کم‌ظرفیت شده‌اند، به‌راحتی جای می‌گیرند و در عین حال عملکرد قدرتمندی ارائه می‌دهند. شما متوجه خواهید شد که یک مدل کم‌ظرفیت شده است، زیرا توسعه‌دهندگان معمولاً این موضوع را در نام آن فاش می‌کنند. اگر در نام آن ، یا را مشاهده کردید، значит با یک مدل کم‌ظرفیت شده روبرو هستید. هرچه عدد پایین‌تر باشد مانند ، ، ، ، منابع کمتری مصرف خواهد کرد.

این مقایسه کاملاً مشابه نیست، اما کوانتیزه‌سازی را مانند رزولوشن صفحه نمایش خود در نظر بگیرید. شما همان تصویر را با ، ، یا خواهید دید. در هر رزولوشنی قادر خواهید بود همه چیز را درک کنید، اما زوم کردن و سخت‌گیری در جزئیات نشان می‌دهد که یک تصویر اطلاعات بیشتری نسبت به دارد، اما برای نمایش به حافظه و منابع بیشتری نیاز دارد.

اما در حالت ایده‌آل، اگر واقعاً جدی هستید، باید یک کارت گرافیک گیمینگ مناسب با ۲۴ گیگابایت حافظه ویدئویی بخرید. فرقی نمی‌کند نو باشد یا نه، و فرقی نمی‌کند چقدر سریع یا قدرتمند باشد. در سرزمین هوش مصنوعی، حافظه ویدئویی پادشاه است.

وقتی بدانید چقدر از را می‌توانید استفاده کنید، آنگاه می‌توانید تشخیص دهید کدام مدل‌ها را می‌توانید اجرا کنید با مراجعه بهماشین حساب حافظه ویدئویییا اینکه، ابتدا با مدل‌های کوچک‌تر با کمتر از ۴ میلیارد پارامتر شروع کنید و سپس به مدل‌های بزرگ‌تر بروید تا کامپیوترتان به شما بگوید که حافظه کافی ندارید. (بعداً بیشتر در مورد این تکنیک صحبت خواهیم کرد.)

دریافت مدل‌های شما

وقتی محدودیت‌های سخت‌افزارتان را دانستید، وقت آن است که یک مدل دانلود کنید. روی آیکون ذره‌بین در نوار کناری سمت چپ کلیک کنید و مدل را بر اساس نام جستجو کنید.

کوئن و دیپ‌سیک مدل‌های خوبی برای شروع سفرتان هستند. بله، آن‌ها چینی هستند، اما اگر نگران جاسوسی هستید، می‌توانید آسوده خاطر باشید. هنگامی که مدل زبانی خود را به صورت محلی اجرا می‌کنید، هیچ چیزی دستگاه شما را ترک نمی‌کند، بنابراین نه توسط چینی‌ها، نه دولت آمریکا و نه هیچ نهاد شرکتی دیگر جاسوسی نخواهید شد.

در مورد ویروس‌ها، تمامی پیشنهادهای ما از طریق هگینگ فیس ارائه می‌شود، جایی که نرم‌افزارها بلافاصله از نظر جاسوس‌افزارها و سایر بدافزارها بررسی می‌شوند. اما به هر حال، بهترین مدل آمریکایی، مدل لامای متا است، بنابراین اگر میهن‌پرست هستید شاید بخواهید همان را انتخاب کنید. (ما در بخش پایانی پیشنهادهای دیگری هم ارائه می‌دهیم.)

توجه داشته باشید که مدل‌ها بسته به مجموعه داده آموزشی و تکنیک‌های تنظیم دقیقی که برای ساخت آن‌ها استفاده می‌شود، رفتار متفاوتی دارند. صرف‌نظر از گروک ایلان ماسک، چیزی به نام مدل بی‌طرف وجود ندارد زیرا اطلاعات بی‌طرف وجود ندارد. بنابراین بسته به میزان اهمیت‌تان به ژئوپلیتیک، سم خود را انتخاب کنید.

فعلاً هر دو نسخه‌ی مدل کوچک‌تر با قابلیت کمتر و را دانلود کن. اگر می‌توانی نسخه‌ی را اجرا کنی، پس نسخه‌ی را حذف کن و سعی کن نسخه‌ی و به همین ترتیب را دانلود و اجرا کنی. اگر نمی‌توانی نسخه‌ی را اجرا کنی، پس آن را حذف کن و از نسخه‌ی استفاده کن.

پس از دانلود، مدل را از بخش مدل‌های من بارگیری کنید. رابط چت ظاهر می‌شود. پیامی تایپ کنید. مدل پاسخ می‌دهد. تبریک می‌گویم: شما در حال اجرای یک هوش مصنوعی محلی هستید.

دادن دسترسی اینترنت به مدل شما

مدل‌های محلی از ابتدا قابلیت مرور وب را ندارند. آن‌ها به‌صورت طراحی‌شده ایزوله هستند، بنابراین شما بر اساس دانش داخلی‌شان با آن‌ها تکرار خواهید کرد. آن‌ها برای داستان‌نویسی کوتاه، پاسخ به سوالات، انجام برخی کدنویسی‌ها و غیره به خوبی عمل می‌کنند. اما آخرین اخبار را به شما نمی‌دهند، هوا را به شما اطلاع نمی‌دهند، ایمیل‌تان را بررسی نمی‌کنند یا جلسات را برای شما برنامه‌ریزی نمی‌کنند.

سرورهای پروتکل زمینه مدلتغییرش بده.

سرورهای پل ارتباطی بین مدل شما و سرویس‌های خارجی هستند. آیا می‌خواهید هوش مصنوعی شما گوگل را جستجو کند، مخازن گیت‌هاب را بررسی کند یا وب‌سایت‌ها را بخواند؟ سرورهای این امکان را فراهم می‌کنند. در نسخه ۰.۳.۱۷ پشتیبانی از را اضافه کرد که از طریق تب قابل دسترسی است. هر سرور ابزارهای خاصی را ارائه می‌دهد – جستجوی وب، دسترسی به فایل، فراخوانی‌های .

اگر می‌خواهید مدل‌ها به اینترنت دسترسی داشته باشند،راهنمای کامل سرورهایروند راه‌اندازی را توضیح می‌دهد، از جمله گزینه‌های محبوبی مانند جستجوی وب و دسترسی به پایگاه داده.

فایل را ذخیره کنید و به‌طور خودکار سرورها را بارگیری خواهد کرد. وقتی با مدل خود چت می‌کنید، اکنون می‌تواند این ابزارها را برای دریافت داده‌های زنده فراخوانی کند. هوش مصنوعی محلی شما ابرقدرت پیدا کرد.

مدل‌های پیشنهادی ما برای سیستم‌های ۸ گیگابایتی

صدها مدل زبانی بزرگ به‌طور واقعی در دسترس شماست، از گزینه‌های همه‌فن‌حریف گرفته تا مدل‌های تنظیم‌شده برای موارد استفاده تخصصی مانند برنامه‌نویسی، پزشکی، نقش‌آفرینی یا نوشتار خلاق.

بهترین برای کدنویسی:نماترون یا دیپ‌سیک خوب هستند. ذهن شما را متحیر نمی‌کنند، اما در تولید و دیباگ کد به خوبی عمل می‌کنند و در معیارهای برنامه‌نویسی از بیشتر گزینه‌های دیگر بهتر عمل می‌کنند. دیپ‌سیک-کدر-وی۲ ۶.۷ بی گزینه‌ی محکم دیگری ارائه می‌دهد، به‌ویژه برای توسعه چندزبانه.

بهترین برای دانش عمومی و استدلالمدل قابلیت‌های ریاضی قوی دارد و پرسش‌های پیچیده را به‌طور مؤثر مدیریت می‌کند. پنجره زمینه‌ای آن اسناد طولانی‌تر را بدون از دست دادن انسجام در بر می‌گیرد.

بهترین برای نوشتار خلاقانهانواع دیپ‌سیک ، اما به مهندسی پرمپت سنگین نیاز دارید. همچنین فاین‌تیون‌های سانسورنشده‌ای مانند «» وجود دارند.نسخهاز جی‌پی‌تی-او‌اِس اُپن‌اِی، که برای ژانر وحشت مناسب است؛ یانویسندهٔ کثیف-موزکه برای اروتیک خوب است (به قول آنها).

بهترین برای چتبات‌ها، نقش‌آفرینی، داستان‌های تعاملی، خدمات مشتریمایسترال ۷بی به‌ویژه و انواع لاما با پنجره‌های متنی بزرگ. ویژگی‌های شخصیتی را در گفت‌وگوهای طولانی حفظ می‌کند و لحن را به‌طور طبیعی تطبیق می‌دهد. برای نقش‌آفرینی غیرحرفه‌ای دیگر، گزینه‌های زیادی وجود دارد. ممکن است بخواهید برخی از مدل‌های موجود دراین فهرستدر اینجا یک راهنمای گام‌به‌گام برای شروع کار با این ابزار آورده شده است.

برای ام‌سی‌پیمدل‌های و گزینه‌های خوبی هستند اگر می‌خواهید چیزی جدید را امتحان کنید. نیز انتخاب مناسب دیگری است.

تمام مدل‌ها را می‌توانید مستقیماً از دانلود کنید، فقط کافی است نام آن‌ها را جستجو کنید.

توجه داشته باشید که فضای مدل‌های زبانی متن‌باز به سرعت در حال تغییر است. هر هفته مدل‌های جدیدی راه‌اندازی می‌شوند که هر یک ادعای بهبود دارند. می‌توانید آن‌ها را در استودیو اِل‌ام بررسی کنید یا در میان مخازن مختلف روی هگینگ فیس بگردید. گزینه‌ها را خودتان آزمایش کنید. مدل‌های نامناسب به سرعت، به دلیل عبارت‌بندی ناشیانه، الگوهای تکراری و خطاهای واقعی، آشکار می‌شوند. مدل‌های خوب متفاوت به نظر می‌رسند. آن‌ها استدلال می‌کنند. شما را شگفت‌زده می‌کنند.

فناوری کار می‌کند. نرم‌افزار آماده است. کامپیوتر شما احتمالاً همین حالا هم قدرت کافی را دارد. تنها کاری که باقی مانده، امتحان کردن آن است.