fa ▾
کلید ایجاد کنید
کلید ایجاد کنید

Hugging Face Abliterated Models: A Developer's Guide

آخرین به‌روزرسانی

مدل‌های ابلیتریت لایه‌های هم‌راستایی ایمنی را از وزن‌های پایه جدا می‌کنند، قابلیت‌های استدلال را حفظ می‌نمایند و در عین حال محرک‌های امتناع را برای موضوعات بزرگسالان یا بحث‌برانگیز حذف می‌نمایند. این راهنما توضیح می‌دهد که ابلیتریشن چگونه کار می‌کند، چرا با فاین‌تیون متفاوت است و چگونه توسعه‌دهندگان می‌توانند این مدل‌های بدون فیلتر را در برنامه‌های خود ادغام کنند.

مدل‌های آبلیتراتد (Abliterated) چه هستند؟

مدل‌های ابلیتراتد مدل‌های زبانی بزرگ (LLM) هستند که لایه‌های هم‌راستایی ایمنی (Safety alignment) به‌صورت ریاضی از وزن‌های پایه آن‌ها حذف شده است. برخلاف فاین‌تونیگ که داده‌های جدید اضافه می‌کند، ابلیتراسیون فعالیت‌های نورون خاصی را که پاسخ‌های امتناعی را فعال می‌کنند، کم می‌کند. نتیجه، مدلی است که هوش اصلی خود را حفظ می‌کند اما دیگر به‌طور پیش‌فرض محتوای بزرگسالان، بحث‌برانگیز یا تخصصی را مسدود نمی‌کند.

این مدل‌ها با شناسایی وزن‌های مسئول برای 'همسازسازی' و صفر یا خنثی کردن آن‌ها ایجاد می‌شوند. مدل پایه دست‌نخورده باقی می‌ماند، اطمینان حاصل می‌کند که قابلیت‌های استدلال، کدنویسی و دانش عمومی حفظ می‌شوند. مدلی دریافت می‌کنید که مستقیم پاسخ می‌دهد بدون تعارفات معمول 'به عنوان یک مدل زبانی هوش مصنوعی'.

برای توسعه‌دهندگان، این بدان معناست که یک شناسه مدل واحد می‌تواند هم وظایف استاندارد و هم سناریوهای چت‌بات NSFW را بدون نیاز به اندپوینت‌های جداگانه مدیریت کند. مدل محتوای بزرگسالان قانونی را رد نمی‌کند، که آن را برای برنامه‌های هوش مصنوعی بدون محدودیت ایده‌آل می‌سازد.

چرا Abliteration بر Fine-Tuning برتری دارد

فاین‌تیونینگ نیاز به جمع‌آوری مجموعه‌داده‌های عظیم و بازآموزی مدل دارد که پرهزینه و زمان‌بر است. Abliteration یک فرآیند اصلاح وزن است که چند ثانیه طول می‌کشد و به زیرساخت آموزش نیاز ندارد. از خطر «فراموشی فاجعه‌بار» که در آن فاین‌تیونینگ توانایی‌های استدلال پایه مدل را تخریب می‌کند، اجتناب می‌کنید.

با ابلیریشن، دانش هسته‌ای مدل کاملاً مشابه نسخه پایه اصلی باقی می‌ماند. تنها مکانیزم‌های رد (refusal) حذف می‌شوند. این موضوع برای توسعه‌دهندگانی که به دقت بالا در منطق و کدنویسی همراه با تولید محتوای بدون فیلتر نیاز دارند، حیاتی است. مدل‌های فاین‌تیون شده اغلب در لحن یا قابلیت‌ها انحراف پیدا می‌کنند؛ اما مدل‌های ابلیریشن شده به معماری پایه خود وفادار می‌مانند.

فرآیند شفاف و قابل تکرار است. هر کسی می‌تواند تغییرات وزن را تأیید کند، که تضمین می‌کند مدل واقعاً بدون سانسور است و نه فقط با پرامپت به این شکل درآمده است. این قابلیت اطمینان برای محیط‌های تولید که در آن‌ها ثبات مهم است، ضروری است.

فرآیند فنی Abliteration

فرآیند abliteration شامل شناسایی بردار «هم‌راستاسازی» در وزن‌های مدل است. محققان از تکنیک‌هایی مانند SIFT (استنتاج تفریقی برای تنظیم) یا تفریق مستقیم وزن‌ها برای خنثی‌سازی نورون‌هایی که هنگام رد کردن فعال می‌شوند استفاده می‌کنند. این کار با تفریق یک ماتریس اصلاحی کوچک از وزن‌های اصلی انجام می‌شود.

ماتریس اصلاح از مقایسه مدل پایه با نسخه همسوساز شده (مانند آن‌هایی که برای RLHF ریزتنظیم شده‌اند) به دست می‌آید. تفاوت نشان‌دهنده سیگنال همسوسازی است. تفریق این سیگنال لایه ایمنی را بدون تغییر دانش پایه حذف می‌کند. ریاضیات دقیق است، تضمین می‌کند که فقط رفتار رد کردن تحت تأثیر قرار می‌گیرد.

این روش کارآمد است زیرا نیاز به نزول گرادیان یا پس‌پراپاگیشن ندارد. شما به سادگی یک ماسک وزن اعمال می‌کنید. فایل مدل حاصل اغلب کمی کوچک‌تر یا هم‌اندازه فایل اصلی است، بسته به دقت استفاده شده. این یک عملیات سبک است که می‌تواند روی هر مدل وزن‌بازی، از جمله آن‌هایی که در Hugging Face محبوب هستند، اعمال شود.

سرعت و دقت

مدل‌های ابلیریت‌شده در معیارهای سرعت و دقت، عملکردی مشابه متناظران پایه خود دارند. از آنجا که وزن‌های هسته تغییر نکرده‌اند، تأخیر و ظرفیت عبور داده یکسان باقی می‌ماند. شما برای محتوای بدون سانسور، توانایی استدلال را فدا نمی‌کنید. آزمایش‌ها نشان می‌دهد که پس از ابلیریت، افت قابل توجهی در نمرات MMLU یا GSM8K وجود ندارد.

مدل توکن‌ها را با همان نرخ مدل اصلی پردازش می‌کند. حالت‌های Streaming، فراخوانی تابع و JSON دقیقاً همان‌طور که انتظار می‌رود کار می‌کنند. تفاوت تنها در سبک خروجی است: رد محتوای کمتر و پاسخ‌های مستقیم‌تر. این آن را برای APIهای با حجم بالا که ثبات در آن‌ها کلیدی است، ایده‌آل می‌کند.

برای توسعه‌دهندگان، این بدان معناست که می‌توانید مدل‌های Abliterated را با اطمینان مستقر کنید. آن‌ها پرامپت‌های پیچیده، تولید کد و نویسندگی خلاق را به همان خوبی مدل پایه مدیریت می‌کنند. عدم وجود فیلترهای ایمنی خطا ایجاد نمی‌کند؛ بلکه فقط پاسخ‌های «نه» را برای محتوای مجاز حذف می‌کند.

قابلیت‌های محتوای بزرگسالان و NSFW

مدل‌های ابلیتریت شده در سناریوهای چت‌بات NSFW عالی عمل می‌کنند زیرا مکانیسم‌های رد کردن استاندارد را برای محتوای بزرگسالان فعال نمی‌کنند. آن‌ها پاسخ‌های دقیق و بدون فیلتر بدون تعارف یا اخلاق‌مداری تولید می‌کنند. این برای برنامه‌هایی که مخاطبان بزرگسال را هدف قرار می‌دهند و تعاملات مستقیم و بدون سانسور می‌خواهند، حیاتی است.

مدل موضوعات اروتیک، بحث‌برانگیز یا تخصصی را با همان روانی موضوعات استاندارد مدیریت می‌کند. NSFW را با بی‌معنایی اشتباه نمی‌گیرد؛ کیفیت نوشتار بالا باقی می‌ماند. برای مثال، می‌تواند نقش‌آفرینی دقیق یا توصیفات صریح تولید کند بدون اینکه شخصیت را بشکند یا توضیحات اضافه اضافه کند.

با این حال، یک محدودیت سخت اعمال می‌شود: محتوای جنسی مرتبط با کودکان همچنان رد می‌شود. این یک ویژگی ایمنی پایه است که در بیشتر مدل‌های حذف‌شده (abliterated) حفظ شده تا از نقض‌های فاحش جلوگیری شود. برای تمام محتوای قانونی بزرگسالان دیگر، مدل کاملاً مجاز است. این آن را به گزینه‌ای قابل اعتماد برای استقرار LLMهای NSFW تبدیل می‌کند.

مقایسه: استاندارد در برابر Abliterated

ویژگیمدل هم‌راستا استانداردمدل Abliterated
نرخ رد کردنبالا برای NSFW/جنجالینزدیک به صفر برای بزرگسالان قانونی
استدلال پایهبالابالا (بدون تغییر)
هزینه آموزشبالا (اگر فاین‌تیون شده باشد)کم (تفریق وزن)
اندازه مدلاستاندارداستاندارد یا کمی کوچک‌تر
سبک خروجیمحتاطانهمستقیم، بدون فیلتر

مدل‌های ابلیریت‌شده بهترین ویژگی‌های هر دو جهان را ارائه می‌دهند: هوش پایه با خروجی بدون سانسور. مدل‌های استاندارد ایمن‌تر هستند اما اغلب برای برنامه‌های NSFW بیش از حد محدودکننده‌اند. ابلیریت محدودیت را بدون هزینه آموزش مجدد حذف می‌کند.

این مقایسه نشان می‌دهد که چرا توسعه‌دهندگان مدل‌های abliterated را برای موارد استفاده خاص ترجیح می‌دهند. اگر به یک دستیار همه‌منظوره نیاز دارید، یک مدل استاندارد ممکن است کافی باشد. اما برای محتوای نامحدود، abliteration انتخاب فنی برتر است.

نحوه استفاده از آن‌ها در برنامه خود

ادغام یک مدل Abliterated اگر از یک API سازگار با OpenAI استفاده کنید ساده است. شما فقط کلاینت خود را به نقطه پایانی API اشاره می‌کنید و شناسه مدل را به نسخه بدون سانسور تنظیم می‌کنید. اکثر کلاینت‌ها مانند SDK رسمی OpenAI یا LangChain به طور آماده کار می‌کنند.

این‌گونه با استفاده از کلاینت استاندارد متصل می‌شوید:

from openai import OpenAI

client = OpenAI(base_url="https://api.huggingfacellmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

کلید تنظیم URL پایه و شناسه مدل صحیح است. شناسه مدل معمولاً 'uncensored' یا یک تغییر مشابه بسته به ارائه‌دهنده است. نیازی به تغییر قالب پرامپت ندارید؛ مدل آن را به صورت بومی مدیریت می‌کند.

برای پاسخ‌های استریم‌شده، رویدادهای ارسالی سرور (SSE) را فعال کنید تا توکن‌ها را به‌طور بلادرنگ دریافت کنید. این امر تجربه کاربری روانی را تضمین می‌کند، به‌ویژه برای رابط‌های چت. API از تمام پارامترهای استاندارد مانند دما (temperature)، top_p و دنباله‌های توقف (stop sequences) پشتیبانی می‌کند.

آینده مدل‌های زبانی بزرگ بدون سانسور

روند به سمت مدل‌های تخصصی‌تر و بدون سانسور حرکت می‌کند، نه غول‌های همه‌کاره. Abliteration به یک مرحله استاندارد پیش‌پردازش برای مدل‌های مورد استفاده در بازارهای بزرگسالان یا نیچ تبدیل شده است. با بزرگ‌تر شدن مدل‌های پایه، Abliteration در حذف محرک‌های رد شدن ظریف مؤثرتر می‌شود.

انتظار داریم مدل‌های تخصصی‌تری برای کدنویسی، نویسندگی خلاقانه و نقش‌آفری ببینیم. این‌ها برای لحن‌های خاص تنظیم شده‌اند اما همچنان بدون سانسور هستند. فناوری در حال بالغ شدن است و پیدا کردن مدل مناسب برای برنامه شما را برای توسعه‌دهندگان آسان‌تر می‌کند.

میزبانی مستقیم مدل‌های abliterated نیز رشد خواهد کرد. ارائه‌دهندگان این مدل‌ها را به عنوان APIهای مستقل ارائه خواهند داد که وابستگی به پراکسی‌های شخص ثالث را کاهش می‌دهد. این شفافیت در قیمت‌گذاری و عملکرد را تضمین می‌کند که برای برنامه‌های تولیدی حیاتی است.

نتیجه‌گیری: بهترین انتخاب بدون سانسور

مدل‌های ابلیتراتد بهترین مدل‌های AI بدون سانسور برای توسعه‌دهندگانی هستند که به خروجی باکیفیت و نامحدود نیاز دارند، بدون اینکه از توانایی استدلال صرف‌نظر کنند. آن‌ها ارزان‌تر و سریع‌تر از مدل‌های فاین‌تیون‌شده قابل استقرار هستند و متریک‌های عملکرد یکسانی دارند.

برای برنامه‌های چت‌بات NSFW، abliteration تعادل کاملی بین هوشمندی و پذیرش‌پذیری فراهم می‌کند. شما مدلی دریافت می‌کنید که مستقیماً پاسخ می‌دهد، محتوای بزرگسالان را به روانی مدیریت می‌کند و به راحتی در استک موجود شما ادغام می‌شود.

اگر به یک نقطه پایانی قابل اعتماد و بدون سانسور نیاز دارید، استفاده از یک API اختصاصی که این مدل‌ها را میزبانی می‌کند را در نظر بگیرید. API ما یک مدل بدون سانسور با قیمت‌گذاری شفاف و پرداخت‌های ارز دیجیتال ارائه می‌دهد و تضمین می‌کند که دقیقاً آنچه نیاز دارید را بدون هزینه‌های پنهان یا تعهدات ماهانه دریافت کنید.

پرسش‌های رایج

آیا مدل‌های آبلیتراته هابگیگ رایگان برای استفاده هستند؟

مدل‌های ابلیتراتد (Abliterated) خود وزن‌باز هستند و دانلود آن‌ها رایگان است، اما استفاده از آن‌ها از طریق API نیازمند پرداخت هزینه محاسبات است. API ما ۰.۱۵ دلار به ازای هر ۱M توکن ورودی و ۰.۵۰ دلار به ازای هر ۱M توکن خروجی دریافت می‌کند. می‌توانید با ارز دیجیتال شارژ کنید و اعتبار اضافی دریافت نمایید.

آیا مدل‌های حذف‌شده (abliterated) هوش خود را از دست می‌دهند؟

خیر. Abliteration تنها لایه‌های همسازسازی را حذف می‌کند و قابلیت‌های استدلال، کدنویسی و دانش مدل پایه را حفظ می‌کند. معیارها نشان می‌دهند که افت قابل توجهی در دقت نسبت به مدل پایه اصلی وجود ندارد.

آیا محدودیتی برای محتوای NSFW وجود دارد؟

بله، بیشتر مدل‌های abliterated هنوز محتوای جنسی مرتبط با کودکان را رد می‌کنند. با این حال، تمام سایر محتوای قانونی بزرگسالان، از جمله توصیفات صریح و نقش‌آفرینی، بدون رد شدن مجاز است.

چگونه از یک مدل استاندارد به یک مدل abliterated مهاجرت کنم؟

به سادگی شناسه مدل را در کلایند API خود به 'uncensored' یا شناسه نسخه خاص ارائه شده توسط میزبان تغییر دهید. بقیه کد، از جمله استریم و فراخوانی تابع، یکسان باقی می‌ماند.

کلید API خود را اکنون دریافت کنید

ثبت‌نام کنید، کلید را کپی کنید، URL پایه را به‌روزرسانی کنید. تمام.