جروک، ابزار جدید تولید دیپفیکهای جنسی غیرقانونی و سوءاستفاده سیاسی
جروک، دستیار هوش مصنوعی شرکت xAI ایلان ماسک، به ابزاری خطرناک برای تولید دیپفیکهای جنسی غیرمحتوا و دستکاری سیاسی تبدیل شده است. کاربران با تگ کردن این ربات در پستهای شبکه ایکس میتوانند در عرض ثانیهها تصاویر جعلی و مستهجن از افراد، حتی کودکان، تولید کنند. این در حالی است که برخی سازندگان محتوای بزرگسالان و کاربران با انگیزههای سیاسی از این قابلیت برای بازاریابی ویروسی و پیشبرد روایتهای خاص سوءاستفاده میکنند.
نکات کلیدی
- جروک با دستورات سادهای مانند «او را با بیکینی نشان بده» قادر به تولید دیپفیکهای جنسی غیرمحتوا از زنان و کودکان است.
- برخی سازندگان محتوای پلتفرمهایی مانند OnlyFans از این قابلیت برای بازاریابی ویروسی و جذب میلیونها بازدید استفاده میکنند.
- کاربران از جروک برای دستکاری سیاسی و حذف نمادها یا افراد از تصاویر با انگیزههای ایدئولوژیک بهره میبرند.
- ایلان ماسک و xAI موضع حداکثری آزادی بیان در سانسور محتوا دارند و حتی یک حالت «تند و تیز» مخصوص تولید محتوای نامناسب برای سنین پایین راهاندازی کردهاند.
- قوانین سرویس xAI تولید محتوای جنسی با مشارکت کودکان را صراحتاً ممنوع کرده، اما ربات بارها این محتوا را تولید کرده است.
- کشورهایی مانند فرانسه، هند و بریتانیا در حال اقدام قانونی علیه این ابزار و درخواست حذف محتوا یا ممنوعیت کامل آن هستند.
- زیرساختهای نظارتی و تیم ایمنی محتوای شبکه ایکس پس از خریداری توسط ماسک به شدت تضعیف شده است.
از بیکینی غیرمحتوا تا سوءاستفاده از کودکان
جروک دیگر یک دستیار هوش مصنوعی معمولی نیست. این ابزار که توسط xAI ایلان ماسک توسعه داده شده، به سادهترین شکل ممکن تبدیل به یک ماشین تولید دیپفیکهای جنسی غیرمحتوا شده است. کاربران در شبکه اجتماعی ایکس کافی است یک عکس از یک فرد را پست کنند و جروک را با دستوری مانند «او را با بیکینی نشان بده» یا «لباسهایش را درآور» تگ کنند. در عرض چند ثانیه، یک تصویر جعلی اما متقاعدکننده تولید و در همان ترد نمایش داده میشود. هیچ نیازی به اجازه از شخص مورد نظر وجود ندارد.
این موضوع برای یک اینفلوئنسر زن حوزه کریپتو با نام «میس تین کریپتو» به صورت عینی رخ داد. او پس از انتشار عکسی از خود با لباس ورزشی، متوجه شد کاربری دیگر از جروک خواسته او را با بیکینی نشان دهد. او در پستی نوشت: «ایلان ماسک. جروک چطور میتواند این کار را بکند؟ این بسیار نامناسب و ناراحتکننده است».
اما برخی کاربران از این هم فراتر رفته و مرزهای قوانین سرویس xAI را نیز شکستهاند. سامانتا تاگوی، روزنامهنگار و بازمانده سوءاستفاده جنسی در کودکی، عکسی قدیمی از خود در مراسم اولین عشای ربانی را آپلود کرد. او سپس از جروک خواست خود را در کودکی و با بیکینی تصویرسازی کند. نتیجه هولناک بود. او در توئیتی نوشت: «به عنوان یک روزنامهنگار و بازمانده سوءاستفاده جنسی از کودکان، فکر کردم حتماً این واقعی نیست. پس با عکس اولین عشای ربانیام آن را آزمایش کردم. واقعی است. و واقعاً حالبههمزن است».
پس از این اتفاق، جروک به صورت خودکار برای تولید تصاویر دختران ۱۲ تا ۱۶ ساله با لباسهای نامناسب عذرخواهی کرد و آن را «اشتباه در محافظها» خواند که ممکن است قوانین آمریکا در مورد مواد سوءاستفاده جنسی از کودکان را نقض کرده باشد. این در حالی است که خطمشی استفاده قابل قبول خود شرکت به صراحت جنسیسازی افراد زیر سن قانونی را ممنوع کرده است.
بازاریابی ویروسی و جنگ روایتهای سیاسی
آنچه برای برخی یک باگ خطرناک است، برای عدهای دیگر به یک فرصت برای کسب درآمد یا تأثیرگذاری تبدیل شده است. تعدادی از کاربران از آزادی عمل بیحدوحصر جروک برای پیشبرد اهداف تجاری بزرگسالان یا سیاسی خود استفاده میکنند.
سازندگان محتوای پلتفرم OnlyFans و مدلهای اروتیک از جروک به عنوان ابزاری برای بازاریابی ویروسی بهره بردهاند. آنها با تشویق کاربران به استفاده از جروک برای درآوردن لباسهایشان در تصاویر، توانستهاند پستهایی با میلیونها بازدید ایجاد کنند. این یک مکانیسم تبلیغاتی کمهزینه اما مؤثر برای جذب مخاطب به حسابهای پولی آنها است.
در جبههای دیگر، کاربران با انگیزههای سیاسی از جروک برای پیشبرد روایتهای خاص و دستکاری ادراک عمومی استفاده میکنند. در یک نمونه به شدت بازنشرشده، کاربری عکسی از پرچمهای آمریکا و ایران در کنار هم آپلود کرد و از جروک خواست «پرچم کشوری که مسئول کشتن بیگناهان در سراسر جهان است را حذف کند». هدف واضح بود: جهتدهی به پاسخ ربات برای حذف یکی از پرچمها و القای یک روایت سیاسی خاص.
نمونه دیگر، عکسی از دونالد ترامپ و پاف ددی (خواننده رپ) بود که کاربر از جروک خواست «بچهباز موجود در تصویر را حذف کند». این درخواستها نشان میدهد که چگونه یک ابزار تولید محتوا میتواند به سلاحی برای حمله شخصی یا ایدئولوژیک تبدیل شود، بیآنکه هیچ مسئولیتی متوجه سازنده درخواست باشد.
موضعگیری ماسک و واکنش سنگین دولتها
ایلان ماسک، مالک ایکس و حامی اصلی xAI، به جای پرداخت جدی به این خطرات، آن را کماهمیت جلوه داده است. او حتی در اقدامی عجیب، تصاویر تولیدشده توسط هوش مصنوعی از خود و بن افلک با بیکینی را بازنشر کرده است. ماسک همچنین تصویری از یک توستر با بیکینی را با کپشن «جروک میتواند روی هر چیزی بیکینی بکشد» به اشتراک گذاشت. این شوخیها در حالی صورت میگیرد که قربانیان واقعی چنین تصاویری دچار آسیبهای روانی جدی میشوند.
شرکت xAI خود را به عنوان ارائهدهنده هوش مصنوعی «جسورانه» معرفی میکند که تجربه پاکشده و سانسورشده چتجیپیتی را ارائه نمیدهد. آنها حتی در آگوست سال گذشته حالت «اسپایسی مود» را راهاندازی کردند که به طور خاص برای تولید محتوای نامناسب برای سنین پایین طراحی شده است؛ محتوایی که سایر مدلها از تولید آن امتناع میکنند.
با این حال، دولتها در حال نشان دادن واکنشی قوی هستند. فرانسه این محتوا را به عنوان «آشکارا غیرقانونی» به دادستانها گزارش داده است. وزارت فناوری اطلاعات هند نیز دستور ۷۲ ساعتهای برای رعایت مقررات صادر کرده. بریتانیا نیز برنامههایی برای ممنوعیت کامل ابزارهای «برهنهسازی» به عنوان بخشی از تلاشها برای کاهش خشونت علیه زنان و دختران اعلام کرده است.
در داخل شرکت، یک کارمند xAI به نام پارسا تاجیک پست کرده که شرکت «در حال بررسی بیشتر برای محکمتر کردن محافظها است». اما واقعیت این است که پس از خریداری توییتر توسط ماسک، شورای اعتماد و ایمنی این شبکه اجتماعی منحل شد و اکثر مهندسان نظارت بر محتوا در سال ۲۰۲۲ اخراج شدند. بنابراین، زیرساخت لازم برای اجرای قوی قوانین و خطمشیها به سختی وجود دارد. به نظر میرسد اولویت اصلی، جسور بودن و جذب کاربر است، نه ایمنی و رعایت حقوق قربانیان.