info[at]nsec.ir
(+۹۸)-۳۱-۳۳۹۱۵۳۳۶

اگر از هوش مصنوعی برای توسعه کد استفاده می‌کنید، مراقب باشید!!!

افراد زیادی برای توسعه کدهای خود از هوش مصنوعی استفاده می‌کنند. در برخی کدهای تولید شده، از کتابخانه‌هایی استفاده می‌شوند که در واقع اصلا وجود ندارند. مثلا کد تولید شده توسط هوش مصنوعی حاوی قطعه کدی به صورت import xyz است که هوش مصنوعی فرض کرده xyz عملکرد خاصی انجام می‏ دهد. این پدیده ناشی از توهم هوش مصنوعی است. هوش مصنوعی در مواردی که نتواند پاسخ مناسب پیدا کند از پاسخهای ساختگی استفاده می‌کند.

 مهاجمان کتابخانه هایی حاوی کد بدخواه خود ایجاد کرده و آنها را مانند بسته‌هایی که معمولاً توسط مدل‌های هوش مصنوعی در مثال‌های کدنویسی ساخته می‌شوند نامگذاری و آنها را در ریپوزیتوری کدها و ایندکس‌هایی مانند PyPI و npm منتشر می‌کنند.

کاربرانی که هوش مصنوعی کتابخانه ساختگی با نام xyz را برای توسعه کدشان به آنها پیشنهاد می‏دهد، در ریپوزیتوری با جستجوی xyz، کتابخانه بدخواه مهاجم را دریافت و استفاده می‌کنند. محققان این حمله را Slopsquatting نامگذاری کردند.

هرگز فرض نکنید بسته‌ای که در کد تولید شده توسط هوش مصنوعی ذکر شده، واقعی یا ایمن است. کد تولید شده توسط هوش مصنوعی را قبل از اجرا یا استقرار در محیط‌های عملیاتی، در یک محیط امن و ایزوله آزمایش کنید.