بازگشت به وبلاگامنیت هوش مصنوعی

Samsung سه بار کد منبع خود را به ChatGPT از دست داد

سه تیم مهندسی مجزای Samsung در آوریل ۲۰۲۳ کد اختصاصی و داده‌های محرمانه را در ChatGPT وارد کردند. هر رویداد یک نقص متفاوت را آشکار کرد.

March 13, 20269 دقیقه مطالعه
Samsung ChatGPT leaksource code protectionenterprise AI controlsinsider data leakageMCP Server anonymization

به‌روزرسانی برای ۲۰۲۶

سه تیم، سه نشت، یک ماه

در آوریل ۲۰۲۳، Samsung Semiconductor سه رویداد جداگانه را افشا کرد. سه تیم مختلف در یک ماه، داده‌های اختصاصی را به یک چت‌بات هوش مصنوعی ارسال کرده بودند. رویدادها ارتباطی به هم نداشتند. افراد مختلف، نقش‌های مختلف، روزهای مختلف.

فقط دو ویژگی مشترک داشتند. هر نفر از ابزار برای انجام کار واقعی استفاده کرده بود. هر نفر به‌طور تصادفی داده‌هایی ارسال کرده بود که Samsung قصد نداشت خارج از شرکت به اشتراک گذاشته شود.

رویداد ۱ — کد منبع. یک مهندس نرم‌افزار داشت کد تجهیزات را اشکال‌زدایی می‌کرد. کد منبع اختصاصی نیمه‌هادی را در چت کپی کرد. کد حاوی IP تولیدی بود.

رویداد ۲ — یادداشت‌های جلسه. یک کارمند داشت خلاصه‌ای از یک جلسه آماده می‌کرد. یادداشت‌هایش را برای فشرده‌سازی به هوش مصنوعی ارسال کرد. آن یادداشت‌ها حاوی جزئیات استراتژی و نقشه راه محرمانه بود.

رویداد ۳ — کوئری پایگاه داده. کارمند سومی می‌خواست با یک کوئری کند کمک بگیرد. ساختار پایگاه داده و منطق کوئری را به اشتراک گذاشت. آن منطق به طرح‌های اختصاصی و قوانین کسب‌وکار ارجاع می‌داد.

سه رویداد. سه افشا. یک ماه.

چرا کارمندان این کار را کردند

هیچ‌کدام از سه نفر بی‌احتیاط رفتار نکرده بودند. آن‌ها از یک ابزار هوش مصنوعی برای وظایفی استفاده کردند که ابزارهای هوش مصنوعی برای آن ساخته شده‌اند. بررسی کد. خلاصه‌سازی متن. بهینه‌سازی کوئری. هر وظیفه‌ای مشروع بود.

آنچه کم بود، یک توقف فنی بود. هیچ سیستمی ارسال را قبل از رسیدن به سرور خارجی مسدود نکرد. هیچ فیلتری شناسه‌های اختصاصی را قبل از خروج از شبکه نگیرد. هیچ چیزی بین نیاز واقعی کارمند و سرویس خارجی قرار نگرفت.

یک هشدار سیاستی وجود داشت. اما هشدار مانع نیست. ریسک یک اشتباه تصادفی انتزاعی و دور بود. سود بهره‌وری واقعی و فوری بود. کارگران عقلانی بهره‌وری را انتخاب کردند.

نتیجه قابل پیش‌بینی بود. سه رویداد در سی روز. سه افشای IP. یک بحران شرکتی که باعث ممنوعیت در صنعت شد.

واکنش صنعت

Samsung سریع اقدام کرد. دسترسی به ابزار هوش مصنوعی را روی دستگاه‌های شرکتی قطع کرد.

سازمان‌های دیگر هم پیروی کردند. کسانی که محدودیت‌ها را اعلام کردند شامل Bank of America، Citigroup، Goldman Sachs، JPMorgan Chase، Apple، و Verizon بودند. بخش مالی سریع‌ترین واکنش را نشان داد. بانک‌های بزرگ و شرکت‌های فناوری به همان نتیجه رسیدند. ابزارهای هوش مصنوعی بدون کنترل‌های فنی، ریسک انطباق غیرقابل قبولی ایجاد می‌کردند.

همه آن‌ها به همان یافته رسیدند. کارمندان مشکل نیستند. هشدارهای سیاستی کافی نیستند. داده‌ها شبکه‌های شرکتی را ترک کردند زیرا هیچ‌چیز آن را متوقف نکرد. تنها سیاست نمی‌تواند یک توقف فنی ایجاد کند.

نرخ دور زدن ۷۱.۶٪

رویکرد ممنوعیت یک نرخ شکست اندازه‌گیری‌شده دارد. تحقیقات LayerX در سال ۲۰۲۵ نشان داد ۷۱.۶٪ از کارمندان مشمول ممنوعیت‌های هوش مصنوعی سازمانی به استفاده از ابزارهای هوش مصنوعی ادامه دادند. آن‌ها از حساب‌های شخصی یا دستگاه‌های شخصی استفاده کردند.

دلیل ساده است. ابزاری که ارزش واقعی ارائه می‌دهد، استفاده می‌شود. مردم راه‌های اطراف آن را پیدا می‌کنند تا از آن دست بکشند. هوش مصنوعی می‌تواند زمان وظیفه را نصف کند. یک هشدار سیاستی این محاسبه را تغییر نمی‌دهد. کارگران از تلفن یا لپ‌تاپ شخصی وارد می‌شوند. تیم‌های امنیتی نمی‌توانند آن ترافیک را ببینند.

نتیجه عملی، بدترین حالت است. داده‌های شرکتی همچنان به ارائه‌دهندگان هوش مصنوعی می‌رسند. اما حالا از کانال‌هایی با صفر نظارت جاری می‌شود. ترافیک دستگاه شرکتی حداقل می‌توانست ثبت شود. استفاده از حساب شخصی نامرئی است.

سه رویداد Samsung روی دستگاه‌های شرکتی اتفاق افتاد. کارمندانی که ممنوعیت را دور می‌زنند همین کار را می‌کنند. داده‌های کاری را به مدل‌های هوش مصنوعی می‌فرستند. اما حالا از کانال‌هایی که هیچ دیدپذیری سازمانی ندارند.

راه‌حل فنی که به علت اصلی می‌پردازد

رویدادهای Samsung توسط افراد بی‌احتیاط ایجاد نشدند. توسط یک معماری بدون لایه رهگیری ایجاد شدند. هیچ چیزی بین دستور کارمند و سرور فروشنده قرار نداشت.

معماری Model Context Protocol (MCP) این شکاف را پر می‌کند. یک پروکسی شفاف در مسیر داده قرار می‌دهد. توسعه‌دهندگانی که از Claude Desktop یا Cursor IDE استفاده می‌کنند مخاطبان اصلی هستند. اینها دقیقاً همان ابزارهایی هستند که برای اشکال‌زدایی کد پشت اولین رویداد Samsung استفاده می‌شدند. MCP Server داخل مسیر پروتکل هر دو قرار می‌گیرد.

قبل از اینکه هر متنی به مدل هوش مصنوعی برسد، MCP Server آن را از طریق یک مرحله ناشناس‌سازی اجرا می‌کند. کد منبع برای شناسه‌های اختصاصی اسکن می‌شود. نام توابع، نام متغیرها، و نقاط پایانی API با توکن‌های ساختاریافته جایگزین می‌شوند. جزئیات طرح پایگاه داده و مقادیر پیکربندی هم جایگزین می‌شوند. تبادل قبل از رسیدن کد به مدل هوش مصنوعی اتفاق می‌افتد؛ شناسایی روی API میزبانی‌شده anonym.legal در اتحادیه اروپا اجرا می‌شود.

یک توسعه‌دهنده که کد اختصاصی را اشکال‌زدایی می‌کند، کد را از طریق کلاینت MCP ارسال می‌کند. شناسه‌های حساس قبلاً توکن شده‌اند. مدل هوش مصنوعی همچنان با اشکال‌زدایی کمک می‌کند. جزئیات اختصاصی واقعی هرگز به سرورهای فروشنده نمی‌رسند.

رویداد ۱ از نظر فنی غیرممکن می‌شود. کد منبع شبکه را قبلاً ناشناس‌سازی‌شده ترک می‌کند. مهندس کمک مورد نیاز را دریافت می‌کند. IP تحت کنترل شرکت باقی می‌ماند.

همین منطق رویداد ۲ را پوشش می‌دهد. خلاصه‌سازی یادداشت‌های جلسه از طریق ابزارهای مبتنی بر مرورگر توسط افزونه Chrome و کنترل‌های سازمانی آن پوشش داده می‌شود. رویداد ۳ توسط ناشناس‌سازی MCP در هر رابط کدنویسی هوش مصنوعی پوشش داده می‌شود.

ممنوعیت‌ها در مقابل کنترل‌های فنی

ممنوعیت ابزارهایی که ۷۱.۶٪ از کارمندان آن‌ها را دور می‌زنند، ریسک را کاهش نمی‌دهد. ریسک را به کانال‌های نامرئی منتقل می‌کند.

ابزار مقایسه DLP مرورگر گزینه‌های رهگیری برای استفاده از هوش مصنوعی مبتنی بر مرورگر را پوشش می‌دهد. برای سازمان‌هایی که ناشناس‌سازی را با محصولات DLP دیگر مقایسه می‌کنند، مقایسه Nightfall با anonym.legal مستقیماً به تبادل مسدودسازی-در-مقابل-ناشناس‌سازی می‌پردازد.

رویدادهای Samsung یک سیگنال اولیه بود. علت اصلی یک غیاب بود. بدون لایه رهگیری. بدون کنترل فنی. این شکاف اکنون قابل برطرف شدن است. سوال این است که آیا سازمان‌ها راه‌حل را مستقر می‌کنند، یا به تکیه بر ممنوعیت‌هایی ادامه می‌دهند که اکثر کارمندان آن‌ها را دور می‌زنند.

منابع

آماده‌اید داده‌های خود را محافظت کنید؟

شروع به ناشناس‌سازی PII با ۲۷۳ نوع نهاد در ۴۸ زبان.