تحذير جديد تم إصداره لملايين مستخدمي Gmail
نحن في خضم تحول بين الأجيال، حيث تستفيد الهواتف الذكية التي تدير حياتنا بالفعل من أكبر زيادة في قدراتها على الإطلاق. في حين أن الذكاء الاصطناعي موجود في كل مكان، فمن الواضح أننا لا نفهم المخاطر بشكل كامل حتى الآن، ناهيك عن طرق البقاء آمنًا. ومن الواضح أيضًا أنه ليس هناك عودة إلى الوراء.
وكذلك الحال مع العدد الكبير من مستخدمي Gmail هذا الأسبوع، حيث تواصل Google تحديث الملايين من حسابات Workspace لتقديم أدوات ذكاء اصطناعي جديدة. أولئك الذين يعتمدون على منصة المراسلة الأكثر شعبية في العالم قد رأوا للتو الخير والشر في كل هذه التغييرات في نفس الوقت تقريبًا.
أولا إلى الخير. جوجل لديها مؤكد أن الردود الذكية التي تعمل بنظام Gemini، والتي تم تقديمها لأول مرة في حدث I/O في وقت سابق من هذا العام، أصبحت الآن متاحة على Android وiOS. “يسعدنا أن نعلن عن ميزة Gemini الجديدة في Gmail، وهي الردود الذكية السياقية، والتي ستوفر استجابات أكثر تفصيلاً لالتقاط هدف رسالتك بشكل كامل.”
سيقدم هذا مجموعة من الردود “التي تأخذ في الاعتبار محتوى الموضوع بأكمله”. في حين أن قراءة الذكاء الاصطناعي لسلسلة رسائل البريد الإلكتروني بأكملها، أو حتى سجل البريد الإلكتروني بأكمله، تشكل مخاوف واضحة تتعلق بالأمان والخصوصية، ويمكن التخفيف من ذلك من خلال التمييز بين المعالجة على الجهاز والمعالجة السحابية.ومن خلال البنى الجديدة التي تقدم المعالجة السحابية كامتداد آمن لهاتفك.
استجابات سياقية ذكية مدعومة من الجوزاء
ومع ذلك، هناك مشكلة خطيرة، أبرزها تقرير آخر هذا الأسبوع يدرس استخدام Gemini في Workspace كأداة إنتاجية، بما في ذلك قراءة وتلخيص والرد على رسائل البريد الإلكتروني التي لم نراجعها بأنفسنا.
وهذا يثير “الخطر الكبير” لتعرض الجوزاء لـ “هجمات الحقن السريع غير المباشرة”. طبقة مخفيةويحذر فريق البحث من أن رسائل البريد الإلكتروني الضارة قد تكون مصممة ليس ليقرأها الإنسان، بل لكي يأمر الإنسان الذكاء الاصطناعي بتلخيصها أو اتخاذ إجراء. وبهذه الطريقة، يمكن “للمهاجمين الخارجيين”، كما يوحي إثبات المفهوم الخاص بهم، شن هجوم تصيد داخل دردشة الذكاء الاصطناعي نفسها، مما يخدع المستخدمين للنقر بشكل خطير.
مثل آي بي إم يوضح: “الحقن السريع هو نوع من الهجوم الإلكتروني ضد نماذج اللغات الكبيرة (LLM). يقوم المتسللون بإخفاء المدخلات الضارة كمطالبات مشروعة، والتلاعب بأنظمة الذكاء الاصطناعي التوليدي (GenAI) لتسريب البيانات الحساسة، أو نشر معلومات مضللة، أو ما هو أسوأ من ذلك… فكر في مساعد افتراضي مدعوم من LLM يمكنه تحرير الملفات وكتابة رسائل البريد الإلكتروني. ومن خلال المطالبة الصحيحة، يمكن للمتسلل خداع هذا المساعد لنقل المستندات الخاصة.
مطالبة الذكاء الاصطناعي الضارة في البريد الإلكتروني
يرسل المهاجم بريدًا إلكترونيًا غير ضار إلى الضحية المقصودة، مع مطالبة النظام في البريد الإلكتروني نفسه. أحد الأمثلة المقدمة هو رسالة بريد إلكتروني بسيطة تطلب اجتماع غداء يتضمن مطالبة بعرض تنبيه باختراق كلمة المرور بما في ذلك رابط التصيد إذا سأل الضحايا المقصودون جيميني عن خط سير رحلتهم.
تشرح شركة IBM أن “ثغرة الحقن الفوري تحدث لأن موجه النظام وإدخال المستخدم يتخذان نفس التنسيق: سلاسل نصية باللغة الطبيعية. وهذا يعني أن LLM لا يمكنه التمييز بين التعليمات والمدخلات المستندة فقط على نوع البيانات. وبدلاً من ذلك، فإنه تعتمد LLM على التدريب السابق والمطالبات نفسها لتحديد ما يجب فعله إذا قام أحد المهاجمين بإنشاء مدخلات تبدو كافية مثل موجه النظام، وتتجاهل LLM تعليمات المطورين وتفعل ما يريده المتسلل.
يشير فريق Hidden Layer إلى أنه “على الرغم من أن هذه أمثلة بسيطة لإثبات المفهوم، إلا أنها تظهر أن طرفًا ثالثًا ضارًا يمكنه التحكم في Gemini for Workspace وعرض أي رسالة يريدها. كجزء من الإفصاح المسؤول، تم إبلاغ Google بهذا الإدخال السريع وغيره من الأمور الأخرى في هذه المدونة، والتي قررت عدم اعتبارها مشكلة أمنية ووضعت علامة على التذكرة بأنها “لن يتم إصلاح (السلوك المقصود).
استجابة الجوزاء، تحول المطالبة الخبيثة إلى هجوم تصيد احتيالي
لا يقتصر الأمر على Gmail فقط. مع تزيين الأشرطة الجانبية للذكاء الاصطناعي الآن بالعديد من التطبيقات وأدوات الإنتاجية، يمتد ناقل الهجوم ليشمل جميع أنواع تطبيقات المراسلة والمرفقات. ونحن في البداية. هذا هو التكرار التالي للهندسة الاجتماعية التي تقف وراء العديد من الهجمات الإلكترونية التي نبلغ عنها، الهندسة الاجتماعية هنا فقط هي التي تعالج تفاعلنا مع الذكاء الاصطناعي بدلاً من أي من الآخرين.
“على الرغم من أن برنامج Gemini for Workspace متعدد الاستخدامات للغاية ومتكامل مع العديد من منتجات Google، إلا أن هناك تحذيرًا مهمًا،” يحذر Hidden Layer، “قابليته للحقن السريع غير المباشر… في ظل ظروف معينة، يمكن للمستخدمين التلاعب بالمساعد لإنتاج استجابات مضللة أو غير مقصودة بالإضافة إلى ذلك ، يمكن للمهاجمين الخارجيين توزيع المستندات ورسائل البريد الإلكتروني الضارة… مما يعرض سلامة الردود الناتجة عن مثيل Gemini المستهدف.
يبدو أن Google تأخذ هذا الأمر على محمل الجد ولن تعتبر هذه التهديدات بمثابة سلوك متعمد. ردًا على تقرير الطبقة المخفية، أخبرني متحدث باسم Google أن “الدفاع ضد هذه الفئة من الهجمات كان يمثل أولوية مستمرة بالنسبة لنا، وقد قمنا بنشر العديد من الدفاعات القوية للحفاظ على أمان المستخدمين، بما في ذلك الضمانات لمنع هجمات الحقن السريعة والهجمات الضارة”. أو ردود مضللة نحن نعمل باستمرار على تعزيز دفاعاتنا القوية بالفعل من خلال تمارين الفريق الأحمر التي تدرب نماذجنا على الدفاع ضد هذه الأنواع من هجمات الخصم.
وينطبق هذا على الجميع، وليس فقط على Google Workspace. إن الأمر مجرد أن Google في وضع فريد مع منصات مثل Gmail للتخلص التدريجي من الذكاء الاصطناعي الخاص بها بشكل أسرع من أي شخص آخر، وبالتالي من المحتمل أن تظهر هذه المشكلات أولاً.
“Social media addict. Zombie fanatic. Travel fanatic. Music geek. Bacon expert.”