أطلق قسم السحابة في أمازون تحقيقًا في Perplexity AI. علمت WIRED أن المشكلة تكمن فيما إذا كانت شركة البحث الناشئة بالذكاء الاصطناعي تنتهك قواعد Amazon Web Services عن طريق إزالة مواقع الويب التي حاولت إيقافها.
أكد متحدث باسم AWS، الذي تحدث إلى WIRED بشرط عدم الكشف عن هويته، تحقيق الشركة في Perplexity. اكتشفت WIRED سابقًا أن الشركة الناشئة يدعم من صندوق عائلة جيف بيزوس ونفيديا، وكان ذلك مؤخرًا مُقدَّر بقيمة 3 مليارات دولار – يبدو أنها تعتمد على محتوى من مواقع الويب المسروقة التي تم منعها من الوصول إليها عبر بروتوكول استبعاد الروبوتات، وهو معيار ويب مشترك. على الرغم من أن بروتوكول استبعاد الروبوتات ليس ملزمًا قانونًا، إلا أن شروط الخدمة عادةً ما تكون ملزمة.
بروتوكول استبعاد الروبوت يعد هذا معيار ويب عمره عقودًا يضع ملفًا نصيًا عاديًا (مثل wired.com/robots.txt) على المجال للإشارة إلى الصفحات التي لا ينبغي لبرامج الروبوت وبرامج الزحف الآلية زيارتها. على الرغم من أن الشركات التي تستخدم أدوات الكشط قد تختار تجاهل هذا البروتوكول، إلا أن معظمها اتبعته بشكل تقليدي. صرح المتحدث باسم أمازون لـ WIRED أنه يجب على عملاء AWS الالتزام بمعيار robots.txt عند الزحف إلى مواقع الويب.
وقال المتحدث في بيان: “تحظر شروط خدمة AWS على العملاء استخدام خدماتنا في أي نشاط غير قانوني، ويتحمل عملاؤنا مسؤولية الامتثال لشروطنا وجميع القوانين المعمول بها”.
يتبع التدقيق في ممارسات الحيرة تقرير 11 يونيو من فوربس التي اتهمت الشركة الناشئة بسرقة عنصر واحد على الأقل من عناصرها. أكدت تحقيقات WIRED هذه الممارسة ووجدت المزيد من الأدلة على إساءة الاستخدام والسرقة الأدبية من قبل الأنظمة المرتبطة ببرنامج الدردشة الآلي البحثي الذي يعمل بالذكاء الاصطناعي التابع لشركة Perplexity. قام المهندسون في شركة Condé Nast، الشركة الأم لـ WIRED، بحظر زاحف Perplexity على جميع مواقع الويب الخاصة بها باستخدام ملف robots.txt. لكن WIRED اكتشفت أن الشركة تمكنت من الوصول إلى خادم باستخدام عنوان IP غير منشور – 44.221.181.252 – والذي زار عقارات Condé Nast مئات المرات على الأقل خلال الأشهر الثلاثة الماضية، على ما يبدو لحذف مواقع Condé Nast على الويب.
يبدو أن الجهاز المرتبط بـ Perplexity منخرط في عملية زحف واسعة النطاق لمواقع الأخبار التي تمنع الروبوتات من الوصول إلى محتواها. ويزعم المتحدثون الرسميون باسم The Guardian وForbes وNew York Times أيضًا أنهم اكتشفوا عنوان IP على خوادمهم في عدة مناسبات.
قامت WIRED بتتبع عنوان IP إلى جهاز ظاهري يُعرف باسم مثيل Elastic Compute Cloud (EC2) المستضاف على AWS، والذي بدأ تحقيقاته بعد أن سألنا ما إذا كان استخدام البنية التحتية لـ AWS لإزالة مواقع الويب التي تحظرها ينتهك شروط خدمة الشركة.
في الأسبوع الماضي، رد أرافيند سرينيفاس، الرئيس التنفيذي لشركة Perplexity، على استفسار WIRED بالقول أولاً إن الأسئلة التي طرحناها على الشركة “تعكس سوء فهم عميق وجوهري لكيفية عمل Perplexity والإنترنت”. سرينيفاس إذن قال لشركة فاست أن عنوان IP السري الذي لاحظته WIRED أثناء مسح مواقع Condé Nast وأن الموقع الاختباري الذي أنشأناه تم تشغيله من قبل شركة خارجية تؤدي خدمات الزحف إلى مواقع الويب وفهرستها. ورفض ذكر اسم الشركة، مستشهدا باتفاقية عدم الإفصاح. وعندما سئل عما إذا كان سيطلب من الطرف الثالث التوقف عن استكشاف WIRED، أجاب سرينيفاس: “الأمر معقد. »
