دراسة تحذر: لا تدع “شات جي بي تي” يجري البحوث المالية نيابة عنك

لا تتخل عن محللك المالي.. البشري: فشل كل من شات جي بي تي ومنافسوه في مجال الذكاء الاصطناعي التوليدي في استخلاص البيانات من تقارير وبيانات علاقات المستثمرين، وفقا لدراسة أجرتها شركة باترونوس أيه آي، والتي أسسها موظفان سابقان في ميتا.

التجربة: قامت شركة باترونوس بإدخال عدد كبير من ملفات هيئة الأوراق المالية والبورصات الأميركية إلى نظام النماذج اللغوية لكلا من أوبن أيه آي وميتا وأنثروبيك، وطلبت من كل منهم الإجابة على 150 سؤالا بديهيا. وكانت النتيجة أن الروبوتات أجابت بطريقة خاطئة بنسبة 68% إلى 81% من الحالات، لأنهم إما لم يفهموا السؤال أو اختاروا إجابات مزيفة بشكل عشوائي.

حتى في حالات استخدام “نوافذ السياق الممتدة” تظل الروبوتات تسجل نسبة فشل تتراوح بين 21 و24%، إذ تفشل في الإجابة على 4% من جميع الحالات.

يمكن اعتبار نافذة السياق هي ذاكرة الروبوت، وهي الأشياء التي يحتاج إلى الاحتفاظ بها في “رأسه” للإجابة على سؤال ما. يمكن لنافذة سياق طويلة واحدة أن تتضمن عدة مستندات ومقاطع فيديو أو محادثات كبيرة. فكلما كانت النافذة أطول كلما كان فهم الروبوت للسياق أفضل، وكلما أصبح قادرا على تفسير البيانات وتلخيصها بشكل أفضل. المشكلة: تعد النوافذ الطويلة باهظة الثمن، ومن الصعب تدريب الروبوتات عليها، ولا تزال معدلات الخطأ فيها مرتفعة، فالمزيد من البيانات = فرصة أكبر للخطأ ما لم تتمكن من التحكم في نماذج اللغة الكبيرة.

جزء من المشكلة: نماذج الذكاء الاصطناعي العامة يجري تدريبهاكي تكون محترفة في جميع المهن، ولكن دون أن تكون مثالية في مجال التمويل، حسبما قال الرئيس التنفيذي لشركة باترونوس أناند كانابان.

ما هو نهج شركة باترونوس؟ تساعد باترونوس الشركات على تعلم “استخدام الذكاء الاصطناعي التوليدي بثقة أكبر” من خلال مساعدة الفرق على “اكتشاف أخطاء نماذج اللغة الكبيرة على نطاق واسع“. كما طرحت الشركة منتجا يسمى فايننشال بينش هذا الشهر، والذي يعتبر “المعيار الأول في الصناعة ككل لاختبار كيفية أداء نماذج اللغة الكبيرة في المسائل المالية”.

ليست كل المستندات المالية متساوية: سيواجه الروبوت الذي يتعلم في أواخر 2023 فهم بيانات هيئة الأوراق المالية والبورصات المتاحة للجمهور، تحديات مختلفة إذا ما جرى طرح أسئلة حول معلومات تتعلق بمذكرات المعاملات والعروض التقديمية وأبحاث الأسهم، حسبما قال كانابان.

للمزيد – يمكنكم زيارة الموقع الإلكتروني لشركة باترونوسأيه آي، أو الاطلاع على البيان الصحفي الذي أصدرته بشأن الدراسة، أو أقرأ المزيد عن الموضوع في فورتشن وسي إن بي سي.