مقالات التقنية

ماذا يحدث لـ LLM بعد تدريبها


تحقق من جميع الجلسات عند الطلب من قمة الأمن الذكي هنا.


برزت مؤخرًا نماذج اللغات الكبيرة (LLMs) أو الأنظمة التي تفهم النص وتولده كموضوع ساخن في مجال الذكاء الاصطناعي. يُظهر إطلاق LLMs من قبل عمالقة التكنولوجيا مثل OpenAI و Google و Amazon و Microsoft و Nvidia والمجتمعات مفتوحة المصدر الإمكانات العالية لحقل LLM ويمثل خطوة كبيرة إلى الأمام في تطويره. ومع ذلك ، لا يتم إنشاء جميع النماذج اللغوية على قدم المساواة.

في هذه المقالة ، سنلقي نظرة على الاختلافات الرئيسية بين مناهج استخدام LLM بعد بنائها ، بما في ذلك المنتجات مفتوحة المصدر ، ومنتجات للاستخدام الداخلي ، ومنصات المنتجات والمنتجات فوق الأنظمة الأساسية. سنبحث أيضًا في التعقيدات في كل نهج ، بالإضافة إلى مناقشة كيف من المحتمل أن يتقدم كل منها في السنوات القادمة. لكن أولاً ، الصورة الأكبر.

ما هي نماذج اللغة الكبيرة على أي حال؟

تتراوح التطبيقات الشائعة لنماذج LLM من المهام البسيطة مثل الإجابة على الأسئلة والتعرف على النص وتصنيف النص ، إلى المهام الأكثر إبداعًا مثل إنشاء النص أو الكود ، والبحث في قدرات الذكاء الاصطناعي الحالية ووكلاء المحادثة الشبيهة بالبشر. من المؤكد أن الجيل الإبداعي مثير للإعجاب ، لكن المنتجات الأكثر تقدمًا القائمة على تلك النماذج لم تأت بعد.

ما هي الصفقة الكبيرة في تقنية LLM؟

زاد استخدام LLM بشكل كبير في السنوات الأخيرة مع تطوير أنظمة أحدث وأكبر. أحد الأسباب هو أنه يمكن استخدام نموذج واحد لمجموعة متنوعة من المهام ، مثل إنشاء النص وإكمال الجملة والتصنيف والترجمة. بالإضافة إلى ذلك ، يبدو أنهم قادرون على عمل تنبؤات معقولة عند إعطاء بعض الأمثلة المصنفة فقط ، ما يسمى بـ “التعلم قليل اللقطات”.

حدث

قمة الأمن الذكي عند الطلب

تعرف على الدور الحاسم للذكاء الاصطناعي وتعلم الآلة في الأمن السيبراني ودراسات الحالة الخاصة بالصناعة. شاهد الجلسات عند الطلب اليوم.

مشاهدة هنا

دعنا نلقي نظرة فاحصة على ثلاثة مسارات تطوير مختلفة متاحة لنماذج LLM. سنقوم بتقييم العيوب المحتملة التي قد يواجهونها في المستقبل ، وطرح الأفكار الحلول المحتملة.

المصدر المفتوح

يتم إنشاء LLMs مفتوحة المصدر كبرنامج تعاون مفتوح ، مع إتاحة الكود الأصلي والنماذج مجانًا لإعادة التوزيع والتعديل. يتيح ذلك لعلماء الذكاء الاصطناعي العمل على قدرات النماذج عالية الجودة واستخدامها (مجانًا) في مشاريعهم الخاصة ، بدلاً من قصر تطوير النماذج على مجموعة مختارة من شركات التكنولوجيا.

بعض الأمثلة هي Bloom و Yalm وحتى Salesforce ، التي توفر بيئات تسهل التطوير السريع والقابل للتطوير AI / ML. على الرغم من أن تطوير المصادر المفتوحة هو بحكم تعريفه مفتوحًا لاستخدام المساهمين ، فإنه سيتكبد تكاليف تطوير عالية. تعد استضافة هذه النماذج والتدريب عليها وحتى صقلها بمثابة استنزاف إضافي ، حيث تتطلب الاستثمار والمعرفة المتخصصة وكميات كبيرة من وحدات معالجة الرسومات المتصلة بشكل خاص.

يمكن أن يكون الدافع وراء الاستثمار المستمر لشركات التكنولوجيا والاستعانة بمصادر مفتوحة لهذه التقنيات من خلال الأهداف المتعلقة بالعلامة التجارية ، مثل إظهار قيادة الشركة في هذا المجال ، أو من خلال أهداف أكثر عملية ، مثل اكتشاف القيمة المضافة البديلة التي يمكن أن يأتي المجتمع الأوسع. مع.

بمعنى آخر ، الاستثمار والتوجيه البشري مطلوبان لهذه التقنيات لتكون مفيدة لتطبيقات الأعمال. في كثير من الأحيان ، يمكن تحقيق تكييف النماذج إما من خلال الضبط الدقيق لكميات معينة من البيانات التي تحمل علامات بشرية ، أو التفاعل المستمر مع المطورين والنتائج التي يولدونها من النماذج.

منتج

القائد الواضح هنا هو OpenAI ، الذي أنشأ النماذج الأكثر فائدة ومكّن بعضها من خلال واجهة برمجة التطبيقات. لكن العديد من الشركات الناشئة الأصغر ، مثل CopyAI و JasperAI و Contenda ، بدأت في تطوير تطبيقاتها الخاصة التي تعمل بنظام LLM بالإضافة إلى “النموذج كخدمة” الذي يقدمه القادة في هذا المجال.

نظرًا لأن هذه الشركات الصغيرة تتنافس على حصة من أسواقها الخاصة ، فإنها تستفيد من قوة نماذج أجهزة الكمبيوتر العملاقة ، حيث تقوم بضبط المهمة المطلوبة أثناء استخدام كمية أقل بكثير من البيانات. يتم تدريب تطبيقاتهم عادةً على حل مهمة واحدة ، والتركيز على قطاع محدد وأضيق بكثير من السوق.

تقوم شركات أخرى بتطوير نماذجها الخاصة التي تتنافس مع OpenAI ، مما يساهم في تقدم علم الذكاء الاصطناعي التوليدي. تتضمن الأمثلة AI21 و Cohere و GPT-J-6B بواسطة EleutheraAI ، حيث تنشئ النماذج نصًا أو تصنفه.

تطبيق آخر لنماذج اللغة هو توليد الكود. تنتج شركات مثل OpenAI و GitHub (مع البرنامج المساعد GitHub Copilot استنادًا إلى OpenAI Codex) و Tabnine و Kite أدوات لإنشاء التعليمات البرمجية تلقائيًا.

الاستخدام الداخلي

يحتفظ عمالقة التكنولوجيا مثل Google و DeepMind و Amazon بإصداراتهم الخاصة من LLMs – وبعضها يعتمد على بيانات مفتوحة المصدر – داخل الشركة. يقومون بالبحث وتطوير نماذجهم لتعزيز مجال الذكاء الاصطناعي اللغوي ؛ لاستخدامها كمصنفات لوظائف الأعمال مثل الاعتدال وتصنيف وسائل التواصل الاجتماعي ؛ أو للمساعدة في تطوير ذيول طويلة لمجموعات كبيرة من الطلبات المكتوبة ، مثل إنشاء الإعلان ووصف المنتج.

ما هي حدود ماجستير في القانون؟

لقد ناقشنا بالفعل بعض العيوب ، مثل ارتفاع تكاليف التطوير والصيانة. دعنا نتعمق قليلاً في المشكلات الفنية والطرق المحتملة للتغلب عليها.

وفقًا للبحث ، تولد النماذج الأكبر إجابات خاطئة ومؤامرات ومعلومات غير جديرة بالثقة بشكل متكرر أكثر من النماذج الأصغر. على سبيل المثال ، كان نموذج GPT-J الذي يحتوي على معلمة 6B أقل دقة بنسبة 17٪ من نظيره ذو المعلمة 125M.

نظرًا لأن LLM يتم تدريبهم على بيانات الإنترنت ، فقد يلتقطون التحيزات المجتمعية غير المرغوب فيها المتعلقة بالعرق والجنس والأيديولوجيا والدين. في هذا السياق ، لا يزال التوافق مع القيم الإنسانية المتباينة يمثل تحديًا خاصًا.

قد يكون توفير الوصول المفتوح إلى هذه النماذج ، كما هو الحال في حالة Galactica الأخيرة ، محفوفًا بالمخاطر أيضًا. بدون التحقق البشري الأولي ، قد تنتج النماذج عن غير قصد تعليقات عنصرية ، أو ادعاءات علمية غير دقيقة.

هل هناك حل لتحسين LLM؟

يبدو أن مجرد توسيع نطاق النماذج لا يبشر بالخير لتحسين المصداقية وتجنب المحتوى الصريح بدلاً من الضبط الدقيق لأهداف التدريب بخلاف تقليد النص.

يمكن أن يكون نظام الكشف عن التحيز أو الحقيقة مع المصنف الخاضع للإشراف الذي يحلل المحتوى للعثور على الأجزاء التي تناسب تعريف “متحيز” لحالة معينة طريقة واحدة لإصلاح هذه الأنواع من الأخطاء. لكن هذا لا يزال يتركك مع مشكلة تدريب النموذج.

الحل هو البيانات ، أو بشكل أكثر تحديدًا كمية كبيرة من البيانات المصنفة من قبل البشر. بعد تغذية النظام بما يكفي من عينات البيانات والتعليق التوضيحي المضلع المقابل لتحديد موقع المحتوى الصريح ، تتم إزالة أو إخفاء أجزاء من مجموعة البيانات التي تم تحديدها على أنها ضارة أو خاطئة لمنع استخدامها في مخرجات النموذج.

بالإضافة إلى اكتشاف التحيز ، يمكن استخدام التقييم البشري لتقييم النصوص بناءً على طلاقتها وقابليتها للقراءة واللغة الطبيعية والأخطاء النحوية والتماسك والمنطق والأهمية.

ليس AGI تمامًا حتى الآن

بلا شك ، شهدت السنوات الأخيرة بعض التطورات المثيرة للإعجاب حقًا في نماذج لغة الذكاء الاصطناعي ، وتمكن العلماء من إحراز تقدم في بعض أصعب المجالات في هذا المجال. ومع ذلك ، على الرغم من التقدم الذي أحرزته LLM ، لا تزال تفتقر إلى بعض أهم جوانب الذكاء ، مثل الفطرة السليمة ، واكتشاف الإصابات ، والكشف الواضح للغة والفيزياء البديهية.

نتيجة لذلك ، يتساءل بعض الباحثين عما إذا كان التدريب على اللغة فقط هو أفضل طريقة لبناء أنظمة ذكية حقًا ، بغض النظر عن مقدار البيانات المستخدمة. تعمل اللغة بشكل جيد كنظام ضغط لتوصيل جوهر الرسائل. لكن من الصعب معرفة خصوصيات وسياقات التجربة الإنسانية من خلال اللغة وحدها.

قد يساعد النظام الذي يتم تدريبه على كل من الشكل والمعنى – على سبيل المثال ، على مقاطع الفيديو والصور والأصوات والنص في وقت واحد – في تطوير علم فهم اللغة الطبيعية. على أي حال ، سيكون من المثير للاهتمام معرفة أين سيأخذ تطوير أنظمة LLM القوية العلم. هناك شيء واحد يصعب الشك فيه ، على الرغم من أن القيمة المحتملة لـ LLM لا تزال أكبر بكثير مما تم تحقيقه حتى الآن.

فيدور جدانوف هو رئيس ML في تولوكا.

صانعي القرار

مرحبًا بك في مجتمع VentureBeat!

DataDecisionMakers هو المكان الذي يمكن للخبراء ، بما في ذلك الأشخاص التقنيين الذين يقومون بعمل البيانات ، مشاركة الأفكار والابتكارات المتعلقة بالبيانات.

إذا كنت تريد أن تقرأ عن الأفكار المتطورة والمعلومات المحدثة ، وأفضل الممارسات ، ومستقبل البيانات وتكنولوجيا البيانات ، انضم إلينا في DataDecisionMakers.

يمكنك حتى التفكير في المساهمة بمقال خاص بك!

قراءة المزيد من DataDecisionMakers

مقالات ذات صلة

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

زر الذهاب إلى الأعلى