ओपनएको विशालकाय GPT-3 नेपालीमा भाषा मॉडलको सीमाहरूलाई संकेत गर्दछ।

एक बर्ष भन्दा सानोकालबाटै, सान फ्रान्सिस्कोमा स्थित रुपमा स्थापित एक Artificial Intelligence कम्पनी OpenAIले विश्वलाई बहुरचना सिकाउने कम्प्युटरको शक्तिमानतामा एउटा भरपर्दो छलफलको प्रदर्शन गर्यो। यसले थाहा पाउनुपर्ने प्रश्नहरू, जस्तै सारांश पूरा गर्नु, र जनमानका लम्बे पाठका प्रश्नहरू सोध्नु प्रश्नहरूमा पनि पूरा गर्नुभएको छ र त्यसका लागि लागु व्यक्तिहरू द्वारा जून पाएका पाठकहरूमा दिल्लीले पारिदिन्छ।

उक्त टीमको नवीन कार्यलाई देखाउँदा खुलाउनुपर्ने बिषेषताहरूमा OpenAIको विचारधारा अरू दृष्टिले परिपक्व भएको देखिन्छ। तलको नवीनतम कृजन GPT-3 विजा नाम अलगै निर्माण भएपछि प्रस्तुत भएको थियो, जसमा आगामी संस्करणको जस्ता रचनाकर्ताहरूमध्ये Alec Radford र Ilya Sutskever सहित सट्टा नै कई अन्य सहयोगीहरूले सहयोग गरेका थिए, जसमा Johns Hopkins University बाटका वैज्ञानिकहरूले पनि सहयोग गरेका थिए।

यो अब एक वास्तविक रूपमा प्राणी भाषा मोडेल हो, जसले आफ्नो पूर्ववतक प्रिथक्करणबाट दुई आदेश भन्दा धेरै पाठ पच्चासित गर्दछ।

तर ठूलो-ठूलो छलफलमा, OpenAI टोलीले जस्तो लाग्छ। यो सत्यलाई, डा. डेभिड बोमनले चलचित्र 2001 को अन्तमा थाहा पाउँदै लाईएको तरिकाले सङ्कुचित छलफलमा प्रस्तुत गरेको छ।

७२ पृष्ठको कागजातमा लेखित, भाषा मोडेलहरूले केहि सयमक शिक्षकहरू हुन्छन्, जुन पिछला हप्तामा arXiv पूर्ण-प्रिन्ट सर्भरमा पोस्ट गरिएको छ, मा एक थोरै लाग्छे चम्किलो अर्थान्तरणमा छ।

"यस पत्रमा वर्णित तथ्याङ्कीय पटकनी वा द्विदिशाबाधित मन मशीनको सामान्य तरिकाको मन मशीनलाई बढाउने तथ्याङ्कीय पटकको प्रतिबन्धहरूसँग (सक्षात्कार पूर्वावलोकनको प्रतिवेदित केटामा भएको छौं वा यसले जन्मेको बैदेशिक प्रशिक्षण उद्देश्यका सीमामा धेरै महत्त्वहीन र पहाड़होइन।"

लेखकहरूले भनेकाे छन् कि एउटा न्यूरल नेटवर्क बिल्ड गर्नुहोस् जसले कुनै वाक्य वा वाक्यको पछि आउने शब्दका सम्भाव्यताहरू मात्रै पूर्वानुमान गर्दछ, यसले सीमाहरू छ सक्छ। यसलाई धेरै पावरफुल गर्ने र साथै साथै धेरै-धेरै-टेक्स्टले भर्ने भने नभएको बेहोसियाउने फलाहरू प्राप्त गर्ने छैन। यो प्रमुख ऐच्छिक छानबिनमा एक कागजमा महत्वपूर्ण प्रमाणीकरण हो जुनले अनुसन्धानमा अझै कम्प्युटिङ होर्सपावर फेक्दै जोर गर्दै गरेको सफलताको जयकारी गरेको छ।

ज्ञान विकसनका लागि लेखकहरूको निष्कर्ष किन तत्पर्ययुक्त छ भन्ने बुझ्न यसरी गर्नुहोस्। भेटिएको समयदेखि हामी यहाँ कसरी पुग्यौं भन्ने विचार गर्नुहोस्। भाषाको सम्बन्धमा OpenAI को कामका इतिहासले यी तत्वहरूमा हुदैछ, जुनको सफलता तत्पर्ययुक्त गरी प्रवृद्धि गरिरहेको थियो जब प्रविधि ठूलो ठूलो र ठूलो बनाइएको थियो।

मूल GPT र GPT-2 दुवैले Google मा २०१७ मा प्रथम छलफल गरिएको कुराको एउटा सेन्ट्रल व्यवस्थाको अनुकरण हो। ट्रान्सफर्मर निम्न कुराको एउटा कार्यको उपयोग गर्दछ, जुनले वातावरणमा वचनहरूलाई दिएको परिस्थितिमा वचनहरू दिनको सम्भावना गणना गर्छ। वाहरतीले एक बर्ष अघि विवाद उत्पन्न गर्यो जब यह सोचियो कि तपाईले GPT-2 को सबैभन्दा ठूलो संस्करणको स्रोत कोड जारी नगर्नुपर्दछ, किनकी, यस सोचले भन्यो, त्यो कोड जुन गलत हातहरूमा पर्न सक्छ र जसले खाले समाचार जस्ता कुराहरूबाट मानिसहरूलाई गुमराह गर्न सक्छ।

नयाँ कागजले जीपीटीलाई अझै ठूलो बनाउँछ। जीपीटी-२ को सबैभन्दा ठूलो संस्करण, जुन खण्ड स्वरूपमा पोस्ट गरिएको थियोन, १.५ बिलियन प्रामाणिक शंखुसंख्या । जीपीटी-३ लाई संभावना १७५ बिलियन प्रामाणिकहरू | प्रामाणिक नि एक्लाइ शंखुले गणकमा गर्ने परिकल्पना हो जुन डाटाको केहि पहले ब्यापारलाई ठूलो प्रमुखतासंग भार छन् उनीहरूले संख्यामा गरिएको | यसले गद्यमा आकार दिन्छ र संज्ञानेटवर्कबाट डाटामा सिकिएको परिप्रेक्ष्यलाई दिन्छ।

पछिल्लो समयदेखि भारलाई बढाउदै GPT परिवार का कार्यक्रमहरू र अन्य मोटा रूपमा बद्ध गरिएका Transformer derivatives, जस्तो कि Google को BERT, अच्छे बेंचमार्क परिणामहरू उत्पन्न भएका छन्, जुन नियमिततापूर्वक खुशीदायी भएका छन्।

यसलाई चिन्दैका बहुतै मान्छेकुरा छन् भनेर पर्याप्त हुन्छ। तिनीहरूले टेस्टहरूलाई राम्रो गरेर पार्छन्, र त्यसका लागि केहि हुदैन।

नवीनतम संस्करणले पुन: मात्रिकीय प्रगति देखाउँछ। GPT-2 र अन्य ट्रान्सफार्मर-आधारित कार्यक्रमहरूको तर्फ, GPT-3 पनि Common Crawl डाटा सेटमा प्रशिक्षित गरिएको छ, वेवबबाट स्क्र्याप गरिएका प्रायजसो सय अरब शब्दका पाठहरूको संग्रह। "प्रशिक्षण डाटा सेट र मोडल आकार GPT-2 प्रयोग गरिएकोजस्तो दुटो गज बढी हुन्छ," लेखकहरूले लेख्छन्।

GPT-3को १७५ अरबमा भाेट पैरामिटरहरूले जे पनि लेखकहरूले 'मेटा-सिक्तशिक्षा' भनेर वर्णन गरेको हो, गर्दछ। मेटा-सिक्तशिक्षा भनेको यस्तो अर्थ गर्दछ कि GPT न्यूरल नेटलाई वाक्य पूरा गर्ने गर्नका लागि फेरि-संशोधन गरिएको छैन। उदाहरणस्वरूप ना पूरा वाक्य, अर्थात अपूर्ण वाक्य कक्षाको एउटा उदाहरण र पूरा वाक्यको उदाहरण दिइएमा, GPT-3ले प्राप्त भएको हरेक अपूर्ण वाक्य पूरा गर्नेछ।

GPT-3ले एका मात्र प्रोम्प्टसंग सामर्थ्यसहित एउटा कार्य सिक्न सक्छ, केही छविस्थानमा Transformerको संस्करणहरूभन्दा पनि अच्छा, जुन केवल त्यो कार्य गर्नै बनाउने गर्ने ठाउँमा। यसकारण , GPT-3 अतिरिक्त जनरली जित हो। ठिकानै पर्याप्त खण्डीहरूमा आशिष्ठ घर्षणको चाहना गर्नुहोस्, त्यसलाई पूर्णतः आदर्शले टेक्स्टको मिट्टित रोलिहाल्दा, र त्यसले यसैसंख्याबाटको कार्यहरूलाई राम्रो गर्न सक्छ, बिना कुनै अबस्थानिक विकासहरूको।

यसले गरेको नयाँ कागजमा कथा एउटै अद्भुत निर्णयमा पुग्दछ। GPT-3 ले अक्षर समाप्त गर्दै वाक्यहरू पूरा गर्न, कथनका कथनको तर्किक शहनाईलाई हेर्न, परस्पर भाषाहरूमध्ये अनुवाद गर्नेहरूको चमत्कारिक परिणामहरू दर्शाउने पछिल्ला गौराहरू गुरो नोट गर्दछन्।

"जिपीटी-३को मजबूत पाठ्यप्रणाली र गुणात्मक सुधारहरूलाई चान्दै चान्दै तुलनामा, विशेष रूपमा जिपीटी-२सँग सङ्घात गर्दा पनि, यो अझै पनि धेरै दुर्बलताहरू छन्।"

उनीहरूको त्रुटिहरूमध्ये अवस्थता शामिल छ, जसमा अपराधात्मक नेपाली युआईमा महत्वपूर्ण निखारदेखि प्राप्त गर्न असमर्थ हुन्छ। नेपाली, या प्राकृतिक भाषा अनुगम, एउटै प्रयोग हो जहाँ कम्प्युटरले दुवै वाक्यको सम्बन्ध निर्धारण गर्नै पर्छ। फेसबुक र उत्तर क्यारोलाइना विश्वविद्यालयबाट तथ्यविदहरूले एक युद्धरत संस्करण पेस गर्नु भएको छ, जहाँ मानिसहरूले कम्प्युटरलाई हल गर्न कठिन वाक्य समूह सिर्जना गर्दछन्।

GPT-3ले Adversarial NLIको तर्कीकोमा "केहीझैं राम्रो गर्दछ" लेख्छन्| थप्पडबाट, लेखकहरूले तपाईं प्रश्नका केही कस्ता मामलामा अप्ठ्यारो छ भनेर ओठ चढाएका छन्, यो प्रक्रिया तिनीहरूको सिस्टमको प्रोसेसिङको शक्तिलाई 175 अरब वेटहरूमा बढाएर, लेखकहरूको प्रकाशमा छैन केवल ओठ बढाएरै अझै केहि काममा कमजोर भयो ।

त्यसमयै जब उनीहरू माथि उल्लेख गरिएको सिधान्तमा पुग्‍नुहुन्‍छ, यह हो कि शायद एक विशाल मशीनलाई एक आदिकोर्पससंग खाना केवल अंतिम उत्तर होइन।

धेरै अचम्भनीय बजार क्रममा पछिल्लो अनुगमन हो। भाषाको गतिबिधि के हुने हो भन्ने पुरानो सोच गलत हुन सक्छ, लेखकहरूले लेख्छन्। यो त्रुटिमा नभए पनि शायद ती सवाल गलत ठेगानामा निलम्बनमा छन्।

"स्व-परिचालित उद्देश्यहरूसँग, कार्य निर्देशनलाई पूर्वनिर्धारित निर्धारणले प्रावधान गर्दछ," उनीहरू लेख्छन्, "जबकि अन्तिम रुपमा, उपयोगी भाषाको तंत्रहरू (जस्तै कि भर्चुअल सहायकहरू) पूर्वानुमान मात्र गर्नुभयो भन्ने बजारपत्र प्रणालीहरू भन्दा खेलकुदको लक्ष्य निर्देशित क्रियाहरूलाई लिनु अवस्थित छ।"

लेखकहरूले यस राम्रो सम्भावनापूर्ण नयाँ दिशामा कसरी जानेछन्, यसलाई अर्को समयका लागि रोकाने छन्।

अन्ततः ठुलो हुनुले अन्तिम रुपमा हो भन्ने बुद्धिमत्ताको बावस्तविकताको बावरा मात्रै हो, के-पी-टी-३को धेरै कार्यहरूमा सुधार भएको नतिजा संभावनाको उत्पन्न गर्दछ र धेरै मनोबृद्धिलाई मनोबृद्धिको इच्छाको प्रदीप पार्नेछ। १७५ अरब पैरामिटरको साथमा, के-पी-टी-३ सबैभन्दा ठूलो मनोबृद्धिको राजा हो, कम्तिमा बास्दो। एप्रिलमा एआई चिप कम्पनी टेन्स्टोरेंटले भविष्यका मनोबृद्धिमा एक ट्रिलियन पैरामिटरभन्दा धेरै शामिल गर्नु भएको एक प्रस्तुतिमा वर्णन गर्नुभयो।

मशिन लर्निङ समुदायको ठूलो धेरै भाषा मोडेलिङ अझै सबैभन्दा दिंग्रो रहेकोले, अबस्थान अझै विज्ञानका चरममा रहनेछ।