जीपीटी-३ के हो? खुला एआईमा उभेरदैजना तपाइको व्यापारलाई आद्यावधिक जनक GPT-3 के हो, त्यसको बारेमा सम्पूर्ण कुराहरू।

GPT-3 एउटा कम्प्युटर कार्यक्रम हो जुनले निजी रूपमा सञ्चालन गर्ने स्टार्टअप ओपेनएआई द्वारा सिर्जना गरिएको छ। यो एक दैब्रमा रहेको न्यूरल नेटवर्क हो, र यसका रूपमा यो मशीन लिखित वाक्यहरू निर्माण गर्ने गहिरो अध्ययन क्षेत्र मानिन्छ, जुन आफू अर्टिफिसियल इन्टेलिजेन्सको कम्प्युटर विज्ञानको क्षेत्रलाई भनिन्छ। यस कार्यक्रमले मानिसले लेखित गरेको जस्तै ध्वनि गर्ने वाक्यहरूको सृजना गर्नेछपट।

ऐसा उपयोगकर्तालाई मानिसहरूका कारोबारमा लाभदायक हुनुको कारण यो पाठोलाई प्राथमिकता दिने साधारण कार्यहरूको स्वचालनका लागि ठूलो पोष्ट पार्छ। GPT-3 पाठको सञ्चालनिकतासँग योग्य नयाँ टुक्राको पाठ प्रतिक्रिया सक्षम छ। उदाहरणको लागि, एउटा पूर्ण अंग्रेजी वाक्यलाई खोजीबक्समा टाइप गर्नुहोस्, र तपाईंले पूर्ण वाक्यहरूमा प्रतिक्रिया पाउनुहुन्छ जुन उपयुक्त छ। यसका अर्थ छ, GPT-3 संभाव्यता अनुसूचित प्रौद्योगिकीबाट मानिसको प्रयासलाई वाढाउन सक्छ र साथै सविधानको Questions and Answers दस्तावेजको खोजीबक्सबाट रिपोर्टनिर्माणसम्मका समूहहरूसम्मका विविध चरमा।

यशस्वी गर्ने लागि तलको संक्षेपमा दिइएको उदाहरणलाई पढ्नुहोस्, जसमा अभिक्षमता-३ के प्रतिलिपि त्यसैले फर्काउँदछ:

मानव प्रदानित इनपुट: क: "टच्ड बाय एन ऐंजेल" मा टेस कसले गर्नु भयो?

GPT-3-generated completion : ए: देल्लोरिज प्याट्रिसिया आर्ली (६ जुलाई, १९३१ - १९ नोभेम्बर, २०१७), व्यावसायिक रूपमा देल्ला रीसको नामले थहाना पाउने 

हालैका दिनहरूमा यो कार्यक्रम एक निजी बीटामा छ, जसमा मान्छेहरूले प्रतीक्षा सूचीमा साइन अप गर्न सक्छन्। यसले अनलाइनको माध्यमबाट एपीआई को रूपमा उपलब्ध गराउने अपूर्व OpenAI द्वारा प्रस्तुत गरिएको छ। केहि उत्तेजनादायक अनुप्रयोगहरू विकसित गरिएका छन्, जसले प्रश्न-उत्तर गर्ने सजिलै सहयोग गर्दछ र प्रोग्रामिंग कोड सिर्जना गर्दछ।

स्वचालितता को सम्भावनासंगै मनोहारी वैशिष्ट्यहरूको साथै, महानुभावअनुप्रयोगहरूका लागि GPT-3ले कम्प्युटमा बडी खर्ची गर्दछ, जसले यसलाई प्रत्यक्ष अप्रयोगमा उपयोग नगर्न सम्भव बनाउँछ। यसको उत्पन्न गरिएको पाठ पहिलो दृष्टिमा अद्भुत हुँदो छ, तर लामो शृंखलाहरू थोडो अर्थहीन हुन्छन्। र यसमा जाती र महिलाविरूद्धतालाई बढाउने एक महान् सम्भावना पनि छ।

जीपीटी-३ कसरी काम गर्दछ?

GPT-3 एक भाषा मोडलको उदाहरण हो, जुन एक विशेष प्रकारको सांख्यिकीय कार्यक्रम हो। यस मामिलामा, यो न्यूरल नेटवर्क को रूपमा सृजन भयो।

"GPT-3" नामले "जेनेरेटिभ प्री-ट्रेनिङ" भन्दा संक्षेपमा प्रतिष्ठित हुन्छ, जुन अहिले सम्मको यो तेस्रो संस्करण हो। यो तेस्रो संस्करण भएपछि "जेनेरेटिभ" हुन्छ किनकि यसको परिणामस्वरूप अन्य सामान्य न्यूरल नेटवर्कहरूले गणांकीय स्कोर वा होइन जवाफ निस्कन्छ, तर GPT-3 स्वयंभु यसको आउटपुटको रूपमा मूल पाठको लंबी क्रमशः सार्जनिक पाठहरू बनाउन सक्छ। यो प्री-ट्रेन हुन्छ किनकि यसको संकलनमा कुनै प्रादेशिक ज्ञान अवस्थित नभएको छ, तर तत्कालिन भाषान्तर जस्ता डोमेन-विशिष्ट कार्य सम्पन्न गर्न सक्छ।

एक भाषा मोडल, GPT-3 को मामलामा, एक प्रोग्राम हो जो पाठमा अन्य शब्दहरूको साथहरू दिएका अन्य शब्दहरूमा शब्दको दिखार्ने आशंका कसरी हुन सक्छ। योलाई शव्दको शर्तसंबद्धता विपरीत प्रायिकतामाथि ज्ञात छ।

उदाहरणको लागि, वाक्यमा, मलाई एक अम्बलमा ओम्लेट बनाउन मनलाग्यो, त्यसबेला म फ्रिजमा गएर केही ____ निस्किन्छु, कुनै पनि शब्दले र असाधारणताका साथ रचनाशीलताको कारणले यसमा खाली ठाउँ भर्न सकिन्छ। तर "अन्डा" भनेको शब्दले प्रायः सामान्य पाठहरूमा खाली ठाउँ भर्नको लागि "हाथी" भनेको शब्दभनेको भन्ने बारेमा तलको पाठका शर्तहरूमा अन्डाको प्रायबध अवस्थाले नमूद्याउन्छ।

न्यूरल नेटवर्क विकासमा छडिएको छ भने त्यसलाई प्रशिक्षण अवस्था भनिन्छ, जिम्मेवारी-३ले अनलाईनमा महासंख्यक कथनहरूलाई खान्छ र यसले शब्दहरूलाई एक्दिनात्मक प्रतिनिधित्वहरूमा परिवर्तन गर्दछ। यो एक डेटा संकुचनको रूप हो। त्यो प्रोग्रामले तपाईंले यो संकुचित कथनलाई फेरि एक मान्य वाक्यमा विना खोल्ने प्रयास गर्दछ। संकुचन र विघटनले शब्दको शर्तबाट अवधारणात्मक सम्भाव्यताको हिसाब गर्दा प्रोग्रामको निखोजबजारको शुद्धतालाई विकसित गर्दछ।

एकदा माेडेललाई प्रशिक्षण दिएको छ, यानि, अर्बौं शब्दहरूका संशोधनलाई शारीरिक थाहा पाएकोमा, तपाईंले प्रारम्भिक शब्द वा शब्दहरू टाइप गर्दा मानिसले जे शब्दहरू आउने छन् भनेर यसले बोधगम्य छ। म्यान्स लर्निङमा यसलाई भविष्यवाणी गर्ने कार्यलाई साधारित भएको छ।

त्यो एक चम्किलो दर्पण प्रतिभात गर्दछ। प्रश्न-उत्तर सेटहरूको रूपमा जस्तै, यस्तैखानेको कोटि र आर्थोप्रद मनावटलाई जीवाणु गर्दछ। यस्तैखाने, उदाहरणका लागि, GPT-3ले केहि मशहूर कविहरूको नाम र उनीहरूका कामका नमुनाहरूलाई खाज्छ, त्यसपछि अर्को कवि र एकको मात्र शीर्षकले, र GPT-3 उत्पन्न गर्दछ जुन खिचडिला गरिएको कवि को छंगानेको ह्रदयध्वनि र वाक्य-व्याकरणसँग अनुरूप छ।

निम्नलिखित GPT-3 का एक उदाहरण को विचार गर्नुहोस् जहाँ सिर्जनशील Wallace Stevens का कामको आफ्नो प्रकृति छ, त्यसका शीर्षकहरू, नामहरू र अन्य कविहरूको कार्यको उदाहरणहरू प्रदान गरिएपछि एक कविता सिर्जना गर्ने:

मानवि-प्रदानित प्रविष्टि: शहर  लेखक : सी. पि. कवाफी  अनुवादः एडमंड कीली [कविता पाठ अनावृत्त ]

मानिसको प्रविधि द्वारा उपहृत दस्तावेज : केही रुखहरू जोन अश्बेरी [कविता मा तथ्याङ्कहरू त्याग गरियो]

मानिसका छायाँहरूमा  वालेस स्टीभन्स

GPT-3-को निर्माण: -------- निर्मित कविता 1 --------   मेरो राहमा कालो छाया हुनुपर्छ  यदि म चल्न सक्नुपर्छ भएमा म चाहन्छु  प्रत्येक कदम धीरै र एकटा लिएर जानुपर्छ  यो तत्पर बनाउन प्रतिस्पर्धी छ    र मलाई पनि बोकेको गर्होमा सोच्नुपर्छ  मेरो मार्गमा अलिप्त विचारहरूलाई मेरो मार्गदर्शक बनाउनुपर्छ  नीलो र हरियोलाई हेर्न पर्छ  र मेरो आँखालाई कभरता नभुल्न दिनुपर्छ  किनभने रंग म आफूको साथी हो  र बैंगनीले मलाई भिज्नुपर्छ  सूर्यको पहेंलो सबैलाई थोप्नुभएको हुनाले  घमण्डी छैन अत्यन्त नीलोही वर्णको हिउ  हामी सबैमा बर्फ जस्तो हिउँ हुने  मलाई अल्प विचारहरू र नीलो विचारहरू सङ्गमा चल्नुपर्छ  यदि म छिन्न सक्नुपर्छ।

प्रतिक्रिया उत्पन्न गर्ने अर्थमा GPT-3 लाई बस लेखन नगर्ने अतिरिक्त कामहरू पनि गर्न सक्छ। यसमा प्राकृतिक भाषाको प्रतिक्रिया समेत समावेश गर्ने सोचिन्छ। उदाहरणको तोरमा, जे.पी.टि.-३ले पर्यावासिकीको भाडाको निर्माणका बारेमा एक निबन्ध, र सारांशित वाक्य जस्तै "म्यानहट्टन सस्तो आउँछ," र प्रश्न "सत्य वा असत्य?", यदि प्रदान गरिएको छ भने, तथ्यांकनको कारणले GPT-3ले उत्प्रेरित पूर्ण प्रोम्प्टमा उत्तर दिन्छ भनेर "असत्य" शब्दलाई रद्द गर्दछ, किनकि वाक्यले निबन्धको तर्कसँग सहमत छैन।

मानिसको यात्रुपदेश: हाल न्यू योर्कका केही समुदायहरुमा उच्च किरायामा पहिचानिएका केही पहिचान प्रिय स्थानिय व्यापारहरुको नुकसानका कारणले केही माया आउँदा नयाँ आवासियको दरहरुमा केही कमी हुँदै आउँछ हुन सक्छ। तर, हालको निरीक्षणका बावजूद, यो बित्तेका उनीहरुको किरायामा केही ठूलो उतार आएको हुनाले, यसका विपरीत पनि आफूहरुको क्षेत्रीको किरायामा गरी तीन गोते बढ्दै जान सकेको हो। निश्चित गर्न सकिन्छ कि केही चलिरहेका माध्यमिकहरुको मूल्यमा हालको कमीले मन्हट्टनलाई सस्तो हुन्नु नै हो।

मानव-प्रदान इनपुट: प्रश्न: म्यानहट्टन सस्तो छ। सत्य, असत्य, वा कुनैपनि होइन?

मानव-प्रतिपुर्ति प्रविष्टि : उत्तर: 

GPT-3-को पूर्ण : false

GPT-3 को सक्षमता जस्तै उदाहरण कार्यसम्बद्ध ढाँचासंग जवाफ दिने साथै त्यसलाई सम्मको बनाउने गर्दछ, जसले पहिले त्यसले संपर्कमा आएको कार्यहरूको पूर्वाधारमा थिएन। यसकोलागि दिइने खेलदाडुमा बडी भर्छ, वा "तालिम" भनिन्छ, दिएको कार्यमा, GPT-3 अब समेत सबभन्दा पहिले पहिले भएको शब्दहरूको ढाँचासंग धेरै जानकारी थियो भनेर, थप्दिफा जस्ता कार्यहरूका केही उदाहरणहरूद्वारा मात्रै दिइन्छ, जसलाई "सुधारण समुदाय" भनिन्छ, र त्यसले पनि त्यस्तो नयाँ कार्य पनि गर्न सक्छ।

प्राकृतिक भाषा शैलीहरूलाई हमिर गर्ने क्षमता र भाषामान आधारित परीक्षामा उच्च अंक प्राप्त गर्ने योग्यताले गीपीटी-३लाई भाषासँग समान चेतना भएको जस्तो छ जसले जति-तेसैलाई लाग्छ। हामी यसो देखिन्छौं, त्यो त्यस्तो छैन।

औपने-आई वैज्ञानिकहरूले प्रकाशित गरेको GPT-3 कागजमा थप तकनीकी विवरण प्राप्त गर्न सकिन्छ।

GPT-3 ले के गर्छ?

अध्यापक तपाईको बिचमा यस सिलेबसको केहि नयाँ विषयहरू र पुराना विषयसहितका प्रश्नहरू छन्। यी विषयहरूलाई आफ्नो बिखर्मा रहिने बिचमा ध्यानपुर्जी गरौं, ताकि तपाईंको परिक्षाको नतिजाले थपबलिन्छ।

यो पटक, OpenAIले कुनै पनि डाउनलोड प्रदान गर्दैन। बदली, यसलाई एक बादलमा आधारित API endpoint सक्रिय गरेको छ, जसले GPT-3लाई एक "एक्स-आ-सर्भिस" प्रस्तावणी बनाउँदछ। (यो सोच्नुहोस् जस्तै LMaaS, भाषा-मोडल-एक्स-आ-सर्भिस)। OpenAIले यो कारण दिएको छ, र उसले गफ ऐक्टरहरूद्वारा GPT-3को प्रयोग परिमार्जन तथा पैसाको कारणले भन्दै छ।

खुला स्रोतसँग 'अनडु बटन' छैन," अनुदान गर्ने AIले ZDNet लाई जनाएको छमादारको माध्यमद्वारा भने ।

"एपीआई मार्फत GPT-3 को विमोचन गर्ने ले हामीलाई सुरक्षित रूपमा यसको प्रयोगलाई नियन्त्रण गर्न र यदि आवश्यक भएमा पहुँच फिर्ता ल्याउन अनुमति दिन्छ।"

हालमा, OpenAI API सेवा अनुमोदित दलहरूमाथि मात्र सीमित छ; पहुँच प्राप्त गर्नको लागि साइन अप गर्न सक्ने प्रतिष्ठानहरूको प्रतीक्षालगि एक प्रतिवेदन हुन्छ।

"यस समय, API ले सिफारिस देको केही विकासकर्ताहरूको एक छोटो संख्या द्वारा मध्यनजरको बेटा संस्करणमा छ, जुन लोगहरूले API बाट केही उत्पादनमा ल्याउन चाहने कुनै विचार पेश गरेका छन्," OpenAI ले ZDNet.

पनि: ओपेनएआईको 'अपायन्हुँदै' ए.आई टेक्स्ट जेनरेटर बाहिरी छ: मानिसहरूले शब्दहरूलाई 'विश्वसनीय' महसुस गर्छन्

केहि रोचक उदाहरणहरू छन् कि के गर्न सकिन्छ भन्ने बारेमा, बेटा कार्यक्रममा रहेका कम्पनीहरूबाट। वेन्चर फण्ड वायु संलग्न गरिएको कम्पनी सेप्लिङ, सिआरएम सफ्टवेयरमा स्थापना गरिएको प्रशासनिक कार्यक्रमलाई प्रदान गर्दछ। जबसम्मको सम्भावित प्रतिक्रियाहरू बाट प्रतिक्रिया दिनको लागि एक संपूर्ण वाक्यको सिफारिस गर्दछ, त्यस्तो अनुरोधको माध्यमबाट, उदाहरणका लागि इमेलबाट ग्राहक संचारप्रतिवारको कर्मचारीले सम्बन्धित कार्य मार्ग कार्यको सूचना दिन सक्छ।

खेल निर्माता लैटिट्यूडले स्वतःले लेखित आधारित साहसिक खेल, एआई डन्जनलाई नितान्तता बढाउनका लागि जीपीटी-३ प्रयोग गर्दैछ। सामान्यतया, एक साहसिक खेलले खेलका माध्यमबाट अनेक विभिन्न रास्ताहरूको विचार गर्दछ। तर, जीपीटी-३ बजारमा खेलाडीहरूको टाइप गरिएका कार्यहरूमा प्रतिक्रिया द्वारा खेलका चलचित्रको बदल्ने खेलको अवस्था तत्परता स्वरुपमा निर्मित गर्न सक्छ।

पहिले नै, कार्य स्वचालनले प्राकृतिक भाषाबाट कम्प्युटर कोड सिर्जना गर्नु अत्यधिक गएको छ। कोड एक भाषा हो, र GPT-3 विभिन्न प्रोग्रामिङ्ग भाषामा ऑपरेटरहरू र ऑपरेन्डहरूको सबसे संभावित सिन्टाक्स लागू गर्न सक्छ, र यो सिर्जना गर्न सफलतापूर्वक कम्पाइल र चलाउन सक्छ।

अधिगम गर्नुहोस्, ट्विटर-भर्स प्रकाशित एक पहिलो उदाहरण मा थियो, एप विकास स्टार्टअप डिबिल्ड बाट। कम्पनीको मुख्य, शरीफ शामिम, सहज अंग्रेजीमा लेख्नुहोस् सोफ्टवेयर युआई को वर्णन तपाईं टाइप गर्नुहुन्छ, र जीएसएक्स जावास्क्रिप्ट का सिन्टेक्स एक्सटेन्सन प्रयोग गर्दै GPT-3 को जवाफ दिन्छ। त्यसो कोडले तपाईंले वर्णित गरेकोलाई मिल्दो युआई उत्पन्न गर्दछ।

यो मन चकित गर्छ। GPT-3 संगै, मैले लेआउट जेनरेटर बनाएँ जहाँ तपाईंले केहि पनि लेआउटको वर्णन गर्नुहुन्छ र यसले तपाईंको लागि JSX कोड जनाउँछ।

— शरीफ शमीम (@sharifshameem) जुलाई १३, २०२०

शमीमले देखाएको छ कि, मल्टिपल बटनसहितको यूआइलाई ब्याख्यान गरी, जुन एक बद्दो वाक्यद्वारा एक पूरा कार्यक्रम वर्णन गर्न सकिन्छ। यो साधारण गणित गर्ने र परिणाम देखाउने बिस्तारित हुने हो, र GPT-3 त्यसको सम्पूर्ण कोड तयार गर्ने र चलिरहेको अनुप्रयोग प्रदर्शन गर्नेछ।

मैले पूण्य-३लाई मलाई के चाहियो त्यसो वर्णन गरेर मैले एक कार्यात्मक रियाक्ट अनुप्रयोग बनायो। म अझै सुक्खा छु। pic.twitter.com/UUKSYz2NJO

— शरिफ शमीम (@sharifshameem) जुलाई १७, २०२०

OpenAIले जनाएका छ "हालसम्मका दिनमा API पहुँचको लागि हजारौं इन्टरेस आवेदन आएका छन् र असली दुनियामा यी मोडेलहरूले के गर्छन् त्यहाँ हामीले सिक्दा, हामी सत्यापित रूपमा पहुँचलाई सोझै ठानेछौं," कम्पनीले ZDNetलाई भनेको छ। "यसकारण, waitlist कोटा लामो हुन सक्छ।"

अन्ततः वाणिज्यिक सेवाको मूल्यनिर्धारण अझै सोधिँदा छ। बेटा बाट कहिल्यै कार्यक्रम बाहिर आउनेको होइन, कारण खुलाउने आई औराईले ZDNetलाई भन्दछ, "जल्दै छैन।"

"सो त्यस्तो शक्तिशाली मोडेल जारी गर्नुलाई अर्थायो कि हामीले व्यापारहरू, उद्योगहरू र मानिसहरूमा यसको पर्यावरणमा जोगाउनु चाहिँ धीरै जानुपर्नेछ।" कम्पनीले भनी। "APIको स्वरूपले हामीलाई यसको प्रयोगलाई उचित रुपमा अध्ययन र माध्यमिक गर्न अनुमति दिन्छ, तर हामीले यसलाई सामान्यतः उपलब्ध गराउन आग्रह गर्न छिटो नगर्न गरेका छौं र यसका सीमाहरूको कारणले।"

यदि तपाईंलाई बीटा प्रतीक्षा सूचीसँग क्रोधित भएको छ, तपाइँलाई तयारी गर्नका लागि अघिल्लो संस्करण, GPT-2, डाउनलोड गर्न सक्नुहुन्छ, जुन एक ल्यापटप मा एक डाकर स्थापना प्रयोग गरी चलाईन्छ। स्रोत कोडले जिभ्रे गएको छ, जसलाई टेन्सरफ्लो फ्रेमवर्कका लागि पायथन स्वरूपमा स्रोत कोडमा संगठन गरिएको छ। बेशक GPT-3 सँग तपाइँले समान परिणामहरू प्राप्त गर्न सक्नुहुन्न, तर यस्तो प्रयोग गरेर तपाइलाई थाहा पाउन सकिने छ।

साथै, धेरैजसो अवस्थामा उहाँती सम्पर्कको क्षमता भएका नयाँ भाषामा मोडलहरू पनि सबै वेळमा आउन्छन्, र तिनीहरूभित्र केहीले तपाईंको उद्देश्यहरूको लागि पर्याप्त हुन सक्छन्। उदाहरणस्वरूप, गूगलले हालैमा तपाइँको लागि सुनिश्चित भाषा अनुवादमा महत्वपूर्ण सुधारका रूपमा गरेको बिर्त मोडल लाब्से न्यूनतम छ, जुन भाषा अनुवादमा एक मार्कड उन्नती दर्शाउँछ। यसलाई टेन्सरफ्लो हबबाट डाउनलोड गर्न सकिन्छ।

पनि: ओपेनएआईको विशाल GPT-3 भाषा मोडेलहरूको AIको सीमा हिन्ट दिन्छ

जीपीटी-३को इतिहास के हो?

GPT-3, मईमा उजागर गरिएको, २०१८ मा OpenAI द्वारा पहिलो पटक परिचित गराएको कार्यक्रमको तेस्रो संस्करण हो र जो पिछलो वर्ष GPT-2 द्वारा पछि अनुसरिएको थियो। यी तीन कार्यक्रमहरू भाषा मोडलहरूको क्षेत्रमा गति र अग्रणीता को एक उदाहरण हुन्, जसले २०१५ मा दुवै ठूली प्रगतिहरूको कारण संभव भयो।

पहिलो अग्रिम कदमले 'ध्यान' प्रयोग गर्ने गरे। ए.आई वैज्ञानिक योशुआ बेंजियो र मोंट्रियलको मीला ए.आई संस्थानमा काम गर्ने उनका सहकर्मीहरूले देखेका थिए कि भाषा मोडेलहरूले अंग्रेजी भाषाको वाक्यलाई संक्षिप्त गरेपछि पुनः विस्तार गर्दा, सबैले एक निश्चित लम्बाको भेक्टर प्रयोग गर्यो। प्रत्येक वाक्यलाई एकै ठाउँमा चिडेको भेक्टरमा भरिएको छ, यसप्रकार, वाक्यको लम्बाई जस्तो छैन।

बेंगियो र उनको टोलीले यो कठिन तरीका एउटा बाधाबाट बच्ने थियो। एक भाषा मोडेलले शर्तमानीय प्रावधानको लागि शब्दहरूलाई खोज्न मान्य रूपले विविध लम्बाको बहुधतामा भर्सफोटको अवस्थामा राख्न सक्नुपर्छ। र त्यसको लागि उनीहरुले शब्दहरूलाई विभिन्न आकारको भेक्टरहरूमा सुचारुरूपमा संक्षिप्त गर्न सक्ने, र साथै त्यस्ता भेक्टरहरूमा सन्दर्भबाट महत्वपूर्ण हुने सन्दर्भलाई सुचारु ढंगले खोज्न प्रोग्रामलाई खोलकपट गर्न सक्ने। उनीहरुले यसलाई "ध्यान" भनेर नामकरण गर्नुभयो।

ध्यान भाषा मोडलहरूमा महत्त्वपूर्ण तत्व भयो। गूगलका वैज्ञानिकहरूले अर्को वर्षमा ध्यानलाई प्रयोग गरेर भाषा मोडल प्रोग्राम ट्रान्सफार्मर नामको निर्माण गरिएको थियो। ट्रान्सफर्मरले भाषा मनिपुलेसनका परीक्षामा अविश्वसनीय अंक जमाएको थियो। यसले गोप्य भाषा मोडल बनिन्छ र यसले गूगललाई ब्यार्ट प्रोग्राम निर्माण गर्न मद्दत गर्यो, अर्को धेरै सफल भाषा मोडलको रूपमा। ट्रान्सफार्मरले GPT-1का आधार बनिएको थियो।

निश्चित-आकार भेटेको भेक्टर सख्तरेखापूर्वक परिवर्तन गर्न आवश्यकता नभईरहेकोमा, ट्रान्सफार्मर र यसका अग्रगामीहरूले दिइएको लेखको विभिन्न भागहरूमा चरणशील निर्भरताहरू खोज्न सक्दछन्, जुन माहितीलाई कहाँसमा सम्बन्धित छन् त्यसको अधिक कन्टेक्स्ट श्पान्न गर्न सक्छन्।

ठाटो को होइयाँ अर्को अविष्कारको लागि पात्र भयो, जस्तो कि २०१५ मा आएको, जुन ओपनआईको कार्यक्रमलाई अझै ठूलो महत्त्व थियो र उसलाई 'असुपर्वाइज्ड शिक्षा' को नामले चिन्ताहरूमा पठायो।

उस समयसम्मको ध्यानमा भाषा मोडलहरूका लागि ध्यान प्रामाणिक डाटासंगत शिक्षण संग थियो। प्रविष्टि दिईएका हुन्छ, र न्यूरल नेटले समाधानको उद्देश्य संस्करण संकल्पनाको रूपमा उदाहरण उत्पन्न पाउँदछ। यसकारण यदि कार्य अनुवाद हो, अंग्रेजी भाषामा लेखित एक वाक्य प्रविष्ट भएको हुन्छ, र मानिसको सिर्जना गरिएको फ्रेंच अनुवादलाई लक्ष्य निर्धारित गरिएको हुन्छ, र यस्तो जोड़ी वाक्यहरूले प्रयोग गरिएको उदाहरण हुन्छ।

न्यूरल नेटले फ्रेंच अनुवाद निर्माण गर्ने प्रयासलाई आधिकारिक फ्रेंच वाक्यसँग तुलना गरिन्छ, र दुबैमध्ये भेद यसको अर्थमा गल्ती गर्दै न्यूरल नेट यसको भविष्यवाणी गरिँदा पाएको हो, ईनको तपन फङ्क्सन वा उद्देश्य फङ्क्सन के भनिन्छ।

तालिम अवधिलाई न्यूरल नेटको सल्लाहको बीचमा त्रुटि को अन्त्य गर्ने अवस्था भनिन्छ। जब यो अन्तर छोटो छ, विषयाधिपत्रको लागि वास्तविक प्रतिष्ठानले अवस्थामा छ। जब यसको मान्यता प्राप्त छ, र भाषा नमूनाको न्यूरल नेटले तालिम गरिएको मानिन्छ।

तर आवश्यक आउटपुट सतर्कतापूर्वक लेबल गर्नु एउटा समस्या हुन सक्छ किनकि यसलाई मानिसको निर्णयद्वारा उदाहरण वाक्य सहितको उदाहरणहरू संकलन गर्न etc.

एउटा वाक्य जोडी दिइएको बजाय, नेटवर्कलाई केवल अबाध्य वाक्यहरू मात्र दिइएर प्रत्येक वाक्यलाई एक भेक्टरमा संक्षेप गर्नुपर्ने थियो र प्रत्येक वाक्यलाई मूल वाक्यमा फिर्ता खोल्नुपर्ने थियो। मिर्रोरिंगलाई सुरक्षा प्रणालीले समायोजित गर्ने लागि लास फंग्क्शन बनाएको थियो। यी फिर्ता खोलिएका वा एक उदाहरणका रूपमा एक भेक्टरको मार्फत अबाध्य उदाहरणहरू ठूलो संख्या तुलनामा र समान्तरनका निष्पक्षताका काममा लेबल गरिएका डाटाहरू छटन मिलेको थियो।

२०१८ मा, ओपनएआई टिमले भेंगियो र सहकर्मीहरूले विकसित गरेको लक्ष्यांकन mechanism, जसले बगैंचे/रोमी प्रशस्त्रसँग विशेष शब्द भेक्टर्समा भ्रमण गर्ने गरेको थियो र दई र ले विकसित गरेको अनप्रशिक्षित पूर्व-प्रशिक्षण दृष्टिकोण, जसले बडी मात्राको पाठतिर पठाउर प्राकृतिक पाठको पुनर्निर्माण गर्ने थियो, यी दुई घटकहरूलाई एकत्रित गर्यो।

तिनीहरूले एक मानक ट्रान्सफरमर लिएर त्यसको सामग्रीलाई BookCorpus लाई खानेप्रयोग गरे, जो टोरोंटो विश्वविद्यालय र MIT द्वारा सञ्चालित गरिएको हो र जसमा हजारौं प्रकाशित पुस्तकको पाठहरू प्रविष्ट हुन, प्राय 5 जिबि जसको कुल शब्द संख्या 7,000 भयो। GPT-1 लाई त्यस सबै पुस्तकहरूलाई संक्षेपित तथा अन्नच्छिन्दै शिकाउने गरियो।

यसले थ्री बर्षको ठाउँमा बढ्दै जाने डाटासेटको इतिहास प्रारम्भ गर्यो। खुल्ला ए.आई. वि. अनुसन्धानकर्ताहरूले मानवले थुप्रै डाटा प्राप्त गर्ने सम्भावना बढाउदै, कार्यक्रमले के इनपुटी निगेर्दछ भन्ने सीमाहरूलाई सोचे। जीपीटी-२को साथै, तिनीहरूले बुककोर्पसलाई फाउदोसाढेका व्याघाटको लागि पालन छाडेर, ४० जीबी डाटाको मिलाउनका लागि आउटबाउन्ड लिंकहरूबाट निस्केका आठ लाखको वेब पृष्ठमा आधारित आफ्नो आफ्नो डाटासेटका रुपमा ठूलोमा गेला।

GPT-3 को प्रशिक्षण अझै पनि विशाल छ, २०१६ देखि २०१९ सम्मको प्रसिद्ध CommonCrawl डाटासेट बाट बनेको। यसमा सम्प्रेषित पाठ डाटा बटुले मात्र ४५ टेराबाइट छ, तर OpenAI ले नक्कलहरूलाई हटाएर तथा गुणवत्तालाई सुधार्नका लागि सेरेर एक अन्तिम संस्करण बनाएको छ। अन्तिम संस्करणले ५७० जीबीको डाटा हो। OpenAI ले यसलाई किताबहरू डाटा सहित विभिन्न प्रकारका थप डाटासेटहरू द्वारा पूरा गर्यो।

GPT-3 ले कम्प्युट पावरमा कसरी निर्भर छ?

GPT-1, 2, र 3को आगमनसँगै, गणना (computing) को माप अग्रसरी योग्यता प्रगतीका लागि आवश्यक तत्व बन्यो। मोडेलहरूले शिकाइएको समयमा बेहतर परिणाम प्राप्त गर्नका लागि अझै र अझै कम्प्युटर शक्ति प्रयोग गर्छन्।

तलिमको दौरमा न्यूरल नेटलाई क क्षेत्रमा सुधारमा यसका वेटहरूको समायोजन गर्दछ। वेटहरू जसले पैरामिटरहरू पनि कहिल्यै केही केहीले ठाउँहरूले उपयोग गरिन्छ, ये एउटा बर्ताका छाताक छन। बेरहरू संचरणबाट उत्पन्न भएको संचिमिलाई क्षेर्त्र अनुसार बढी वा कम वेट देन्छ । न्यूरल नेटवर्कलाई त्रुटि क्षेत्र बन्द गर्न जस्तै ध्यान दिएर कम्पलिएको छ।

OpenAIले पाइडाटा प्रगतिको निम्ति उभिन्नले थप थप वेट्स थप्नुपर्छ भनेर फिग्यरमा पुग्यो।

Google को मूल ट्रान्सफ़ॉर्मरमा ११० मिलियन वेटहरू थिए। GPT-1 ले यो डिजाइनमा अनुसर्न सुरु गरीनछ । GPT-2 ले यो संख्या १.५ बिलियन वेटहरूमा वृद्धि गर्यो। GPT-3 ले संख्या खरोल्यो १७५ बिलियन वेटसहितको प्रामाणको साथै, GPT-3 संसारको सबैभन्दा मोटो न्यूरल नेटवर्क हो।

गुणन एक सजिलो कुरा हो, तर जब १७५ अर्ब वजनलाई प्रत्येक इनपुट डाटाको हरेक बिटले गुणन गर्नुपर्छ, एक अविश्वसनीय पैमानामा प्यारलेल कम्प्युटर प्रोसेसिङमा बन्दैछ।

२०१८ मा नै, GPT-1 संगै, OpenAI ने व्यावहारिक कम्प्युटिङ मापका सीमाहरूमा पुगेको थियो। डाटा बढाउन सगर्नुलग्नेरै, GPUs बढाउन पर्यो। अघिका भाषा मोडलहरूले एकै जिपियूमा ठाउँ पाउने कारण त्यसपछि माडलहरू सामान्यपन थिएन। GPT-1ले आठ जिपियूहरूमा सामान्यतया काम गर्ने त्यो महिना लिनु भयो जुन एक साथ चलिरहेका थिए।

जीपीटी-३ को साथ, OpenAI थोरै सावधानी बजाएको थियो। यो योग्य कम्प्युटर विन्यासको बारेमा छानबिन गरिएको छैन। एक्सप्लिकित गर्नु शकेकोमा निविदा लिने, माइक्रोसफ्ट एज्युरमा चलिरहेको संग्रहको निविदा Nvidia V100 चिपपाट चलाउने भन्दै जनाउनु भएको छ। कम्पनीले जरुरीता गणना गर्दा प्रयोग गरिएको कम्प्यूट चक्रहरू बयान गरेको थियो, यो देखाउँदैछ कि दिनमा हरेक सेकेन्डको लागि हजार ट्रिलियन फ्लोटिङ-प्वाइन्ट आपरेसन संचालन गर्न प्रयोग गरिएको छ 3,640 दिनहरूको लागि।

कम्प्युटर निर्माता र क्लाउड ओपरेटर ल्याम्बडा कम्प्युटिङ्गले अनुमान लगाएको छ कि एकल जीपीयूले उक्त गणना चलाउन ३५५ वर्ष लाग्छ, जुन, साधारण क्लाउड जीपीयू इन्स्टेन्स मुल्यमा, $४.६ मिलियन कोस्ट गर्दछ। र त्यस्तै स्मृति पनि छ। सबै भार मानन सङ्ख्यामा बढ्दै जाँदा अधिक र अधिक स्मृति आवश्यक हुन्छ। जीपीटी-३ का १७५ खरब स्मृतिहरूले ७००जीबी यादी आवश्यक छ, एकल जीपीयूमा भएको स्मृतिको १० दशकबारी बढी।

त्यस्तै विद्युत् शक्ति आवश्यकता ले कम्प्युटर चिप्सको क्षेत्र जोगाउदै छ। यसले AI तालिमको लागि प्रमुख GPU आपूर्तिकर्ता न्विडियाको हिस्सा मूल्यलाई पछिल्ला दश वर्षमा लगभग ५,०००% सँग बढेर ल्याएको छ। यसले सिरसिरा सैनिक पूँजीमा सहयोग गरिएका र क्षेत्रमा उच्च संख्याका स्टार्टअप कम्पनीहरू जस्ता Cerebras Systems, Graphcore र Tachyum, आवश्यक निधि सहितका सैनिक पूँजी द्वारा समर्थित भएका छन्। जबतक केवल ठूला ठूला मोडेलहरू निर्माण गरिने क्षेत्रमा आगामी दिनहरू नजिक हुन जाँदैन, प्रतिस्पर्धा जारी रहनेछ।

ओपनआईले आफ्नो आवश्यक रहेको उच्च संगणक शक्ति प्रतिभाखलनका बारेमा आफूले आफ्नो खोज गरेको छ। आफ्नो वर्ष २०१८मा, कम्प्युटिङ संक्षेपणबाट गरिएका नेपाली AI शिक्षण मोडेलहरूले प्रति ३.४ महिनामा दुईवटा हुँदै गएकोले यसमा एकीकृत तान्त्रिका बिस्तार थियो, जुनको लागि प्रसिद्ध मुरको आचार्य मूरको कानुनको बढी उत्पन्नताको अभिवृद्धिको मुकाबला गर्नुपर्ने छ। (म्यान याद गरौ, कम्पनीले पनि आफूले आफ्नो खोज गरेको छ जस्तो रिमेन्डर, अझै पुरानो सार्वभौमिक न्युराल नेटहरूले जस्तो काम गर्दा बढीमा बढी आकर्षक हुन्छन्।)

पहिलेनै, गोपनीय एआई परियोजनाहरूमा सूचित गरिएका कम्पनीहरूले एक ट्रिलियनभन्दा बढी पैरामिटरहरू प्रयोग गर्दै आउँदै छन्। यो प्रतिस्पर्धामा कुनै सीमा होइन, किनभने Google जस्ता हाइपर-स्केल कम्पनीहरूले आफ्ना विशाल डाटा केन्द्रहरूलाई चाडै ठूलो महत्त्व दिने अनुमति दियोस्। धेरै एआई विद्वानहरूले यसाेबाट यही ब्यास केही समय सम्म मेशिन लर्निङ माेडलकाे नै नियम हुने ठानेका छन्।

"AI को दायरा मा प्रभाव संग, GPT-3 बारे सबैभन्दा रोचक भाग यसो देखाउछ कि हामीले AI लाई स्केलिंग गर्ने सीमालाई नैन सोध्न सकेनौं," AI प्रबन्ध उपकरण विक्रेता Algorithmia को CTO, केनी डानिएलले ZDNet मा भने।

कम्प्यूट कार्यक्रम विस्तारित गर्दा नै, GPT-3 को अरु बडी प्रभाव प्रमुखता साफैं यो हुनेछ कि यसले कसरी प्रोग्रामिङ र अनुप्रयोग विकासलाई धेरै तेजगर्दछ। एउटा वाक्य टाइप गरेर निर्मित गरिएको JSX कार्यक्रम देखाउने शमिमको प्रदर्शन मात्र आइसबर्गको माथिचो हो।

GPT-3को केही कमिकटा के के हुन्?

पहिले भर्सनसँग सजिलै सुधार भएपछि पनि, GPT-3 मा धेरै परिमितिहरू छन्, जुनलाई लेखकहरूले निरन्तरताको सूचना गर्दछन्। "हाल को समुदाय तपाईंले उच्चता अझ धेरै छ, तर GPT-3 नमुनाहरू अक्सर ठूलो पासेजहरूमा सकारात्मक रूपमा आफ्नै आफ्नो अर्थान्तिकता दुहेको छ," उक्त प्रकाशनात्मक कागजमा उनीहरू ध्यान दिएका छन्।

प्रोग्रामले कई वैयक्तिक परीक्षामा पनि अच्छा प्रदर्शन नगर्दछ। "विशेष गरी, GPT-3ले 'यदि म फ्रिजमा पनीर राख्छु भने, के यो पिघ्ने हुनेछ?' प्रश्नको साथै जे दित्तबोध छैन वा थाहा पाउँछ भनेर लेख्ने लेखकहरूले वर्णन गर्दछन्, जस्तै गोप्य बुद्धिसम्पन्नता बाट बाहिरान गरिन्छ GPT-3।

त्यसको पछि जीपीटी-३ आउँदा चर्चामा धेरै उत्साह थियो जसपछि कम्पनीका मुख्य कार्यकारी अधिकृत, साम आल्टमानले जनतालाई उत्साह रोक्न भनेर सार्वजनिकले भनिएको छ।

"GPT-3 को हाइप धेरै थियो," ट्वीट गर्नुभयो अल्ट्मनले जुलाई १९ मा। "यसले प्रभावशाली चिम्ला गर्छ (अचम्मका लागि धन्यवाद!) तर यसका अझै पनि गम्भीर कमजोरियाँ छन् र गधेगधे गल्तिहरू गर्छ," उनले लेख्यो। "AI संसारलाई परिवर्तन गर्नेछ, तर GPT-3 मात्र अत्यन्तै अघिमा हेर्न लेख्ने छन्। हाम्रो मत अझै सम्झनै छ।"

जीपिटी-३ को हाइप धेरै छ। यो अद्भुत छ (सुन्दर सराहाराहरूको लागि धन्यवाद!) तर यसले अझै गम्भीर दुर्बलता हर्न्या र कहिलेकाहिले धेरै मूर्खतापूर्ण गल्ती गर्दछ। एआईले दुनियालाई परिवर्तन गर्नेछ, तर जीपीटी-३ मात्र धेरै पहिलेरैको झलक मात्र हो। हामीलाई अझै सोही समयमा केहि जान्ने छौं।

— सैम आल्टम्यान (@sama) July 19, 2020

ओपेनएआईबाट बाहिरका अन्यले पनि आफ्नो रियालिटी चेक प्रस्तुत गरेका छन्। मल्टिपल जनरेसन्स अफ जीपीटीका अनुभवी उपयोगकर्ता म्याक्स वुल्फले आफ्नो व्यक्तिगत ब्लगमा लेखेका छन् कि जीपीटी-३ अघिल्लोलाई भनेर बेस्ट हो तर मात्र सामान्यवर्गीको हो। यसले बनाइएका पाठको गुणको एक स्पेक्ट्रम छ जसमा केही उदाहरणहरू चकितकारक देखिन्छन्, र केही अन्यहरू ठीक निदायन्न देखिन्छन्। वुल्फले जीपीटी-३लाई एपलको सिरीसँग साझेदार गर्छन्, जुनले धेरै पटक अस्थायी रचना बनाउँछ। (वुल्फको निबन्ध उपयोगी छ भनेर लोकप्रिय सोच प्रस्तुत गर्छ।)

वास्तवमा, कतिवधै र धेरै जीपीटी-३ (GPT-3) उदाहरणहरू पढ्नु पर्छ, विशेष गरी लम्बी पाठककर्मका बारे। अर्थात्, विस्तारबढीमा जीपीटी-३ तत्समयमा जुट्दै जुट्ने संघर्ष गर्दछ, जस्तो कि भनिन्छ। ज्यानिका प्रयासमा चाहे जुन साहित्यिक किसिमको होस्, अवाईद्यको उत्पादन लगभग गोल गोल र उबाऔहरूका साथमा उद्भेद-दिलोपक उठेका छ।

केही प्रोग्रामरहरू, त्यसको उत्साहबाट परेर, गोलमालहरूलाई श्रृंखलाबद्ध गरेर आफ्नो अनुसन्धान गर्नुभएका छन्, जस्तै GPT-3 ले आफ्नो पिता हस्य कथा प्रयासमा असफल भएको छ। वटा वट पाटको सूचना दिएर पिता हस्य कथा काठमाडौं।" छ, ठीक हस्य कथा का ठहराव छ, "खाना मैलामाथि छ!" र तर्कसंगत हँसी उत्प्रेरित जयहेर GPT-3 ले नासुबाचाल बजारमा नेहेर्दै, "मलाई डुब्नुहोस्!"

मानिसले दिएको प्रविधि: के एक थालनी अर्को थालनीलाई के भन्ने?

GPT-3-द्वारा उत्पन्न पूर्ति : ए. मलाई डुबाउनुहोस्!

जिति-३ आँसुमान जस्तो आमसंगै जवाफ दिन सक्छ, उदाहरणका रुपमा जस्तै जस्तो बालुहीले कति आँखा छ भनेर प्रश्न पुगाउँछ, तर असाम्य अर्थ रहित प्रश्नलाई उपेक्षा गर्न असमर्थ छ र असाम्य जवाफ प्राप्त गर्दछ। "मेरो पाउँले कति आँखा छ?" जसमा प्रश्न पुगाएमा, यो सुसंस्कृत उत्तर दिनेछ, "मेरो पाउँले दुई आँखा छ।"

सबै निकृष्टताको बारेमा सोच्नुको एक उपाय यो हो कि GPT-3बाट उत्पन्न हुने उत्पादनको लागि सदैव इफेक्टिभ प्रम्पटहरू सिर्जना गर्ने निवेशको आवश्यकता छ। केही मानिसको तर्फबाट निर्मित प्रम्पटहरू केही अर्काको प्रम्पट भन्दा उत्कृष्ट परिणामहरूलाई उकसाउनेछन्। यसले जस्तै एकुणांक लोकोकामा “कचरामा राओ“, यसरी एक नयाँ दायरा हुन सक्छ। प्रोम्प्टहरूले  सज्जता र कलात्मता उपयोग गर्ने कुरालाई प्रोग्रामिङ्गको नयाँ क्षेत्र बन्न सक्छ।

विपक्षवाद एक महत्वपूर्ण परिवेश हो, नैम्प्रेसिफ-3 मात्रै होइन तर हरेक कार्यक्रमसँगै जुडिएको सबै प्रोग्रामहरूमा अवस्थानात्मक वितरणमा आधारित पहल हो। प्रोग्रामको मूल तत्वले सचमुच त्यसलाई प्रतिबिम्बित गर्न समर्थ छ, जस्तै एक दर्पण। यसले डाटामा विपक्षवाद को अनुकरण गर्ने सम्भावना छ। अब पहिलेनै GPT-2मा विस्तृत विपक्षवादमा शैक्षिक चर्चा भएको छ।

GPT-3 बाट, न्भिडियो AI वैज्ञानिक अनिमा आनन्दकुमारले चेतावनी दिए जसमा बाइयास हुने उत्पादनको, जसमा नस्लवादी र लैंगिकवादी उत्पादन पनि समावेस गरिन्छ।

म यसलाई घोषणा गरी प्रतिज्ञापनको कुनै पनि जिम्मेवारी खोजी नदिएमा चिन्तित हुँ। यस लाई @reddit मा हामीले निम्न घृणापूर्णता र यौनविरोधकताको साथ शिक्षित गर्दा। मलाई यी मोडेलहरूसंग काम गर्नुभएका छन् र त्यस्ता पाठहरूले आश्चर्यजनक झुकाउँ छन्। @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— प्रा. अनिमा अनन्दकुमार (@AnimaAnandkumar) जून ११, २०२०

आनन्दकुमारको आलोचना बारे पूछ्दा, OpenAI ने "सर्वाधिक शक्तिशाली रचनात्मक मोडेलहरूसँग, निष्पक्षता र दुरुपयोग हाम्रो चिन्ताहरू हुन्।" भनी ZDNetलाई भनेको छ।

"यसकारणले हामी यो तक्नोलजीलाई एपीआईद्वारा साझा गर्दै छौं र सुरुमा निजी बेटामा लाँच गर्दै छौं," उद्घटनीबद्द ने ZDNet लाई बताउदैछ। कम्पनीले गतिविधि, योग्यता, रास्ट्रिक बन्द गर्ने, धिक्कारी देऊने, आदिको गर्दै , जनमानसिक किसिमको चोट गर्ने, प्रतिरोधितार्तालाई, वचन-भ्रष्टतालाई, वा स्पाम-तालाई सुहाउने प्रयोगमाथि समर्थन हुँदैन। "

OpenAIले ZDNetलाई भनेर हेरिएको छ, तपाईंसँगै परिचितको प्रकारको व्हाइट ह्याट, ब्ल्याक ह्यাট वारगेमिङ्ग प्रयोग गरेर कार्यक्रममा खतराहरूको पत्ता लगाउने:

हामीले 'रेड टिम' वा 'रत्त' आवाहन गरेका छौं जुन लगातार सामग्री छानुहुने प्रणालीलाई तोड्ने कार्यक्रममा लगायत अधिक जानकारी प्राप्त गर्न सक्छौं। यसको उपक्रम "निलो टिम" हो, जुनलाई मापन गरेर तिर्ने तथा पक्राउ घटाउने कार्यक्रममा लगायत छ।

एक अर्को महत्वपूर्ण समस्या भएको छ जित्दैन जीपीटी-३ को अत्यन्त व्यापक, सबैमा माध्यमिक नेपालिको प्रकृति, यसको होइन जुन पाएको संभावनाको घुम्तीको केवल बढिपछि छापामाथि हो । साधारणतया एक प्रासंगिक समावेशीकरणको बारे म ज्ञात छ, र जे प्रासंगिकता लागूमा सबैभन्दा अल्प घटकहरू हुन्, वाक्यप्रयोगको सबैभन्दा अविष्कारशील उदाहरणहरू हुन सक्छन् । समाजमा सबैभन्दा प्रचलित पाठलाई मिररिंग गर्ने मा ध्यान केन्द्रित गर्दा कृतित्वता र अन्वेषण निकाल गर्न प्रतिभाजन सँधारित गर्ने समस्या पैदा हुन सक्छ ।

यस समय, त्यस्तो समस्याको समाधानका लागि OpenAIको GPT-3मा सेट गर्न सकिने एक भौतिक हेरफेर भइसक्ने मानपद, र यसले GPT-3लाई केही हुने शब्द संयोजनहरू छान्ने अनुमान लगाउने, र सो प्रकारको पाठ उत्पादन गर्ने जसले शायद असामान्य भएकोले हुँदछ।

व्यापारको लागि अर्को धेरै चिन्ता यस प्रकारको छ कि ब्यापारले कम्पनी-विशिष्ट डाटासंग संरेखित गर्न सक्दैन। कुनै कुरा संरेखित गर्न नसक्ने बिना, औद्योगिक क्षेत्रका लागि GPT-3 निषेध बनाउन दूषित हुन सक्छ। यसो भएमा, API सेवा प्रयोग गर्ने कुनै पनि कम्पनीले दुई मख्खी राख्नुपर्ने पाठहरू प्रायोजनमा लागू गर्न पुर्याउनु पर्ने हुन्छ। शायद यस्ता स्टार्टअपहरू जस्तै सप्लिंगले त्यसलाई हल गर्नेहरू एक पारिस्थितिको समुदायको समानार्थी तरेका हुन सक्छन्। यथार्थ, यसको आँखामा प्रमाणित हुन पर्छ।

यदि योस् परेनथ्टेस चिन्ताको निम्ति थिएन भने, अरू एउटा समस्या छ जसमा कि गोलाढामी सेवाको रूपमा, जिपीटी-३ एक कालो बक्स हो । यो मतलब छ कि सेवा प्रयोग गर्ने कम्पनिहरूलाई मात्रै थाहा छैन कि यो कसरी आउँदो हुन्छ -- विषयमा पक्षपातका समस्याहरू लिई खस्रेको अत्तिको कुरा गर्दा खटाइने हो । गटे-३लाई वृद्धि गर्ने सपलिङ्गकोप्रमुख हुनुअघि पनि, थप संदर्भमा अड्चण्डीकरण तहहरू थप्न पनि सक्छ ।

कालो बक्समा उपभागको रूपमा, GPT-3 बुझेर वरपर प्राप्त गरेको केही मामिलामा साधारणतया केवल स्मृति गर्दछ । यो कापिराइट विषयमा समस्या उठाउँछ । यदि कुनै कम्पनी एपीआई सेवाबाट कापिराइट भएका सामग्रीलाई उत्पादन गर्छ भने, त्यो कम्पनी अर्को संघीको कापिराइटलाई उल्लंघन गर्न सक्छ । कापिराइट विषयमा पूछिएकोमा, OpenAI द्वारा ZDNet लाई भनिएको छ कि GPT-3 द्वारा उत्पन्न गरिएको पाठको कापिराइट "उपभोक्तासँग छ, OpenAI अर्कालाई छैन" । यसको चालु हुने कार्य हेर्न समय लाग्नेछ।

यस समय, संचालन र प्रशिक्षण गर्न आवश्यक प्रमाणमा ज़्यादा धेरै बडी स्केलले गरिएको हो जसको बारेमा GPT-3लाई प्रमाणिक कुराहरूमा OpenAIले बुझाउछ। लेखकहरूले लेख्छन् कि बडी मोडेलको खर्चलाई बनाउने समय आधारित मूल्यमा कसरी छोट्याउने गर्ने गर्ने काम गर्नुपर्छ।

पनि: होइन, यो AI तपाईंको वाक्य पूरा गर्न सक्दैन

के सत्यमा GPT-3 सिक्दै छ?

शब्दको संकुचित अर्थको प्रयोग गरी, जीपीटी-३ सिक्नुहोस् किनभने प्रशिक्षण डाटाको सेवा मार्फत पारामीटर भार आप्यायावद्धताले स्वत: सुरु गरेको हो जसले भाषाको मोडेललाई एक्सप्लिसिट प्रोग्रामिङमाथि अझै सफल बनाउन दिन्छ। त्यसरी, जीपीटी-३ उकास गर्ने योग्यताको दशकहरूसम्मको कम्प्युटरलाई प्राप्त गर्ने प्रयासको अग्रसरी छ, जुन आखरी मनुष्यद्वारा त्यस तत्वलाई स्पष्टरूपमा इनकोड गर्न छैन।

त्यसका बावजूद, कसैले प्रश्न गर्नेछ कि कानुनी रूपमा मशीन सचमात्र बुद्धिमान वा सचमात्र सिक्दै छ। यसको बारेमा बहस गर्ने केहि तरिका छन्, तर साधारण विचारले सो कति भनदैन् बहुबिधमा गरेको जस्तो छ।

सोच्नुहोस् कि यदि तपाईंले आफूलाई ध्यान दिएर रहेको अंकीय स्कोरलाई हटाउनुहुन्छ जसले देखाउँदछ कि धेरै शब्दहरू एक-अर्कासँग जोडिने अपेक्षामा कति होंछ। के तपाईंले कथाहरू, वाक्यहरू, अनुच्छेदहरू र सम्पूर्ण पाठहरूको रचना गोर्चि महत्वपूर्ण भएको भन्नुहुन्छ? तपाईं यसलाई मात्र सांख्यिक रूपमा मात्र गणना गर्नु हुन्थ्यो र अन्य केही कुरा छुट्याउनुस् भन्नुहुन्छ।

गहिरो अध्ययन र प्रसिद्ध क्लेभर हान्स, एक जर्मनी घोडा बिचको तुलना गरिन्छन्, जसलाई उसको मालिकले उसलाई त्वचा लाई समयीका अंकहरूमा योग्य बनाउन सक्ने सपनिहरूमा सार्वजनिक रूपमा प्रदर्शन गरिएको हो। उपविष्ट मेट्रोको हस्तिले उसलाई चेतना संकेतहरूले अपनाउँदा हान्सले आफ्नो होफ मार्न सक्दैन र चेतना संकेतहरू नभएमा उसले कार्य गर्न असमर्थ थिए।

यसै गरी, GPT-3 को मानिसको गुण नजिकी अध्ययनमा टूट्ने देखिन्छ। GPT-3 ले न्यूयोर्क रियल एस्टेटका बारेमा लेखमा असत्य-सत्य प्रश्नलाई सही उत्तर दिने हो भने, यसकारण प्रोग्रामले रियल एस्टेट वा न्यूयोर्क को बारेमा जान्छैन। यसले पाठहरूमा दाबित गरिरहेका घोषणा र सवाल-उत्तर पेयरको ढांचाको प्रायोगिकता जोखिम राख्छ, र यसले उत्पादनमा उनीहरूलाई समकालिन बनाउन सक्छ।

हान्सले गणितको कुनै कुरा पनि थाहा पाएन, तर हान्सको समर्थनमा केवल थाहा नभएको छ तर उनलाई बुद्धिमानी संगै पनि थियो। न्यूरल नेटवर्कको मामिलामा, आलोचकहरूले मात्र जादुहरू छन्, बिना कुनै घोडा र बेहोशीको।

यत्रता, बुद्धिमता र शिक्षाको अर्थ के भन्ने कुरामा कान्छि सैँयस्थि छन्, र उसको लागि जे कि हुनुपर्छ त्यसमा वर्षभरिको समयमा गोल-मिलान काही हुन्छ जस्तो छ। यसप्रकार वल्लभः केहीले यसको स्वाभाविक बुद्धिमती, अर्थात् हाम्रो बाहेक प्राकर्तिकताबाट परेर आएको प्राकृतिक बुद्धिमतिको एक विशिष्ट प्रकारको बुद्धिमतीको कारणले यसलाई समाप्त गर्न सक्छन्। यसलाई अवरुद्ध गर्नु अप्रारम्भिक देखिन्छ।

भन्दा बढी, यी शर्तानुसारका प्राकृतिकता निकाल्ने सारस्वत नेटवर्कहरू सधैं माएको मापदण्ड कार्यक्रम भन्दै गर्दैनन्। यीका गणनाहरू सर्वत्र सहज गणितीय सरणिहरूको परिणाम हुन्, जुन एक समयमा एकात्मिक गणितीय सरणिहरूमा घट्दछन्, संयोजनको हितदृष्यका दायित्वद्वारा नियामन गर्दछन्। ज्ञान अन्य प्रकारको हो सक्छ भने, तल नेटवर्कभित्र रचिने वितरित प्रतिरूपहरूको नजिकै बस्न सक्छ।

GPT-3 को भविष्य के होला?

एक कुरा निश्चित देखिन्छ: GPT-3 मशीन शिक्षामा एक नयाँ अध्याय खोल्यो। यसको सबैभन्दा चमकिलो विशेषता योको विसापारिता हो। केही वर्ष पहिले मात्रै, न्यूरल नेटवर्कहरू सूट गरिएका थिए जुन विशेष कार्यका लागि बदल्ने सिधै गरिएका थिए, जस्तै कि अनुवाद वा प्रश्न जवाफ। डाटासेटहरूले यस कार्यलाई प्रतिबिम्बित गर्ने रचित गरिएका थिए। तर GPT-3 मा कुनै कार्य-विशेष फंक्सनहरू छैनन्, र कुनै विशेष डाटासेट पनि आवश्यक छैन। यो सिम्पली अत्याधुनिकताको रुपमा प्रतिलिपि लिने र को उत्पादनमा स्पष्ट रुपमा देखाउने लागि जहाँबाट केहि पनि पाठ छुने गर्छ।

कसै कसै तरिकाले, त्यस्तै बहुतै जिगावाइट टेक्स्टको बीचमा शर्तबद्ध सम्भावना वितरणको हिसाबले, क्रियात्मक उत्पत्ति एउटा कार्यहरूमा प्रतिस्पर्धात्मक उत्तर निर्माण गर्न सक्ने एउटा कार्यको कार्यकर्ता निधारित गर्दछ। यो अत्यधिक सरलताको एक विनाशोसारी पीछाहट हो जसमा अक्सर जीवनकालको उपलब्धिहरू पर्याप्त पूर्वानुमानमा आएको हुँदो छ।

यसप्रकारको सामान्यता त्यसको सीमासम्म प्राप्त पनि हुन सक्छ। यसबाटै पनि, GPT-3 को लेखकहरूले आफूले धारण गर्ने कुरा अन्त्यमा उल्लेख गर्छन् कि पूर्व-प्रशिक्षण दिशा अन्तमा ग्याँती लग्न सक्छ। "यस पेपरमा वर्णित सामान्य दृष्टिकोणको अधिक मूल्यांकनले सम्भाव्यता अन्तमा टुक्रिएको[...] कारणहरूले (वा यस पहिलेदेखि हुँदो छ वा हस्तक्षेप छ) अध्ययन आधारको सर्वाधिक सीमाको सीमा संचार गर्न सक्छ।"

लेखकहरूले अनुमानित गर्दछन् कि "मानिसहरूबाट उद्देश्य फलन" सिक्ने नयाँ दिशाहरू र चेस र गो मा जित्नका लागि "पुनरावृत्ति शिक्षा" पर्याप्तका रुपमध्ये रहँदैन, अन्य प्रकारका गहिरो सिक्षानलाई मिश्रण गर्नु सुझाव दिएका छन् । (यीहेक अवलोकनमा। सेप्टेम्बरको पहिलोहेकतिर, OpenAI लेखकहरूले देखाएका छन् जी हुन्छ, जब उनले तालिम दिनुभट्टाउनु अनुमानितलाई अझै उत्कृष्ट रुपमा बनाउन Mahindra को गहिरो शिक्षाको प्रयासलाई सुरु गर्नु गयो, Ramro रुपमा बनाउनु केहि मानिसहरूको प्रतिक्रियाबाट भाषामा योज्ञ प्रस्तुतिकरणहरूको साउंड राम्रो लाग्छ)।

अर्को कुरा जुनहरू सुझाव दिएको छ त्यो हो तस्वीरहरूको समावेश गर्ने, जस्तै कि कार्यक्रमको "विश्व को मोडल" पूरा गर्नको लागि, अन्य डाटा प्रकारहरू सम्म।

वास्तवमा, आउने वर्षहरूमा यस अत्यन्त सामान्य दृष्टिकोणलाई संदर्भित गरेको अनलाई दूसरा प्रक्रियामा फैलिने योग्यता छ, जस्तै पाठ, चित्र र भिडियोको बाहिर. एक ऐसो कार्यक्रमलाई कला गरिएको हुन्थ्यो जसको सहायता बिना कुनै विशेष अभिकल्पलाई बोध गराउन शब्दहरूको चित्र अनुवाद गर्न सक्छ र उल्टोसंदर्भित गर्न सक्छ, र यतीलाई प्रतिष्ठानिकतासँग कुनै अल्गोरिदमलाई मॉडल गर्ने आवश्यकता छैन। उदाहरणको लागि, यसले, फोटोहरूबाट पाठीय स्थिति वर्णन 'सिक्न सक्छ' वा पाठ स्वरूपले घटनाक्रमको शारीरिक क्रमहरूको पूर्वानुमान निर्धारण गर्न सक्छ।

फेसबुक AI निदेशक यान लेकनले यो गरी एक विचार प्रस्तुत गर्नुभएको छ कि विभिन्न रूपहरूका अनुप्रशिक्षणले दिग्विजय गहिरे शिक्षामा भविष्य हो। यदि यो सत्य हुनुहुन्छ भने, पूर्व-प्रशिक्षण दृष्टिकोणबाट केहि मात्रै अपूर्व स्वरूपको अनुप्रशिक्षणले दिग्विजय गहिरे लहरको यो गर्वथापनी गर्न सकिन्छ, जुन ध्वनि देखि पाठ सम्मको प्रशिक्षणवर्ग, छवि, भिडियो सम्मको हूंदै छ।