यस नयाँ प्रविधि संग सम्बन्धित GPT-4 र सबै कुनै पनि सबैलाई त्रिकोणमा फुक्क लगाउन सक्छ।

सबै धेरै उत्कटता भएको अध्यायमा च्याटबट ए.आई कार्यक्रम ChatGPT, ओपनएआईबाट र यसको उपन्यास प्रवृत्ति, जि.पि.टी-४, प्रोग्रामहरू सामान्यतया सडको हुनेछन्,किनकि, यी प्रोग्रामहरू, अन्ततः, केवल सफ्टवेयर एप्लिकेशनहरू मात्र हुन्छन्। र सबै एप्लिकेशनले, यस्तो प्रमाणको प्रदर्शन गर्न सकिने तक्निकी सीमाहरू छन् जुन उनीहरूको प्रदर्शन अनुकूल नगराउँछन्।

मार्चमा प्रकाशित एक कागजमा, स्टेनफोर्ड विश्वविद्यालय र क्यानाडाको एमआईएलए एमआई केन्द्र विकसित एक टेक्नोलजीमा मनोवैज्ञानिकहरूले प्रस्ताव पेश गर्नुभयो जुनले GPT-4 वा तस्बिर गरेका कुनै कुराको अघि धेरै मात्रा डाटा खादै दिन, त्यसलाई उत्तरमा परिवर्तन गर्न अत्यन्त दक्ष हुन सक्छ।

पनि: यी पूर्व Apple कर्मचारीहरूले यस उपकरणले स्मार्टफोनहरूलाई बदल्न चाहन्छन्

हायेना (Hyena) नामक प्रविधि अंश हो, जसले प्रयोग गरी विश्वसनीयता टेस्टहरूमा, जस्तै प्रश्नोत्तरीमा, समकक्ष खुचित प्रगति गर्न सक्दैन, तर संगणना शक्ति एक कक्षाको केवल एक औंसा का प्रयोग गर्दै| केही मामिलामा, हायेना कोडले GPT-स्टाइलको प्रविधि को साधारण रूपमा मेमोरीबाट बाहिर हुने अनि अप्रचलित हुने पाठको मात्र परिचालन गर्नु सक्दछ।

"हाम्रा सबैभन्दा कम पैरामिटरमा हाम्रो उत्कृष्ट परिणामहरूले देखाउँदछ कि ध्यानलाई हाम्रो सबै आवश्यकता होइन," लेखकहरू लेख्छन्। उक्त टिप्पणीले २०१७ को एक महत्वपूर्ण AI रिपोर्ट 'ध्यानले सबैलाई आवश्यक' को शीर्षकलाई संदर्भित गर्दछ। उक्त पेपरमा, Google वैज्ञानिक आशिष वास्वानी र सहकर्मीहरूले विश्वलाई Google को Transformer AI कार्यक्रमलाई परिचय गराए। Transformer अहिलेका सबै ठूलो भाषा मोडेलहरूको आधार बन्यो।"

तर ट्रान्सफार्मरमा एउटा ठूलो दोष छ। यसले कम्प्युटर प्रोग्रामले एक बाट अर्थ लिने सबै सिम्बलहरू जस्तै शब्दहरूबाट जानकारी लिन्छ, र त्यसो जानकारीलाई नयाँ समूह ठान्ने, जस्तै ChatGPT देखिने उत्पादन हो।

पनि:GPT-4 के हो? यहाँ तपाईंलाई जान्नै पर्ने सबै कुरा छ।

त्यो संचार प्रक्रिया -- बडीका भाषा कार्यक्रमहरूको मूलभूत उपकरण, जस्तै कि ChatGPT र GPT-4 -- "वर्गीकृत" गणना सम्प्लेक्सिटी (गणनाको विकि "समय सम्प्लेक्सिटी") अछि। यो सम्प्लेक्सिटीले भनेको छ कि ChatGPT लाई उत्पादन गर्ने समयले विनामोलक समयको रूपमा बढी दिइँदछ जस्तै प्रविष्ट गरिएको डाटाको यात्रा क्षेत्रको वर्गमा।

कहिलेका कुरामा, यदि डाटाको धेरै मात्रा हुँदो छ -- प्रम्प्टमा धेरै शब्दहरू, वा कुराकानीहरूको सत्रहरूमा घण्टाको घण्टा च्याटिंगबाट -- त्योलाई जवाफ दिन मा देरी हुँदछ, वा यदि त्यो दिनदिनी रान्ना उपयोग गरेर त्यसलाई बढीतिर तेज गर्नुपर्ने छ, त्यसमा गणना आवश्यकताको उब्जाले उभिन्छ।

नयाँ कागजमा, 'हायेना वार्ताहार: बडी घामनी भाषाको संज्ञानात्मक मोडेलहरू संगमा' जसको arXiv पूर्व-मुद्रण सर्भरमा पोस्ट गरिएको छ, संचालनको सहकार्यमा माइकेल पोली (Stanford) र उनका सहकारीहरूले ट्रान्सफरमरको ध्यानको संवेदना संचालनसँग केहि उपक्षेपनात्मक, यानी हायेनाले प्रतिस्थापन गर्ने प्रस्ताव गर्छन्।

पनि:आउटो-जिपिटि के हो? आउटो-जिपिटि बारे जान्नुहोस, अगाडी बढ्ने प्रबिधि के हो

लेखकहरूले नामको व्याख्या गर्दैनन्, तर हामी भन्न सक्छौं कि "हाइना" कार्यक्रमका लागि कई कारणहरू अनुमान गर्न सक्छन्। हाइना एफ्रिकामा बस्ने पशुहरू हुन जसले मैला र मैला हेरेर शिकार गर्न सक्छन्। एक अनुमानित कुरा यो हो कि एक अत्यधिक प्रभावशाली भाषा मोडेलले लाइनहरू र लाइनहरूको जोगाउनको लागि हाइना जस्तो हुन सक्छ।

तर लेखकहरूले खालको सुझावको रूपमा "प्रमुखता"संग प्रमुखता गरे छन्, र जट्याउँदाका परिवारहरूले प्रमुखताको कडो व्यवस्थामा नै रहेका छन्, जहाँसंगी स्थानिक ह्येना क्ल्यानका सदस्यहरूले प्रमुखताको स्तरहरू छन्, जो प्रबलतालाई स्थापित गर्छ। केहि समानानुपातिक ढंगले, जस्तो गरी जति प्रबलताका साथ सिल्ला लगाउँछ, ह्येना प्रोग्रामले धेरै साधारण कार्यहरू, जस्तै तपाईं हेर्नुहुनेछ, बारबार लगाउँछ, यस्तो कि त्यसले डाटा प्रसंस्करणको एक प्रकारको प्रमुखतालाई गठन गर्दछ। त्यो संयोजकीय तत्वले प्रोग्रामलाई उहानी नाम दिन्छ।

पनि:भविष्यको ChatGPT संस्करणले वर्तमानमा मानिसहरूले गर्ने कामहरूको बहुमतलाई प्रतिस्थापित गर्न सक्छ, भन्छन् बेन गोएर्जेल

पत्रिकाको योगदानकर्ताहरूमा AI विश्वका प्रमुख व्यक्तित्वहरू योशुआ बेंगियो, MILA को वैज्ञानिक महानिदेशक, जसले २०१९ ट्यूरिङ अवार्ड पाएर नोबेल पुरस्कारको संग्रह रहेको छ, जुन कम्प्युटिङको समकक्ष हो। बेंगियोले ट्रान्सफार्मरका लागि यसलाई अनुकरण गर्ने भनेर वस्वानी र टोलाहरूलाई अग्रिज्ञान योजना विकास गर्नुको लागि अन्तर्दृष्टि तंत्रको विकासको श्रेय दिएको मानिन्छ।

पुस्तककर्ता बीचमा Stanford University कम्प्युटर विज्ञान सहकारी प्राध्यापक Christopher Ré पनि छनोटैननहुन जसले हालका वर्षमा "AI" अर्थात "सफ्टवेयर २.०" निर्माणमा मद्दत गरेका छन्।

अटेन्सनलाई सब-क्वाड्रेटिक विकल्प खोज्नको लागि, पोली र टोलीले अध्ययन गर्दै गएका थिए कीषवस्था सब के गर्नेछ, त्यसो देखि हेरेर पत्याउन सकिन्छ जुन काम केम्पन थियो, त्यसलाई ढिलो गरिदिन सकिन्छ।

एक हालका दिनहरूमा आई विज्ञानमा हुने एक नयाँ अभ्यास, जसले यसलाई \"यंत्रबिधिवानस्य\" पनि थप गरिएको छ, न्यूरल नेटवर्कको आन्द्रन संरचना भित्र, मनको \"विद्युत्प्रवाह\" वा \"कर्कसोच्नु\"को \"पर्याप्तताको\" समझलाई बढाउँछ । तपाईले यसलाई यसका रेडियो वा पिसी को ढाल रूखेसंग लिँदै खुल्ने रूपमा सोच्न सक्नु हुन्छ, जसले यसका भूमिका हरूलाई हेरि ज्ञानको कुरा लगाउन र कसरी यसले काम गर्दछ भन्ने समझ्न सक्नु हुन्छ ।

पनि:मैले ChatGPT प्रयोग गरेर १२ शीर्ष प्रोग्रामिंग भाषामा एउटा समान गर्दा, यसको काम कस्तो थियो त्यहाँ थप्नुहोस्

पोली र टोलीले उल्लेख गरेको एउटा काम अन्त्रोपिकको तर्फबाट गरी गणना गरिएको हो, जसले AI स्टार्टअप Anthropic को गबिस नेल्सन एलहाजले निर्माण गरेका प्रयोगहरूलाई तोड्ने गर्दछ। ती प्रयोगहरूमा ध्यानमा के गर्दछ, त्यहाँ पुर्खाको निरिक्षण गर्दछ।

मूल रूपमा, जुन एल्हाज र उनको संघले भेटेको छ, उहाँहरूले यसको अर्थ लागू गर्छन् कि ध्यानले यसको सबैभन्दा साधारण स्तरमा अत्यन्त साधारण कम्प्यूटर आपरेसनहरू, जस्तैले हालसालको प्रविष्टिका शब्दमा नकल गर्दछ र उत्पादनमा पेस्ट गर्दछ।

उदाहरणका लागि, यदि कुनैले ह्यारी पोटर र ए सर्सरर्स स्टोनबाटको एक वाक्यमा टाइप गर्छन्, जस्तै "मि. डर्सले ग्रनिङ्स भनिएको एक कम्पनीका संचालक थिए...", टाइप गर्दा "ड-उ-र-स", नामको सुरुवात, प्रोग्रामलाई "डर्सले" नाम पूरा गर्ने प्रेरणा प्रदान गर्न सक्छ किनकी यो नामलाई पुरानो वाक्यमा देखेको छ। सिस्टमले स्मृतिमा राखेका वर्णहरू "ल-इ-य" पूरा गर्नका लागि वाक्यमा पूर्ण गर्न सक्दछ।

पनि: भविष्यवाणीज्ञले भन्छन् कि च्याटजीपीटी मानिसी हृदय भन्दा पनि अधिक समान्तर बुद्धिमति हो।

तर, शब्दहरूको मात्राले समसामयिकता व्यवस्थासँग समस्या उठ्न सक्छ जब शब्दहरूको मात्रा बढ्दछ र बढ्दै जाँदछ। अधिक शब्दहरूले "वजन" वा "मापदण्ड" अर्थात् अभिप्रेषण चलाउन सक्छ, जो समसामयिकता व्यवस्थालाई संचालन गर्नको लागि आवश्यक हुन्छ।

लेखकहरूले लेख्छन्: "Transformer ब्लक क्रमशः मोडलमा शक्तिशाली उपकरण हो, तर यसको सीमाहरू पनि छन्। सबैभन्दा पर्खने टिप्पणीहरूमध्ये एकै कति गुमावट विपन्न हुने लगायत तिनबाट सबत्र नतिजा हुन्छ।"

दुःख सुनिएको छातगपटी र जीपिटी-४ को तकनीकी विवरण ओपनआइआईले खुल्न थालेको छैन, तर यस्ता प्रामाणिकहरूमा एक ट्रेलियन वा अधिक प्रामाणिकहरू हुन सक्छन् भनेर विश्वास गरिएको छ। यसका पैरामीटरहरू चलाउन सो न्यूविडियाबाट थप GPU चिपहरू आवश्यक रहेछ, त्यसैले सम्पुर्ण कम्प्युट लागतलाई बढ्याएको छ।

त्यो द्व्याघातात्मक गणना खर्च मानपर्न लाग्छ। पोली र टोलीले चित्ताउदाउने कर्मलाई कस्तो "घुमाउन" भनिन्छन्, जुन वार्षिक निर्धारणहरूका लागि विकसित भएको हो १९८० मा। एक घुमाउन बसैठो एक फिल्टर मात्र हो, जसले डाटामा वस्तुहरूलाई चयन गर्दछ, यो डिजिटल फोटोमा पिक्सेलहरू वा एक वाक्यका शब्दहरू हो ।

पनि:च्याट जेपीटीको सफलता ए.आई.मा सजाय जोडाउन सक्छ, भन्नेछ आ.आई.पूर्वज बेंजीओ

पोली र टोली हुन् जसले स्टानफर्ड गबेर Daniel Y. Fu र टोलीले गरेको कामलाई मिलाएर शव्दहरूका माथि युता फिल्टर लागू गर्ने गर्ने छन्, यो विद्यार्थी डेभिड रोमेरो र वरियाज विश्वविद्यालय एम्स्टर्डमका सहकारीहरूको कामसँग मिश्रित गर्छन्, जुन यो कार्यक्रमले फिल्टर आकारलाई यात्रामा बदल्न दिन्छ। यस्तो सुझाव लिने क्षमता प्रयोगात्मकरणविद्ध प्रयोजकलाई खर्चीसम्पन्न मापदण्डहरू वा भारहरूको संख्या कम गर्न दिन्छ।

म्याश-अपको नतिजा यसरी हो कि अनलिमिटेड मात्रामा पाठको उपर एक कनवोल्यूशन लागू गर्न सकिन्छ जसले अर्को अर्को डाटा प्रतिलिपी गर्न थप प्रामाणिकता माग्दैन। लेखकहरूले यसलाई "ध्यान-मुक्त" उपयोग गरेका छन्।

"हायेना अपरेटरहरूले मापदण्ड सकलमा लक्ष्य खालको मात्रामा गठाउन सक्छन्," पोली र पटकलका कार्यकर्ताहरूले लेख्छन्, "कम्प्युटेशनल बजेटले जस्तै शब्दोंमा उपजित जवाफ र डाउनस्ट्रिम प्रदर्शनले जस्तै कम्प्युटेशनल बजेटमा पुग्न सक्छ।" विपथ्यकता एक प्राविधिक शब्द हो जुन च्याटजीपिटी जस्ता प्रोग्रामले उत्पन्न गर्ने उत्तरलाई कति पेशीलो छ भन्ने संकेत गर्दछ।

हायेनाको क्षमताको प्रदर्शन देखाउँदै, लेखकहरूले यस कार्यक्रमलाई विभिन्न ए.आई कार्यहरूमा कति राम्रो छ भन्ने निर्धारण गर्ने बेंचमार्कहरू विरामी गर्छन्।

पनि: 'सफ्टवेयरमा अजीभ नयाँ कुराहरू घटिरहेका छन्,' भन्नुहुन्छ स्टानफोर्ड एआई प्रोफेसर क्रिस रे

एक परीक्षा हो The Pile, जो २०२० मा इलेथर.एआई, एक गैर-लाभ अनुसंधान संगठनले तयार गरेको ८२५-गिगाबाइटको पाठहरूको संग्रह हो। यसमा पाठहरू "उच्च गुणस्तरको" स्रोतहरूबाट एकत्रित गरिएका छन् जस्तै कि पबमेड, आरएक्सिभ, गिटहब, संयुक्त राज्य पेटेन्ट कार्यालय, र अन्यहरू, यसप्रकार स्रोतहरूले केवल रेडिट छर्नौटबाट नै ग्रिल्कहरूको प्रयोग गर्न अधिक शक्तिशाली ढंगले गरिएका हुन्छन्।

प्रोग्रामको मुख्य चुनौती संचार खण्डहरूलाई दिएको बाट अर्का शब्द उत्पन्न गर्ने थियो। ह्येना प्रोग्रामले २०१८ चौमासिको हच्चप तुलनामा ओपेनआईको मूल जीपीटी मोडेलसँग समान स्कोर प्राप्त गर्न सके, यो २०% कम्प्युटिंग प्रक्रियाहरूको साथमा -- "जीपीटी मान्यताको साथ सुननैभएको पहिलो आवरण-मुक्त, सन्तति शृंखला जसले घटाउँछ गर्ने छ, गुणको साथ गर्नुहुन्छ", ज्ञानविद्हरू लेखावलम्बित।

पछिल्लो, लेखकहरूले यस कार्यक्रमलाई मानसिक गुम्फाएका SuperGLUE गरिएका तर्क-कार्यहरूमा पनि परिक्षण गर्यो, जुन २०१९ मा न्यूयोर्क विश्वविद्यालयका विद्वानहरू, फेसबुक एआई रिसर्च, गुगलको डिपमाइंड इकाई, र वाशिंगटन विश्वविद्यालयबाट परिचालित भएको छ।

उदाहरणका लागि, जब "मेरो शरीरले घाँसमा छाया पसराउँछ" भनेर वाक्य दिइएको छ, र कारणका दुई विकल्पहरू, "सूर्य उदय भयो" वा "घाँस काटियो" र एउटा चयन गर्नका लागि बिन्दु लिइएको छ भने, कार्यक्रमले "सूर्य उदय भयो" लाई उचित परिणामको रूपमा उत्पन्न गर्नुपर्छ।

बहुमुखी कार्यहरूमा, हायेना कार्यक्रमले इटीपी संस्करणको छिटो महत्वका स्कोरहरू साधेको गर्यो भनेर जानकारी छ, यसको प्रशिक्षण डाटा अर्धे तल भएको।

पनि: नयाँ बिंग कसरी प्रयोग गर्ने (र ChatGPT बाट कसरी अलग छ)

थप रोचक कुरा भएको छ जब लेखकहरूले प्रविष्टि स्तर वचनहरूको लम्बाइलाई मिडाउनु भयो: अधिक शब्दहरूले कार्यक्षमता मा बेहतरी ल्याउँछ। २, ०४८ "धनबिन्दुहरू" मा, जुन तपाईं शब्दहरू मान्न सक्नु हुन्छ, हायेनाले गर्नुपर्दछ भाषा कार्यमा पूरा गर्नमा धेरै कम समय चाहिँ पैरा लाग्द।

64,000 टोकनमा, लेखकहरूले जोड् छन्, "हाइना गति बढ्दा १०० पटक धेरै हुन्छ" - एक सय गुना सर्वश्रेष्ठता सुधार।

Poli र टिमले वा हाइनाको साथ मात्र एक अलग अवलोकन कोशिस गरेर मात्रै होइन, उनले "क्वाड्रेटिक बैरियरलाई तोडेका" छन्, यसले प्रोग्रामलाई परिणामहरू गणना गर्न कति कठिन छ भन्ने नयाँ गुणात्मक परिवर्तन गर्यो।

उदाहरणका लागि, तिनीहरूले धेरै महत्वपूर्ण परिवर्तनहरू पनि सुझाव दिएका छन्: "क्वाड्रेटिक बैरियर टोड्ने एक मुख्य चरण हो जसले गहिराइका सम्भावनाहरूका लागि नयाँ सम्भावनाहरू खोल्दछ, जस्तै पूरा पाठपुस्तकहरूलाई सन्दर्भ मान्दै, लम्बाकालीन संगीत उत्पन्न गर्नु वा गिगापिक्सल यातायात प्रशोधन गर्नु," उनीहरूले लेख्छन्।

हाइनाले हजारौं शब्दहरूमा धेरै सुचारु ढंगले विस्तार गर्ने फिल्टर प्रयोग गर्ने क्षमता, लेखकहरूले लेख्छन्। यसका मतलबले "सन्दर्भ" को आवेदन को कुनै सीमा नहुन सक्दैन। यो कार्यान्वयनमा साथै, यसले धर्म प्राप्त गर्ने पूर्व पाठहरूका वा चलिरहेका कुराका तत्वहरू याद दिलाउँछ - जस्तै हुईका हयानाहरूले मैलाको साथै मैलाबाट दूरै घुमिरहेको मैला को धागाबाट संक्षेप्त बातचितको।

पनि: सबैभन्दा राम्रा AI च्याटबोट: ChatGPT र अन्य मनोरन्जक विकल्पहरू

“जिन्दा भिड़ी खाने कार्यकर्ताहरूलाई असीमित सन्दर्भहरू छन्,” लेख्नु हुन्छ। “अर्थात्, उनीहरूको सीमा परिधिमा हुँदैन र बिशेषतः, स्थानियता जस्तो कुनै रूपमा सकारात्मकताबाट अर्थपूर्णता प्रतिबन्धित हुन्न र [इनपुट]को कुनै भी संघर्षजन्य सम्पर्कहरू शिक्षण गर्न सक्नुहुन्छ।”

यससँगै, शब्दहरूबाट बढी, यो कार्यक्रमले विविधताहरूको डाटामा प्रयोग गर्न सक्छ, जस्तै कि छवि र सायद भिडियो र ध्वनी।

यस बारे ध्यान दिन रहेको कि कागजमा देखाइएको हायेना प्रोग्राम GPT-4 वा त्यसको पनि तुलनामा अत्यधिक आकारको हुँदैन। GPT-3मा १७५ बिलियन वजन हुन्छन्। हायेनाको सबैभन्दा ठुलो संस्करणको मात्रै १.३ बिलियन वारेमा मात्र हुन्छ। यसैले, गप्ट-३ वा ४ संग पूर्ण सिरसिर तुलनामा हायेना कशरत कसरी गर्नेछ, यह आउन के रहेको होइन।

तर, यदि हाइयेना प्रोग्रामका संशोधन ठूलो संस्करणहरूमा पनि सफलता प्राप्त गर्छ भने, त्यो ध्यानलाई गत दशकमा भएको जस्तै प्रसिद्ध परिप्रेक्ष्यको नयाँ आदर्श हुन सक्छ।

जस्तै पोली र टोलीले निष्कर्ष गरे: "हाइना जस्ता सरल चार्टहरू, सरल मार्गनिर्देशिका र मैकेनिस्टिक व्याख्यानक क्षमता ब्यांचमा आधारित सरल स्थलमा प्रदर्शन गर्ने देखेपछि, ठूलो मोडेलहरूको लागि सक्षम आधार बन्न सक्छ।"