यती सुचीमा संख्या ७-अज्ञात प्रकारका खोला स्रोत <code>GPT</code> मॉडेलहरू जारी गरिएका छन्।

सिलिकन भ्याली एआई कम्पनी Cerebrasले आजको उपलब्ध गुनासो सजाती र एक्लोवागारी प्रणालीहरूको प्रतिस्पर्धी विकल्प प्रदान गर्नको लागि सात खुला स्रोत GPTमा प्रकाशित गर्यो।

तलब रोयल्टि फ्री ओपन सोर्स जीपीटी मोडेलहरू, तलमा तालिम लेख्ने तथा तिरपाइ गर्ने रेसिपी सहितका वजनलाई सिलिकन भ्यालीस्थित एआई अनुप्रयोगहरूको लागि आइ इन्फ्रास्ट्रक्चर द्वारा प्रमाणित एपाचे २.० प्रमाणित लाइसेन्समा प्रकाशित गरिएको छ।

केही परिणामस्वरूप, सात जीपीटी मोडेलहरू Cerebras Andromeda एआई सुपरकम्प्युटरका लागि एक मिश्रणप्रमाण छ।

सेरेब्राज बनिज्ञानीले आफूलाई द्रुत गरी आफ्नो अनुकूल भाषा मोडेलहरू प्रशिक्षण दिन जस्पर AI Copywriter जस्ता उनीहरूको ग्राहकलाई अनुमति दिन्छ।

हार्डवेयर प्रविधि बारेमा चिन्ता गर्दै एउटा Cerebras ब्लग पोस्ट:

"हामीले सबै सेरेब्रस-जीपिटी मा अन्ड्रोमेडा हो भनिएको 16x सीएस-२ सेरेब्रस वेफर-स्केल क्लस्टरमा प्रशिक्षण दिइएका थियौं।

यो क्लस्टरले सेटा-पर्वनच्यालन तथा जीपियू क्लस्टरहरूमा आवश्यक परिमार्जन नगर्न व्यापार भयो भनेर विस्तारित सिस्टम इन्जिनियरिङ र मोडेलहरूको पुनरावर्तनशील रूपमा छान्न सकियो।

अत्यन्त महत्वपूर्ण, यो हाम्रो संशोधनकर्ताहरूलाई वितरित सिस्टमको बजाय एमएल डिजाइनमा केन्द्रित हुने अवसर प्रदान गर्न सक्ने छ। हामीले यो मानिसहरूको लागि ठूला मोडेलहरूलाई सजिलै प्रशिक्षण गर्ने क्षमतालाई एक मुख्य संकेत हो भनेर बुझ्न छौं, यो कारणले हामीले सबै लागि सेरेब्रस वेफर-स्केल क्लस्टरलाई सेरेब्रस ए. आई. माेडल स्टुडियोमार्फत उपलब्ध गराएका छौं"

Cerebras GPT मा मोडेलहरू र पारदर्शिता

सिरेब्रासले केवल केही कम्पनीहरूलाई मात्रा AI प्रविधिमा मालिकता कारणले सात खुला स्रोत GPT मोडेलहरू सिर्जना गर्नुको कारण बताएको छ।

OpenAI, Meta and Deepmind ले आफ्नै प्रणालीहरू बारे धेरै मात्र सूचना निजी र गाढा नियन्त्रित राख्छन्, जसले नवानीतता लागू गर्न थलेका तिन तीन कोरपोरेसनहरूले तदनुरूप गरेको डाटासँग सीमित गर्दछ।

के एक बन्द स्रोत प्रणाली ए आईको अभिवृद्धिमा सर्वोत्तम हो? वा खुला स्रोत भविष्य हो?

Cerebrasले लेख्यो:

“LLMs सबैलाई खुला र पहुँचयोग्य प्रविधि हुनका लागि हामीले यो महत्वपूर्ण मान्यताहरू प्राप्त गर्न हामीलाई हालैको तक्निकहरू र खुला डाटासेटहरू प्रयोग गरेर प्रशिक्षित नयाँ सन्दर्भनर्मित मोडेलहरूलाई समर्पित गरेर, यो एउटा परिवारको ट्रान्सफर्मर मोडेलहरू प्रशिक्षण गरिएका छौं जुनका रूपमा हामीले Cerebras-GPT भन्ने नामकोभन्दा आह्वान गर्छौं।

यो मोडेलहरू एकदमबाट पहिलो GPT मोडेल परिवार हुन्छन् जुन चिंचिल्ला फार्मुला प्रयोग गरी प्रशिक्षण गरिएका छन् र यो Apache 2.0 लाइसेन्समार्फत जारी गरिएका हुन्।”

त्यस्तै यसका सात आदर्शहरूलाई Hugging Face र GitHub मा जारी गरिएको छ र AI प्रविधिमा खुलासा गरेर अध्ययन बढाउन समर्थन गर्ने छ।

यी मोडेलहरूलाई Cerebras को Andromeda AI सुपरकम्प्युटरसँग प्रशिक्षित गरिएको छ, जसले गर्न सिर्फ हप्ताहरूलाई प्राप्त गर्‍यो।

Cerebras-GPT पूर्णतः खुल्ला र पारदर्शी छ, OpenAI (GPT-4), Deepmind र Meta OPT बाटका ताजा GPT मा अनुकरण गर्दै छ।

OpenAI र Deepmind Chinchilla ले मोडेलहरू प्रयोग गर्ने लाइसेन्स प्रदान गर्दैनन्। Meta OPT मात्र गैर-वाणिज्यिक लाइसेन्स प्रदान गर्दछ।

OpenAI को GPT-4 को प्रशिक्षण डाटामा सहीमा कुनै पारदर्शिता छैन। के उनीहरूले Common Crawl डाटा प्रयोग गरे? के उनीहरूले इन्टरनेट खोज्नेर आफ्नो डाटासेट सिर्जना गरे?

ओपेनआईले यस जानकारीलाई (र अझै केही) गोप्य राखिरहेको छ, जुन सिरेब्रास-जीपीटी प्रणालीको तुलनामा पूर्णतया पारदर्शी छ।

निम्न तत्वहरू सबै खुला र पारदर्शी छन्:

• मोडेल वास्तुकलाप
• तालिम डाटा
• मोडेल वजन
• चेकप्वाइंटस
• गणना-सुस्थित तालिम स्थिति (हो)
• प्रयोगको लाइसेंस: अपाचे २.० लाइसेंस

सात भर्सनहरू 111M, 256M, 590M, 1.3B, 2.7B, 6.7B र 13B मोडेलमा छन्।

यो घोषणा गरियो:

"AI हार्डवेयर को बिचमा पहिलोपटक, Cerebras शोधकर्ताले आन्ड्रोमेडा AI सुपरकम्प्युटरमा १११M, २५६M, ५९०M, १.३B, २.७B, ६.७B र १३B मापकहरूसँग एक सिरिज गतिमा सिकाउन सकेको छ।"

"साझेदारिता हुने काम धेरै महिनाहरू लाग्ने गरी नियमित गरिएको, तर यस श्रवणको इत्रु जति Cerebras CS-२ सिस्टमले यस छ। Andromeda बनाउँदछ, र Cerebras को वेट स्टिमिंग व्यावसायिकतामा समारोह स्वत:मुख्य्यता लिने र विभाजित गणना गर्ने क्षमता छ।"

"यो प्रमाणित गर्दछ कि Cerebras का सिस्टमहरू आजका सबै ठूलो र सबै कम्प्लेक्स AI उद्योगहरूलाई प्रशिक्षण दिन सक्छन्।"

"यस छैं उमेरमा साझेदारिता गरिने GPT मोडेलहरू एक साथ, सबैभन्दा बढीपटक अभियानशीलता तालिम प्रयोगका साथ सार्वजनिक भएको छ।"

"यी मोडेलहरूले यातायातको बजेटका लागि सबैभन्दा उच्च न्यूनतम सट्टा प्रशिक्षण काल, कम प्रशिक्षण खर्च, र कुनै पनि बिद्यमान सार्वजनिक मोडेल भनेका भनेर कम खर्च उपयोग गर्नेछ।"

खुल्ला स्रोत एआई

खुला स्रोत सफ्टवेयर Firefox को निर्माता Mozilla foundation ले Mozilla.ai नामक एक कम्पनी सुरु गर्नु भयो। यसको मुख्य उद्देश्य सत्यापित र गोपनीयता सम्बन्धी आदर्शको साथ खुला स्रोत GPT र अनुशंसा प्रणालीहरू निर्माण गर्नु हो।

डेटाब्रिक्सले हालै डोलि नामक एक ओपन स्रोत GPT क्लोन पनि जारी गर्यो जसले "च्याटजिपीटी को जादू" सामान्य जनतामा प्रचार गर्ने अभियान गर्दछ।

त्यसैले उक्त सातवटा Cerebras GPT मा अतिरिक्त एउटा कम्पनी, नोमिक एआई,ले GPT4All जस्तो ओपन सोर्स GPT जुन ल्यापटपमा चलाउन सकिन्छ, जारी गरेको छ।

खुला स्रोतको AI आन्दोलन अभी केवल शिशु स्तरमा छ, तर यात्रामा तेजीले बढ्दै छ।

GPT प्रविधि उद्योग बाट सुरु गर्दै विस्तारमा परामर्शकर्तालाई साम्राज्ञीय परिवर्तनहरू दिनु लाग्छ र यो सम्भव हो, शायद अविच्छिन्नभावमा, यी परिवर्तनहरूलाई चालान गर्ने उद्योगहरूको चेहरा परिवर्तन गर्न सक्ने छ।

यदि खुला स्रोत आन्दोलन यस गति बढ्छ भने, हामी केही कम्पनीहरूको हातमा भएको भाइरलाई रोक्ने तरिकाले AI अभिनवता ले बदल आन सक्छ।

आधिकारिक घोषणा पढ्नुहोस्:

Cerebras Systemsले CS-2 Wafer-Scale Systemsमा प्रशिक्षित सात नयाँ GPT मोडेल प्रकाशित गर्यो।