नयाँ ओपन सोर्स ChatGPT प्रतिकृति - 'डाली' भनिन्छ।

डाटाब्रिक्स एन्टरप्राइज सफ्टवेयर कम्पनीले सृजना गरिएको डली ठूला भाषा माेडल (DLL) संग संगै ओपन स्रोत जिपिटी च्याटले अर्को ठूलो चरण अगाडि बढेको छ।

नयाँ च्याटजीपीटी क्लोनले डोली भनिएको छ, जसले त्यस नामको प्रसिद्ध भेडाको नाममा जन्मेको थियो, जुन जन्मिने मानव प्राणीको पहिलो क्लोन हो।

खुला स्रोत बडाई भाषा माेडलहरू

डोली एलएलएम लाई महान विभिन्न खुला स्रोत एआई आन्दोलनको नवीनतम रूप हो जुनले धेरै ताकपोशीपनिगर्ने एबं विशाल कम्पनिहरूद्वारा संचालित नहोस ताकि प्रविधिमा ठूलो सत्ताहार नबन्दै लोकप्रियता प्राप्त गर्न सक्नेछ।

खुला स्रोत AI आन्दोलनलाई सम्बोधित गर्दै अहँकालै व्यावसायिक व्यापारले AI प्रविधिमा नियन्त्रण गर्दछ भनेर भयोलाई केही चिन्ता छ।

खुला स्रोतमा आधारित

डालीले नैसर्गिक रूपमा निर्मित एक फुटेज थिए अल्पाका मोडल तथा स्टानफोर्ड विश्वविद्यालयको एल्पाका मोडलबाट निर्मित थियो ज्यादा-लक्ष पैरामीटर भएको LLaMA मोडल जो मेटा द्वारा नयाँ खुला स्रोत मोडल निर्माण गरिएको हो।

LLaMA, जुनले ठुलो भाषा मोडेल मेटा AI भनिन्छ, सार्वजनिक रूपमा उपलब्ध डाटामा प्रशिक्षित गरिएको भाषा मोडेल हो।

वेट्स एण्ड बायांसेस द्वारा लेखमा उल्लेख गरिएकोमा अनुसार, छोटो अवस्थित ल्लामा धेरै बडा भाषा मोडेलहरू (ओपेनएआई जीपीटी-३, गोफर बाई डिप माइन्ड र चिन्चिल्ला बाई डिपमाइन्ड)संग तुलना गरिदैन।

एक राम्रो डेटासेट सिर्जना गर्नुहोस्

एक अर्को प्रेरणा एक शैक्षिक अनुसन्धान पेपरबाट (सेल्फ-इन्सट्रक्ट: स्वयं उत्पन्न निर्देशहरू सहित भाषा मोडेल संरेखित गर्नुहोस् पीडीएफ) आयो जसले सीमित सार्वजनिक डाटाबाट बढी रम्य आश्वासन गर्ने प्रश्न उत्पन्न गर्ने र उत्तर प्रश्न शिक्षण डाटा बनाउने एक बाटो उपवास थियो।

स्व-शिक्षित शोधपत्रले अनुसन्धान गर्दछ:

"...हामीले न्यूलेकेउने कार्यहरूको लागि विशेषज्ञ-लेखित निर्देशनहरूको एक सेट संग्रहित गर्दछौं, र मानव मुल्यांकनद्वारा यह देखाउँछौं कि SELF-INSTRUCT बाट GPT3 सेट गर्ने हमलाई सार्वजनिक निर्देशन तथा निर्देशन डेटाबेसहरूको प्रयोग गर्ने बजारमा विपरीत अंतर पार्ने हुन्छ, जसमा केवल InstructGPT कक्षा पछाडी हाम्रो 5% सट्टै अभिपूर्ण अंतर छ..."

"...हाम्रो विधिलाई व्यानिला GPT3मा लागू गर्दा, हामी SUPERNATURALINSTRUCTIONS मा मूल मोडेलको साथ 33% अभिपूर्ण सुधारलाई देखाउँछौं, जसले InstructGPT साथमा कार्य प्रदर्शन गर्छ... जुन निजी प्रयोगकर्ता डाटा र मानवीय धाराहरूको साथ तल तल प्रशिक्षित हुन्छ

डालीको महत्व यो देखाउँछ कि कम तपाइँगुरु लेकिन उच्च गुणस्तरको डाटासेट सँग एक उपयोगी ठूलो भाषा मोडेल सिर्जना गर्न सकिन्छ।

डेटाब्रिक्सले अनुसरण गर्छ:

“Dollyले EleutherAI बाट भिन्न विधि चलाउने 60 अरब प्रामाणिक मोडेल लिएर modified गरी थोडो समय निर्दिष्ट गर्दै, मूल मोडेलमा नभएका निर्देशन अनुसरण क्षमता जस्ता brainstorming र पाठ सृजन शामिल गर्ने, Alpaca बाट आएका आँकबारहरू प्रयोग गरेर।

... हामी देखाउँछौं कि कसैलाई जितनै मिति तथ्याँक समेटिएको खुला स्रोतको ठूलो भाषा मोडेल (LLM) लाई रहस्यमय ChatGPT जस्तै निर्देशन क्षमता दिन सक्छ र ३० मिनेटमा एउटा मशीनमा यस्त्रोनै तदन्ती गर्नु सक्छ, उच्च-गुणस्तरको तदन्ती डाटामा प्रशिक्षण दिएर।

आश्चर्यजनक रुपमा, निर्देशन-पालनलाई नयाँतम वा सबैभन्दा ठूलो मोडेल माग्नको आवश्यकता छैन: हाम्रो मोडेलले मात्र ६ अरब पॅरामीटरहरूको संख्या छ, जबकि GPT-3 को लागि १७५ अरब पॅरामीटरहरू छ।"

डाटाब्रिक्स मुक्त स्रोत AI

डोलीले AI को जनतालाई सामाजिक बनाउने ठाउँमा जानकारी छन्। यो हालसम्म बढ्दा छाल्ने बजारको एक विषयमा सहभागी हुने निःस्वार्थ संस्था Mozilla पनि Mozilla.ai को संस्तापनसहित। Mozilla चलाने ब्राउजर फयरफ़ॉक्स र अन्य मुक्त स्रोतको सफ्टवेयरको प्रकाशक हुन्।