„A nagy nyelvi modellek (LLM – large language modell) világában a hangsúly sokáig az olyan cégek saját technológiáin volt, mint az OpenAI (GPT-3 és 4, ChatGPT stb.). Egyúttal a Google-től kezdve a Metán át a Microsoftig mindenki dollármilliárdokat öntött a saját LLM technológiája fejlesztésébe. Ami ebben az egész versengésben azonban alulértékelt maradt, az az tény, hogy a hobbisták, független kutatók és fejlesztők is komoly erőfeszítéseket tettek a nyílt forráskódú LLM-projektekbe. A Google egyik kutatójától kiszivárgott (névtelen, de nyilvánvalóan ellenőrzött) dokumentum szerint a Google nagyon aggódik amiatt, hogy a nyílt forráskódú LLM-ek fel fogják törölni a padlót mind a Google, mind az OpenAI saját erőfeszítéseivel szemben.
A dokumentum szerint, miután a nyílt forráskódú közösség kezébe került a kiszivárgott LLaMA alapmodell, motivált és nagy tudású egyének hozzáláttak, hogy a meglehetősen egyszerű modellt új szintre emeljék, ahol az elkezdhet versenyezni az OpenAI és a Google megoldásaival. A főbb újítások a skálázási kérdések, amelyek lehetővé teszik, hogy ezek az LLM-ek sokkal kisebb teljesítményű rendszereken (például egy laptopon vagy akár okostelefonon) is működjenek.
Az LLM modelleknél is a decentralizált megoldásé lesz a jövő?
Fontos tényező itt az alacsony rangsorolású adaptáció (LoRa – Low-Rank adaptation), amely masszívan csökkenti a modell képzéséhez szükséges erőfeszítéseket és erőforrásokat. Végső soron, ahogyan ez a dokumentum megfogalmazza, a Google-nak és ezen belül az OpenAI-nak nincs olyan “titkos szósza”, amely jobbá tenné a saját technológiáját bármi másnál, amivel a szélesebb közösség elő tudna állni.
Megjegyzendő az is, hogy lényegében a Meta jött ki győztesen az LLM kiszivárgásából, mivel a közösség javította a Meta alapjait, lehetővé téve a Meta számára, hogy termékeiben hasznot húzzon ezekből a fejlesztésekből.
A borzalmas jóslat tehát az, hogy a Google, az OpenAI és mások saját LLM-jei végül nem lesznek relevánsak, mivel a nyílt forráskódú közösség finom, digitális porrá fogja őket taposni. Hogy ez valóban így lesz-e, azt még nem tudjuk, de a dolgok nem állnak jól a szabadalmaztatott LLM-ek számára.”
Forrás:
Megijedtek a Google-nél a nyílt forráskódú LLM megoldásoktól; BitcoinBázis.hu; 2023. május 7.
Lásd még:
Google „We Have No Moat, And Neither Does OpenAI”. Leaked Internal Google Document Claims Open Source AI Will Outcompete Google and OpenAI; Dylan Patel, Afzal Ahmad; SemiAnalysis; 2023. május 4.
(Ugyanitt olvasható a gyorsan kibontakozó események időrendi sora.)
Leaked Google document: “We Have No Moat, And Neither Does OpenAI”; Simon Willison’s Weblog; 2023. május 4.
A kiszivárgott levél azt írja, hogy „we have no moat”. A „moat” (azaz védősánc, védőárok) kifejezés használata erre utal: „A gazdasági árok, amelyet gyakran Warren Buffett befektetőnek tulajdonítanak, egy olyan kifejezés, amelyet a vállalat versenyelőnyének leírására használnak. Ahogy a várárok védi a várat, úgy segítenek bizonyos előnyök megvédeni a vállalatokat a versenytársaiktól.” Wikipédia
Economic Moat. Long-term competitive advantage that provides value for investors; CFI Education Inc.
Szerkesztői megjegyzés:
Ezek a mérnöki, fejlesztői világ hírei. Az üzlet adott esetben egészen más. Lásd az immár sok évtizedes, de be nem teljesülő jóslatot arról, hogy a Linux meghódítja az asztali számítógépek világát.
