Google публикува нови подробности за суперкомпютрите, които използва за обучение на моделите си с изкуствен интелект. Технологичната компания обяви, че системите са едновременно по-бързи и по-енергийно ефективни от сравнимите системи на Nvidia Corp.
Компанията проектира свой собствен персонализиран чип, наречен Tensor Processing Unit (TPU). Той използва тези чипове за повече от 90% от работата на компанията по обучението на изкуствен интелект процесът на подаване на данни чрез модели за да ги направи полезни при задачи, като отговаряне на заявки с човешки текст или генериране на изображения.
TPU вече е в своето четвърто поколение. Във вторник Google публикува научна статия, в която се описва как е свързала повече от 4000 чипа в суперкомпютър, използвайки свои собствени оптични превключватели, разработени по поръчка, за да помогне за свързването на отделни машини.
Подобряването на тези връзки се превърна в ключова точка на конкуренцията между компаниите, които изграждат AI суперкомпютри, тъй като така наречените големи езикови модели, които захранват технологии като Bard на Google или ChatGPT на OpenAI, са се увеличили по размер, което означава, че са твърде големи, за да се съхраняват на един чип.
Вместо това моделите се разделят между хиляди чипове, които след това трябва да работят заедно седмици или повече, за да обучат модела. PaLM на Google най-големият публично разкрит езиков модел до момента е обучаван чрез разделянето му на два суперкомпютъра с 4000 чипа в продължение на 50 дни.
Google каза, че нейните суперкомпютри улесняват преконфигурирането на връзките между чиповете в движение, помагайки да бъдат избегнати проблеми при настройването за повишаване на производителността.
Превключването на вериги улеснява маршрутизирането около повредени компоненти", пишат сътрудникът на Google Норм Жупи и изтъкнатият инженер на Google Дейвид Патерсън в публикация в блог за системата. "Тази гъвкавост дори ни позволява да променим топологията на суперкомпютърната връзка, за да ускорим производителността на ML (машинно обучение) модела."
Въпреки че Google едва сега публикува подробности за своя суперкомпютър, той е онлайн в компанията от 2020 г. в център за данни в Оклахома. Google каза, че стартъпът Midjourney е използвал системата, за да обучи своя модел, който генерира свежи изображения, след като му бъдат дадени няколко думи текст.
В документа Google казва, че за системи със сравним размер неговите чипове са до 1.7 пъти по-бързи и 1.9 пъти по-енергийно ефективни от система, базирана на чипа A100 на Nvidia, който излезе на пазара по същото време като четвъртото поколение TPU.
Говорител на Nvidia отказа коментар.
Google каза, че не е сравнявал своето четвърто поколение с текущия водещ чип H100 на Nvidia, тъй като H100 се появи на пазара след чипа на Google и е направен с по-нова технология.
Технологичната компания намекна, че работи върху нов TPU, който ще се конкурира с Nvidia H100, но не предостави подробности, като Жупи каза за Reuters, че Google има "здрава линия от бъдещи чипове".
прочети още
Източник:
economic.bg
назад към списъка с новини