Каталог решений - Data science. Скажи мне, брат, трансформер…

Весной 2020 года в области нейросетей произошла маленькая революция. Которая чуть позже оказалась не совсем маленькой, потом еще больше, а сегодня ее настоящие размеры все еще осознаются теми, кто успел к этому прикоснуться.

Речь идет о GPT-3. Generative pretrained transformers третьего поколения. Сейчас я не буду вдаваться в технические детали. Поверхностный обзор вас скорее запутает, а подробный разговор может утомить. Оригинальная статья, с которой все началось здесь https://arxiv.org/abs/2005.14165. Кому интересно, может погрузиться.

В двух словах, что произошло. Языковые нейросети существовали и раньше. С их помощью добивались довольно впечатляющих результатов. Но в достаточно узких областях и при значительных усилиях. Т.е. для каждой отдельной задачи можно было, как следует помучавшись, натренировать специализированную нейросеть. И потом "общаться" с ней, но строго "по теме", в чрезвычайно ограниченных рамках. В отличие от этого, GPT-3 позволяет натренировать нейросеть сразу "на все". Такая нейросеть будет понимать (что бы это ни значило) простой человеческий язык и выдавать небесполезные реакции. Звучит настолько фантастически, что даже не знаешь как на это реагировать. Как я думаю, типичный спектр реакций простирается от "гы-гы-гы" к легкому шоку, и далее от легкого шока к более или менее отчетливому понимаю, что это это такое было.

Попробую продемонстрировать вам это на своем личном опыте.

Я, конечно, слышал о том, что нейросеть теперь пишет рассказы, рисует картинки, а в свободное от этих хлопот время еще и немного программирует. Иногда какие-то примеры "творений" пробегали где-то на периферии внимания, но, что называется, не трогали.   

Как то раз, просматривая очередной обзор https://habr.com/ru/company/first/blog/678848/, наткнулся на сообщение о том что GPT-ать теперь, усилиями Сбербанка, можно и по-русски. Да, скорее всего, и раньше об этом слышал, но благополучно забыл. В этот раз про русские GPT там было такое бодренькое: я вот ввел затравку про Антарктиду и смотрите, что у меня вышло.  

История Антарктиды очень сильно отличается от других континентов нашей планеты.

RuGPT3: История Антарктиды очень сильно отличается от других континентов нашей планеты. В ней есть высокогорье и пустынные, безжизненные земли, но есть и многие и другие, где люди живут и размножаются. Почти во всех странах есть города и поселки, где живут люди. В Антарктиде довольно холодно и влажно, но даже в этой непыльной местности есть не только своя мода, но и свои устоявшиеся традиции, порой очень странные для жителей других регионов. На этом видео вы …

Говорят, что дурной пример заразителен. Уж не знаю, что меня "пробило" на этот раз, но я решил, что сам попробую ввести ровно такой же запрос. RuGPT3 не заставила себя долго ждать. Ответ был совершенно другой. Но это правильно. Хороший писатель не станет повторяться.

История Антарктиды очень сильно отличается от истории других континентов нашей планеты.

RuGPT3: История Антарктиды очень сильно отличается от истории других континентов нашей планеты.
В нашей стране она становится "открытой" только в 1955 году, а за всю историю на ее землях побывало всего около 30 экспедиций, из которых лишь 3 высадились…

Все началось как-то чересчур культурно и скучно. Но через пару абзацев нейросеть все-таки сумела расшевелиться

На фото:
Азимовский залив, Антарктика. Из-за ремонтных работ этот вертолет не смог сесть прямо на лед, чтобы забрать российский грузовой корабль "Прогресс М-26М", который стартовал с Байконура в 06:07 UTC (17:07 мск) с 73 тоннами груза на борту.

Черт побери! Я хотел бы увидеть это фото! Но с этим надо уже на другой сервис сбербанка, а сил на это не было никаких. Вдоволь насмеявшись, я понял, что пришло время как-то встроить все это в свою картину мира. 

Нейросеть  не может создать ничего нового. Вообще или пока еще — вопрос философский. Зато она может невероятно старательно работать со старым, в том числе, хорошо забытым. И если так случилось, что она вас понимает (что бы это ни значило), а внутри у нее весь Stack Overflow, тогда куда следует податься простому 1С-нику? Правильно, простому 1С-нику надо спрашивать не про Антарктиду, а про SELECT.

Что я немедленно и сделал. Только на этот раз уже на сайте https://openai.com/. У RuGPT3 спрашивать про SELECT бесполезно. А у OpenAI есть раздел CODEX. Все еще полностью доступный, т.е. полностью бесплатный.