Гроккинг и квантовая спутанность.


"Гроккинг (отложенное обобщение) — термин, введённый в январе 2022 года исследователями OpenAI, изучающими работу нейронных сетей."
GPT-3 вышло в мае 2022, это значит в OpenAI увидели это феномен на моделях GPT-2
и после этого закрыли код GPT-3?
Максим:
Возможно, гроккинг создает скачек качества, и они не захотели делиться этим.

Для меня аналогия между вектором Гайзенберга в гильбертовом пространстве и вектором эмбеддингов в GPT очевидна.
Квантовая механика и модели LLM
В посте ниже, несколько упрощенный взгляд, механизм внимания (ключевой элемент всех современных технологий NLP и GPT) - это о том что нет чётко расчитанного эмбеддинга для любого токена, о том что эмбеддинг зависит от других токенов окружающего его фрагмента текста. Это, очевидно, имеет отношение к спутанности частиц в квантовой механике и формализмами вторичного квантования.
О связи формализмов квантовой механики и нейросетей.
С этой точки зрения гроккинг (вчера только услышал об этом нетривиальном феномене), является аналогом формирования "частиц" в "квантовой пене", обусловленное спутанностью векторов состояний "квантовой пены".
Свежие результаты в квантовой запутанности (спутанности).
Открыты универсальные законы квантовой запутанности во всех измерениях
"Наши результаты показали, что запутанные состояния аннигиляционных фотонов не коллапсируют до сепарабельных, как считалось ранее. Это открытие не только меняет представления о квантовой запутанности, но и представляет собой вызов для дальнейшего развития квантовых технологий в области медицинской визуализации."
Султан Мусин
ассистент кафедры общей физики МФТИ
Эйнштейн был неправ. И это открытие физиков из МФТИ спасёт тысячи больных раком Квантовая запутанность против опухолей
|
</> |