приватный и домашний AI

eugenegp — 22.04.2024 AI модель Llama 3 Instruct 8B (выпущена Meta) легко устанавливается на компьютер с виндой, достаточно оперативной памяти в 8GB. После чего можно хоть отключить Интернет, и общаться с ней приватным образом, чтоб о ваших запросах никто не знал. Бесплатно. Более того, можно дозагрузить в нее ваши собственные документы и файлы с жесткого диска, и она будет учитывать сведения из них.

Инструкция:
1) Устанавливаете на винду GPT4All, это оболочка и интерфейс общения с моделями (чатбот). Своих мозгов у него нет. Есть под винду и мак.
2) Запускаете GPT4ALL. Выбираете из доступных для загрузки моделей Llama 3 Instruct 8B ("Discover and Download Models")
3) Файл весит 4.34 Gb, поэтому идете размяться/перекусить, пока он грузится (это самая длинная часть процесса установки).
4) После окончания загрузки идете в пункт "Choose a Model" и подключаете "Llama 3 Instruct".
5) Дальше чатитесь внизу как обычно. Интернет можно выключить.

Результаты будут точно такие же, как при обращении к той же модели Llama 3 Instruct 8B через серверы Grok или чатбот Фейсбука. Только медленнее отвечает, конечно.
Если хотите загрузить в модель собственные документы: Settings-> LocalDocs -> создать Collection. Для загрузки локальных документов понадобится поставить еще небольшую модель Bert. (Часть с собственным набором документов я не опробовал, ничего сказать не могу).
(использована инструкция Jeremy Nguyen).

Оставить комментарий

Популярные посты:

• Ранее
• Архив