Решил отвести свой старый SSD Samsung 850 Evo под файлопомойку downloads. И вот навожу порядок в этой папке, чтобы поменьше переливать. Нашел забавную картинку, и решил написать короткую заметку.
Итак, на картинке «Шарик и Шар». Когда этот песель не знал, как ему поступить, он спрашивал у шара. Так и я теперь пользуюсь ChatGPT по несколько раз в сутки. Сначала пользовался ботом, затем посмотрел это видео от Теплицы социальных технологий и зарегался уже на официальном сайте.
Я его использовал в том числе при подготовке к экзаменам. Правильный ответ давал в 50%, что меня огорчило.
Примерно в это время мне попался ролик про PrivateGPT, и я решил объединить собранную базу правильных ответов с этой штукой. Это было довольно легко, но все-таки я столкнулся с проблемами.
Я обрадовался, когда в проекте нашел docker-compose файл, а значит поднять проект — это дело автоматики. Но не тут-то было. Я не знаю, что было в голове человека, который сделал контейниризацию проекта, но это явно не работало. Банально не хватало «context: .» в файле, отчего поднять проект невозможно. Я просто оставлю ссылки на issues:
После фикса все пошло-поехало, но я столкнулся с другой проблемой. Оказалось, что нужно вручную скачать файл модели и положить его в models, что я также прочитал в issues.
Наконец все заработало, и я начал играться с проектом. Общее впечатление — это работает! Но медленно. Но работает!
Я подготовил текстовый файл с правильными ответами и загрузил через браузер. Еще немного поигравшись, я опубликовал сервис через свой веб-сервер и написал в чат одногруппников отложенное сообщение.
Есть добровольцы 🧑🚀 испытать мой chat gpt с ответами к экзамену 📝 ? Он тут: https://rosnou.deb24.ru/
Несколько режимов:
1️⃣ — чат по ответам (иногда полминуты ищет)
2️⃣ — поиск по ответам (моментально)
3️⃣ — просто чат, там нет ответов
Щаз доступно только «Информационное общество…». Остальные было лень готовить.
Можете пробовать, но не злоупотребляйте, у меня на компе кулеры взывают когда что-то искать в режиме чата 🚁
Было уже слишком поздно (или рано), и я ушел спать. Утром я обнаружил, что особо никто так и не попробовал, а сам сервис отвечал 502 после Segfault. Я починил, и периодически смотрел логи. Но похоже, что либо вообще никто не пользовался, либо задали 1 вопрос и ушли.
Теперь мои мысли касаемо самого PrivateGPT.
Мне захотелось сделать телеграм чат-бота, так как SDK для него есть. Также попробовать прогрузить в него рабочие документы, например по ипотеке, и посмотреть насколько хорошо это работает. И также подумывал про покупку видеокарты, чтобы сервис работал быстрее, так как сейчас ответ на вопрос занимает ~30 секунд и грузит все 16 ядер ~50%. Правда потом нашел это:
GPU Nvidia RTX is fully loaded but it’s slow like CPU
https://github.com/imartinez/privateGPT/issues/1456
Посмотрев issues и дискуссии, я пришел к таким выводам:
- проект сыроват и имеет кучу недоработок
- есть сообщения о проблемах с производительностью
- есть проблема с запуском docker, есть МР на исправление, но ничего не происходит
Ну, в конечном счете, никто не мешает его форкнуть и развивать самостоятельно. Лично мне не хватает нормальной обвязки для docker, производительности и как-то слобават UI.