Pixel 7 превратили в карманный ИИ-компьютер: как запустить нейросеть без интернета

Пользователь Reddit под ником Levfo показал, как превратить смартфон Pixel 7, выпущенный в 2022 году, в автономный карманный компьютер для запуска языковых моделей без интернета. Его эксперимент показывает, что старый смартфон вполне справляется с локальным ИИ — достаточно правильно подобрать модель по силам железа.

Levfo напечатал на 3D-принтере корпус, превращающий смартфон в кибердек — самодельное устройство в форм-факторе портативного компьютера. CAD-файлы для корпуса он сгенерировал с помощью Claude Code. В нижней части корпуса предусмотрен отсек для повербанка: так устройство может работать с ИИ долгое время без доступа к розетке, не разряжая основной аккумулятор телефона.

На собранный гаджет установлена Qwen2.5-abliterate:3b — языковая модель на 3 млрд параметров. Суффикс abliterate означает, что из нее специальным образом удалили фильтры безопасности. В отличие от стандартных ИИ-ассистентов, такая модель не отказывается выполнять запросы, которые обычный чат-бот заблокировал бы. Подобные модели востребованы в исследовательской среде, хотя риски злоупотреблений при их использовании очевидны.

Слабое место проекта — скорость. Pixel 7 оснащен чипом Google Tensor G2 и 8 ГБ оперативной памяти. На таком железе модель выдает лишь 5 токенов в секунду, что равно примерно трем-четырем словам. Это медленно, но работоспособно. Запустить на Pixel 7 модели объемом более 3 млрд параметров уже не получится: устройству не хватит ресурсов.

Опыт Levfo показывает, что смартфоны Pixel нескольких поколений способны работать с открытыми языковыми моделями полностью в офлайне — никакой связи с серверами и никаких ограничений со стороны провайдера. Пользователь сам выбирает нужную модель, в том числе ту, которую официальный Google-ассистент запустить откажется.

Ранее мы рассказывали об обзоре Google Pixel 10a — самого доступного смартфона Google нынешнего поколения.