Руководство: Запуск GitHub Copilot с локальной LLM на Windows через сервер Lemonade

Разработчик опубликовал пошаговое руководство по настройке GitHub Copilot для использования локальной большой языковой модели (LLM) на компьютере с Windows, в частности на Framework Desktop. Это руководство было создано потому, что автор не смог найти существующих простых инструкций для такой настройки.

Основной метод заключается в использовании Lemonade Server — инструмента, который выступает в роли локального прокси-сервера. Он перехватывает запросы от расширения GitHub Copilot в вашем редакторе кода (например, VS Code) и перенаправляет их на локально запущенную LLM вместо отправки на облачные серверы GitHub. Это позволяет получать приватные автономные подсказки по коду без зависимости от внешних API.

Такая настройка актуальна для разработчиков, которые хотят использовать функцию автодополнения GitHub Copilot, но требуют конфиденциальности, имеют опасения по поводу безопасности данных, хотят избежать расходов на API или предпочитают использовать определённую модель с открытым исходным кодом, которую они сами дообучили. Локальная LLM должна быть установлена и запущена отдельно, например, с помощью таких инструментов, как Ollama, LM Studio или text-generation-webui.

В исходном посте на Reddit есть ссылка на полное подробное руководство на личном сайте автора.