Контрактное тестирование для разработки на основе искусственного интеллекта с использованием OpenClaw

Контрактное тестирование предлагает альтернативу интеграционному и сквозному тестированию при работе с ИИ-агентами для написания кода, такими как OpenClaw. Вместо тестирования всей системы вы тестируете интерфейсы и инварианты между компонентами, а затем поручаете агенту сгенерировать код, удовлетворяющий этим контрактам.

Основная идея

При использовании агента для написания кода рабочий процесс смещается от традиционного тестирования к контрактно-ориентированной разработке:

• Сначала пишется контракт/спецификация, а не реализация
• Контракты проверяют интерфейс + инварианты, вместо того чтобы интеграционные тесты проверяли поведение
• Минимальные сквозные дымовые тесты вместо комплексных сквозных тестов
• Агент пишет реализации, вместо того чтобы люди писали большую часть кода

Задача ИИ становится: "Сделать так, чтобы код удовлетворял контракту".

Как выглядит контракт

Контракт определяет схему входных данных, схему выходных данных, инварианты и условия ошибок. Пример на TypeScript с Zod:

export const CreateUserRequest = z.object({
  email: z.string().email(),
  password: z.string().min(8)
})

export const CreateUserResponse = z.object({
  id: z.string().uuid(),
  email: z.string().email(),
  createdAt: z.string()
})

Пример контрактного теста:

test("createUser contract", async () => {
  const req = CreateUserRequest.parse({
    email: "[email protected]",
    password: "password123"
  })
  
  const res = await createUser(req)
  expect(CreateUserResponse.parse(res)).toBeDefined()
})

ИИ может полностью перегенерировать сервис, пока этот тест проходит.

Шаблон контрактного тестирования для ИИ-агентов

Типичная структура проекта:

contracts/
  user.contract.ts
  order.contract.ts

tests/
  contract/
    user.test.ts
src/
  services/
    userService.ts

Рабочий процесс: определяются контракты, агент генерирует реализацию, запускаются контрактные тесты, агент исправляет ошибки. Это создаёт быструю обратную связь, на которую полагаются ИИ-агенты для самокоррекции.

Пример промпта для агента

Внутри рабочего процесса агента OpenClaw:

Реализуйте сервис так, чтобы все тесты в tests/contract проходили.
Не изменяйте определения контрактов. Изменяйте только файлы реализации.

Агент итерируется, пока npm test PASS contract tests.

Контракты, управляемые потребителем

Контракты, управляемые потребителем, особенно хорошо подходят для разработки с ИИ. Пример: фронтенд определяет POST /users, ожидая { id: uuid, email: string }, и бэкенд-агент должен удовлетворить этот контракт. Обычно используемые инструменты включают Pact, валидацию схем и контракты OpenAPI.

Минимальный стек тестирования для ИИ-кодирования

Чтобы заменить большинство интеграционных тестов:

contracts/
  openapi.yaml

tests/
  contract/
  invariants/
src/
  implementation

Распределение тестов: контрактные тесты (80%), тесты инвариантов/свойств (15%), минимальные сквозные дымовые тесты (5%). Пример дымовых тестов: регистрация пользователя работает, вход пользователя работает.

Дополнительный приём: тесты свойств

Агенты значительно улучшаются с тестами свойств. Пример:

fc.assert(
  fc.property(fc.string(), async (email) => {
    const user = await createUser({email})
    expect(user.email).toEqual(email)
  })
)

Это даёт агенту пространство для поиска, из которого он может учиться.

Почему это лучше работает для ИИ

Агентам сложно координировать несколько сервисов, работать с нестабильными сквозными тестами и настраивать сложное окружение. Они преуспевают, когда получают детерминированную обратную связь, небольшие изолированные задачи, а также схемы и ограничения. Контрактные тесты становятся "истиной в последней инстанции" в архитектуре, дружественной к ИИ: контракты (истина) → тесты (верификация) → агент генерирует → реализация.