Ограничения ИИ-помощника по документам
ИИ-помощник не является безошибочным источником истины. Он может не найти нужный фрагмент, неправильно интерпретировать найденное или сформулировать слишком уверенный ответ.
Основные ограничения:
- качество зависит от полноты, актуальности и структуры документов;
- источник под ответом не гарантирует правильную интерпретацию;
- пороги поиска и модели требуют проверки на конкретной базе знаний;
- противоречия в документах не исчезают автоматически;
- новые или отсутствующие в базе сведения недоступны системе;
- внедрение вредоносных инструкций через документы нельзя считать полностью
устранённым одним системным сообщением;
- стоимость и скорость зависят от моделей, объёма контекста и нагрузки;
- критичные решения требуют дополнительной человеческой проверки.
Помощник должен честно сообщать о недостатке подтверждённой информации. Такой отказ является нормальным и полезным поведением, а не сбоем системы.
Система не выполняет внешние действия, не изменяет данные и не отправляет документы или сообщения от имени пользователя без отдельного проектирования и явного подтверждения.