Модерация#

Экран "Модерация", разделённый на "Наборы правил" и "Правила", предназначен для защиты, скрытия и блокировки данных. Также предусмотрены режимы маскировки информации, уточнение и корректировка данных внутри модели.

В разделе "Наборы правил" отображаются группы связанных правил, а в разделе "Правила" конкретные настройки или инструкции, входящие в эти группы.

Создать набор правил#

Для создания нового набора правил необходимо нажать на кнопку "Создать" в таблице "Наборы правил" и заполнить открывшуюся форму.

• Имя * — название набора правил.
• Описание — описание набора правил.
• Режим применения правил * — выпадающий список, который определяет порядок обработки нескольких сработавших правил для одного объекта. Варианты значений:
  • Применять только первое сработавшее правило: Обработка останавливается после первого правила (приоритет по порядку в списке).
  • Применять все сработавшие правила: Последовательно обрабатываются все правила, соответствующие условиям (каскадное выполнение).

Создать правило#

Для создания нового правила необходимо нажать на кнопку “Создать” в таблице “Правила” и заполнить открывшуюся форму.

• Имя * – обязательное для заполнения поле для ввода названия набора правил.
• Описание – поле для ввода описания набора правил.

Триггер#

• Тип триггера * – обязательное для заполнения поле с выпадающим списком для выбора условия, при котором срабатывает данное правило. Возможные значения:

Словарь#

Словарь – это набор определённых фраз или слов, который используется для распознавания и обработки входящих данных.

• Список слов – поле для ввода фраз и слов, которые включает в себя словарь. Каждая фраза или слово располагаются в отдельной строке (все слова должны быть записаны по одному в столбик, каждое на своей линии).

Регулярное выражение#

Регулярное выражение – это специальные символы, позволяющие описать определённые шаблоны или паттерны, которые нужно искать в тексте.

• Список регулярных выражений – поле для ввода регулярных выражений, на которые будет проверяться запрос. В одной строке списка должно быть только одно регулярное выражение.

Локальная модель#

Локальная модель – триггер, который используется для того, чтобы правило срабатывало при использовании конкретного экземляра модели. В рамках настройки задаются все необходимые параметры: модель, промпт, Regex для проверки ответа и температура.

• Модель – поле для выбора модели ИИ для генерации или обработки ответа;
• Промпт – шаблон запроса к модели ИИ;
• Regexp для проверки ответа – регулярное выражение для валидации ответа модели;
• Температура – числовой параметр генерации модели (от 0 до 1), который влияет на креативность ответа.

Внешний сервис#

Внешний сервис – URL, который используется при вызове определенного внешнего API по заданному URL. Когда необходимо инициировать событие или получить информацию, то система посылает запрос на указанный URL внешнего сервиса.

• URL внешнего сервиса – адрес внешнего API или сервиса для модерации данных.

Действия#

Действия – режимы обработки сработавшего правила (маскировка, переписывание, перенаправление, уведомление, фиксированный ответ).

Блокировка#

Блокировка – действие, при выборе которого сообщение будет заблокировано, и нейросеть ответит простым уведомлением об ошибке.

Маскировка#

Маскировка – действие для скрытия данных. Если необходимо заменить или скрыть определённые слова, то они замазываются в ответе (и также замазаны в запросе). Это особенно важно, чтобы функция модерации предотвращала утечку чувствительной информации из внутреннего контура компании во внешний нейросетевой сервис.

• Текст замены – однострочное текстовое поле, которое задаёт строку для замены чувствительных слов.

Переписать#

Переписать – действие, которое позволяет отправить дополнительный запрос на собственную модель с определенным промптом, цель которого перефразировать или заменить нежелательные слова. Такой подход помогает избегать использования нежелательного контента без блокировки или удаления исходного сообщения.

• Модель – выпадающий список для выбора внутренней модели ИИ для перефразировки.
• Промпт – многострочное поле, предлставляющее собой шаблон инструкции для переписывания запроса.
• Температура – числовое поле (от 0 до 1), оценивающее уровень креативности генерации.

Перенаправление#

Перенаправление – действие, которое позволяет отправить запрос на другую модель или сервис, что позволяет гибко управлять обработкой данных.

• Модель – выпадающий список для выбора внутренней модели ИИ для перенаправления запроса.

Уведомление#

Уведомление – действие, которое позволяет системе не блокировать само сообщение, а просто фиксировать факт обращения, отправляя соответствующее уведомление администратору. В логах или аудите сохраняется информация о том, что Пользователь задал вопрос, содержащий неподходящий или чувствительный контент, что помогает службе безопасности своевременно на него реагировать.

Фиксированный ответ#

Фиксированный ответ – действие, которое позволяет Пользователю получать заранее заданный ответ без обращения к внешней нейросети. Такой ответ может служить уведомлением об ошибке или ограничениях (например, о недопустимых словах или выражениях). Его можно расширить, добавив в сообщение более информативное объяснение, что конкретно недопустимо в системе.

• Фиксированный ответ – многострочное текстовое поле, позволяющее задать готовый текст ответа.

Тестовый текст#

Чтобы проверить, корректно ли отрабатывается выбранное действие, можно использовать поле "Тестовый текст". Введите в него текст и нажмите на кнопку "Выполнить тест".

Редактировать набор правил#

Для просмотра и редактирования свойств конкретного набора правил необходимо выбрать его в списке и нажать на кнопку . После этого откроется форма с настройками набора правил, в которую можно внести необходимые изменения. Новых полей в ранее созданном наборе правил нет.

Редактировать правило#

Для просмотра и редактирования свойств конкретного правила необходимо выбрать его в списке и нажать на кнопку . После этого откроется форма с настройками правила, в которую можно внести необходимые изменения. Новых полей в ранее созданном правиле нет.