Модели
В рабочей области «Модели» можно создавать предустановки конфигурации на основе любой базовой модели. Выберите GPT-4o, Claude, Llama 3 или любую другую модель, подключенную к ФКТ ИИ, а затем привяжите к ней системную подсказку, базы знаний, инструменты, навыки и переопределения параметров. В результате вы получите специализированного агента, который будет работать именно так, как вам нужно, без необходимости вносить изменения в базовую модель.
«Репетитор по Python», который всегда использует ваше руководство по стилю. «Обобщающий отчет о совещании» с шаблоном вашей компании. «Рецензент кода» с вашими встроенными правилами линтинга. Каждый агент — это тонкая оболочка: выберите базовую модель, настройте ее и поделитесь с командой.
Почему модели?
Одна базовая модель, множество персонажей
Одна и та же модель GPT-4o может работать как помощник в программировании, бот для поддержки клиентов и генератор креативных текстов. У каждого пресета есть своя системная подсказка, инструменты и знания, поэтому модель ведет себя по-разному в зависимости от выбранного пресета.
Знания и инструменты уже готовы к использованию
Вместо того чтобы вручную прикреплять документы и включать инструменты в каждом чате, привяжите их к предустановленной модели. Пользователи получают полностью настроенного агента.
Детальный контроль доступа
Ограничьте доступ к моделям для определенных пользователей или групп. Финансовая команда видит свои модели, инженеры — свои. Администраторы контролируют доступ ко всему экземпляру.
Динамические системные подсказки
Используйте переменные в стиле Jinja2, такие как {{ USER_NAME }} и {{ CURRENT_DATE }}, чтобы система автоматически подстраивалась под каждого пользователя и сеанс.
Ключевые особенности
| 🧩 Предустановки модели | Системные подсказки, инструменты, знания, навыки и параметры в одном пакете |
| 🏷️ Динамические переменные | {{ USER_NAME }}, {{ CURRENT_DATE }}, {{ CURRENT_TIME }} вводится автоматически |
| 🔧 Связанные инструменты | Принудительное включение определенных инструментов для каждой модели |
| 📚 Прилагаемые знания | Базы знаний и файлы всегда доступны через RAG или в полном контексте |
| 🎭 Навыки | Наборы инструкций по привязке разметки, загружаемые по запросу view_skill |
| 👥 Контроль доступа | Доступно только определенным пользователям или группам |
| 📊 Глобальные настройки по умолчанию | Установите базовые возможности и параметры для всех моделей сразу |
| 🔊 Голос для каждой модели | Дайте каждому персонажу свой голос |
Создание модели
Щелкните + Новая модель в Рабочей области > Модели или щелкните многоточие (...) на существующей модели и выберите Редактировать.
Базовая конфигурация
| Поле | Описание |
|---|---|
| Аватар | Загрузите собственное изображение. Поддерживаются анимированные GIF и WebP |
| Имя и идентификационный номер | Отображаемое имя и уникальный идентификатор |
| Базовая модель | Реальная модель, на основе которой работает этот агент |
| Описание | Краткое описание, отображаемое в селекторе моделей |
| Теги | Сортировка моделей в выпадающем списке |
| Видимость | Для частных лиц (конкретных пользователей/групп) или для всех |
Системное приглашение и переменные
Системное приглашение определяет поведение и образ пользователя. Используйте динамические переменные для контекстно-зависимых инструкций:
| Переменная | Пример вывода |
|---|---|
| {{ CURRENT_DATE }} | 2024-10-27 |
| {{ CURRENT_TIME }} | 14:30:05 |
| {{ USER_NAME }} | Admin |
You are a helpful assistant for {{ USER_NAME }}.
The current date is {{ CURRENT_DATE }}.
Возможности и привязки
Переключите, чтобы узнать, что может делать модель, и привяжите ресурсы:
| Настройка | Что он контролирует |
|---|---|
| Знание | Привяжите коллекции или файлы. Нажмите на прикрепленные элементы, чтобы переключаться между режимами «Выборочный поиск» и «Полный контекст». |
| Инструменты | Принудительное включение определенных инструментов (например, калькулятора для Math Bot) |
| Навыки | Привяжите навыки, чтобы их манифесты всегда подставлялись автоматически |
| Фильтры | Установите фильтры для конвейера (например, для удаления персональных данных) |
| Действия | Прикрепите сценарии действий (например, «Добавить в воспоминания») |
| Миссия | Включите анализ изображений (требуется базовая модель с поддержкой компьютерного зрения) |
| Поиск в Интернете | Включите настроенный поставщик поиска |
| Интерпретатор кода | Включить выполнение кода Python |
| Генерация изображения | Включить генерацию изображений |
| Встроенные Инструменты | Выберите доступные категории инструментов: «Время», «Память», «Чаты», «Заметки», «Знания», «Каналы», «Управление задачами», «Автоматизация» |
| Контекст файла | Если эта функция включена, прикрепленные файлы обрабатываются с помощью RAG. Если функция отключена, содержимое файлов не извлекается |
| Голос TTS | Настройте определенный голос для ответов этой модели |
Расширенные параметры
- Стоп-последовательности: принудительная остановка генерации на определенных строках (например, <|end_of_text|>, User:). После каждой строки нажимайте Enter.
- Температура, максимальное значение P и т. д.: настройка креативности и детерминированности.
Оперативные предложения
Кликабельные стартовые подсказки, которые появляются, когда пользователь открывает новый чат с этой моделью. Добавьте такие фразы, как «Объясните этот код шаг за шагом» или «Кратко изложите содержание этого документа», чтобы помочь пользователям.
Управление моделями
В списке моделей нажмите на многоточие (...) рядом с любой моделью:
| Экшен | Описание |
|---|---|
| Редактировать | Откройте панель конфигурации |
| Скрыть | Убрать из списка моделей без удаления |
| Клонировать | Создайте копию (добавляет -clone) |
| Скопировать ссылку | Скопируйте прямой URL в настройки модели |
| Экспорт | Загрузите конфигурацию следующим образом .json |
| Поделиться | Поделитесь с сообществом ФКТ ИИ |
| Удалить | Навсегда удалите предустановку |
Импорт и экспорт
- Импорт: из .json файлов или по ссылкам сообщества ФКТ ИИ
- Экспорт: загрузите все пользовательские конфигурации моделей в виде одного файла .json
- Обзор: просмотрите предустановки сообщества в нижней части страницы
Загрузка базовых моделей
Чтобы загрузить новые базовые модели, перейдите в Настройки > Подключения> Ollama или введите ollama run hf.co/{username}/{repository}:{quantization} в меню выбора модели.
Глобальные настройки модели по умолчанию (Admin)
Администраторы могут устанавливать базовые возможности и параметры, применимые ко всем моделям, через Панель администратора> Настройки> Модели> ⚙️ (значок шестеренки).
- Метаданные модели по умолчанию (DEFAULT_MODEL_METADATA): базовые возможности (распознавание изображений, веб-поиск, контекст файлов, интерпретатор кода, встроенные инструменты). При возникновении конфликтов приоритет всегда отдается переопределениям для конкретной модели.
- Параметры модели по умолчанию (DEFAULT_MODEL_PARAMS): базовые параметры логического вывода (температура, top_p, max_tokens, функция вызова). Значения для конкретной модели имеют приоритет, если заданы явно. Это значение загружается из окружения в формате JSON; недопустимый JSON игнорируется, и возвращается значение {}.
Поведение при слиянии
| Тип настройки | СТРАТЕГИИ | Пример |
|---|---|---|
| Возможности | Глубокое слияние | Глобальные наборы file_context: false, наборы моделей vision: true > модель получает оба набора |
| Другие метаданные | Только для заполнения | Глобальное задает описание, модель не имеет значения > модель получает глобальное значение |
| Параметры | Простое слияние | Глобальные наборы temperature: 0.7, наборы моделей 0.3 > модель получает 0.3 |
База знаний + взаимодействие при вызове функций
Установка function_calling: native в глобальных параметрах меняет способ обработки всеми моделями подключенных баз знаний. В нативном режиме подключенные к модели базы знаний не внедряются автоматически. Для получения знаний модель должна вызывать встроенные инструменты. Если ваши базы знаний внезапно перестали работать, сначала проверьте глобальные настройки по умолчанию.
Массовое управление
Отфильтруйте список моделей администратора по статусу (включено, отключено, видно, скрыто) и используйте Массовые действия, чтобы одновременно включить или отключить все модели в текущем представлении. Полезно, если внешние поставщики предоставляют доступ к сотням моделей.
Переключение моделей в чате
Переключайте модели во время разговора, не теряя контекста. Одновременно выбирайте до двух моделей, чтобы сравнивать ответы, и переключайтесь между ними с помощью кнопок со стрелками.
Варианты использования
Агенты для конкретных команд
Создайте «помощника по продажам» на основе базы знаний вашей CRM, подсказок по работе с возражениями и инструментов для составления электронных писем. Поделитесь им с отделом продаж. Инженеры его не увидят.
Адаптация новых пользователей
Создавайте модели с описательными подсказками («Спросите меня о правилах нашей компании», «Помогите мне настроить среду разработки»), чтобы новые члены команды точно знали, о чем спрашивать.
Соблюдение организационных стандартов
Установите глобальные настройки по умолчанию, чтобы отключить интерпретатор кода во всех моделях, обеспечить одинаковую температуру или обязать модели вызывать функции. При необходимости отдельные модели могут вносить изменения.
Ограничения
Предустановки, без тонкой настройки
Предустановки модели настраивают поведение с помощью системных подсказок и сочетаний клавиш. Они не изменяют весовые коэффициенты базовой модели. Для серьезных изменений в поведении модели требуется тонкая настройка.
Резервный вариант требует настройки
Если базовая модель становится недоступной, предустановка завершится ошибкой, если ENABLE_CUSTOM_MODEL_FALLBACK не установлено значение True и модель по умолчанию не настроена в панели администратора> Настройки> Модели.