Введение. Статья ZDNet «These 7 handy ChatGPT settings are off by default» показывает, что большинство пользователей работают с «фабричными» настройками ChatGPT и не догадываются, что семь мощных функций — системные промпты, температура, top-p, память, пользовательские инструкции, режим анализа данных и настройки безопасности — просто выключены. Для студента ИТ-направления это не просто лайфхак, а готовая исследовательская задача: спроектировать, как управление параметрами LLM влияет на точность и полноту ответов, и оформить это в полноценную ВКР по Data Science. Ниже покажу, как превратить настройки ChatGPT в научную работу, какие темы выбрать и как защититься на «отлично».
Вместо того чтобы писать «Я изучил настройки ChatGPT и рассказал о них», делаем ВКР как исследование или разработку. Оригинальная идея из статьи — это готовая гипотеза: «Какие комбинации параметров ChatGPT дают максимальное качество для конкретной предметной области?». Выбираем узкую прикладную задачу (например, генерация технической документации, анализ юридических текстов, код-ревью) и экспериментально подбираем конфигурацию модели.
| Тема | Актуальность из статьи | Цель | Задачи | Структура работы |
|---|---|---|---|---|
| Оптимизация гиперпараметров ChatGPT для генерации технической документации | Автор статьи упоминает, что температура и top-p по умолчанию «съедают» качество на специализированных задачах | Повысить релевантность ответов за счёт настройки параметров | 1) Формализовать метрики (BLEU, ROUGE, экспертная оценка); 2) Провести эксперименты с temperature ∈ [0.1; 1.5] и top-p; 3) Сравнить с базовым «factory setting»; 4) Разработать рекомендации для инженеров |
Гл.1 — Анализ подходов к настройке LLM; Гл.2 — Проектирование эксперимента и конфигуратора; Гл.3 — Проведение тестов и оценка |
| Влияние системных промптов на детерминированность ответов ChatGPT в задачах ИБ | Функция «System Prompt» выключена по умолчанию, а статья советует её использовать для ограничения рисков | Снизить количество небезопасных ответов с помощью инструкций верхнего уровня | 1) Создать набор промптов для моделирования угроз; 2) Применить системные настройки (system role, restrictions); 3) Проверить по метрикам безопасности (OWASP LLM Top 10); 4) Сравнить с дефолтной конфигурацией |
Гл.1 — Анализ рисков LLM; Гл.2 — Реализация прототипа безопасного промпта; Гл.3 — Тестирование и выводы |
| Автоматизация настройки ChatGPT для научных обзоров: пользовательские инструкции как инструмент исследователя | «Custom Instructions» — одна из скрытых функций, которая запоминает контекст и стиль | Создать конфигуратор для НИР, сокращающий время на подготовку обзора литературы | 1) Спроектировать структуру инструкций; 2) Разработать скрипт для автоматической подстановки; 3) Провести сравнительный анализ; |
Гл.1 — Теория автоматизации промптов; Гл.2 — Проектирование конфигуратора; Гл.3 — Эксперимент и замер трудозатрат |
В статье перечислены 7 полезных настроек, но для дипломной работы важно не перечислять их, а систематизировать. Как Data/ML-инженер вы должны отделить понятия «параметры генерации» (temperature, top-p, max tokens) от «механизмов памяти» (memory, custom instructions). В главу 1 включаем:
Ваша задача — показать, что вы умеете не только гонять запросы, но и строить архитектуру эксперимента. Достаточно подготовить простой Python-скрипт, который отправляет запросы с разными параметрами и логирует метрики. Вот пример конфигурации для эксперимента:
import openai
from dataclasses import dataclass
@dataclass
class GPTConfig:
temperature: float = 0.7 # значение по умолчанию
top_p: float = 0.9
system_prompt: str | None = None
CONFIGS = [
GPTConfig(), # фабричные настройки
GPTConfig(temperature=0.2, top_p=0.5), # хладнокровный фактолог
GPTConfig(temperature=1.2, top_p=0.7), # креативный обзорщик
]
def run_experiment(prompt: str, config: GPTConfig) -> dict:
messages = []
if config.system_prompt:
messages.append({"role": "system", "content": config.system_prompt})
messages.append({"role": "user", "content": prompt})
resp = openai.chat.completions.create(
model="gpt-4o",
messages=messages,
temperature=config.temperature,
top_p=config.top_p,
)
return {"response": resp.choices[0].message.content,
"usage": resp.usage.dict()}
# Пример: сравнить 3 конфигурации на 10 технических вопросах
for cfg in CONFIGS:
result = run_experiment("Объясни, как работает index merge", cfg)
print(result)
Важно: в ВКР вы должны не просто «запустить», а оформить это как инженерный артефакт — диаграмму последовательности (UML) или C4-схему, показывающую, как пользовательский запрос попадает в LLM с учётом настроек. Тогда глава 2 становится полноценной частью проекта.
Недостаточно сказать «стало лучше». Вы должны предоставить таблицу сравнения. Например, для темы «Генерация документации» посчитайте F1-меру или ROUGE-1 по эталонному набору ответов. Для метрик качества ПО по ISO/IEC 25010 оцените функциональную пригодность и эффективность. Можно добавить график зависимости качества от температуры:
# Псевдокод для расчёта метрик
import evaluate
rouge = evaluate.load("rouge")
scores = []
for cfg in configs:
generated = run_experiment("Описание API", cfg)
score = rouge.compute(predictions=[generated], references=[reference])
scores.append((cfg, score))
# Оптимальная конфигурация — та, где ROUGE-L максимален
best_cfg = max(scores, key=lambda x: x[1]['rougeL'])
print("Лучший результат:", best_cfg)
На защите часто спрашивают: «Что даёт ваша работа практике?» Отвечайте: разработан набор рекомендаций по настройке ChatGPT для конкретного класса задач — это снижает время ручной постобработки и повышает доверие к результатам. Можно рассчитать экономический эффект через стоимость токенов: меньше итераций, ниже расходы.
Использовать как инструмент — да. Но ваша работа должна содержать собственное исследование. Например, вы настраиваете ChatGPT так, чтобы он помогал вам генерировать код для расчета метрик, а потом сравниваете результаты. Это легальный инженерный подход.
Минимум — 20-30 тематических вопросов из выбранной области. Лучше взять открытые датасеты, например, набор технических вопросов с StackExchange или собственный корпус текстов из учебника. Главное — задокументировать источник и эталонные ответы.
Это отличный момент для анализа! LLM стохастичны. Укажите в главе 3, что вы выполнили 10 прогонов каждой конфигурации и вычислили среднее значение и стандартное отклонение. Это усилит научную ценность.
Для ТЗ — ГОСТ 34.602-2020, для качества — ISO/IEC 25010. Если тема по безопасности — OWASP LLM Top 10. Диаграммы делайте в UML или C4 (бесплатный draw.io или Mermaid) и вставляйте в работу.
Источник: These 7 handy ChatGPT settings are off by default - here's what you're missing (опубликовано 2026-03-21)
```