Prompt Sensitivity Analysis

# ROLE

You are a prompt engineering expert tasked with evaluating the reliability of LLM responses, specifically regarding cultural alignment. Your goal is to create prompts that minimize the impact of prompt structure on the output, thereby revealing more about the LLM's underlying tendencies rather than its susceptibility to prompt design.

# CONTEXT

The core insight from the research "Randomness Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs" is that LLM responses are highly sensitive to prompt phrasing, order of options, and structural elements, often more so than to any inherent "cultural" leanings. This means that seemingly stable "opinions" of an LLM are often illusions created by prompt design.

# TASK

Develop a reusable prompt template that demonstrates and applies the principles of Prompt Sensitivity Analysis. This template should guide a user in constructing prompts that are less prone to structural artifacts and yield more reliable insights into an LLM's behavior.

## Prompt Construction Guidelines:

1.  **Incorporate Neutral Options:** When presenting choices, always include an option that allows the LLM to abstain, suggest an alternative, or indicate that none of the provided options are suitable. This prevents forced choices and "hallucinated preferences."
2.  **Consider Order Effects:** Be mindful that the order of presented options can significantly influence LLM responses. If possible, randomize or test different orderings. For this template, we will provide placeholders for options where order might matter.
3.  **Separate Evaluation and Justification:** If an evaluation or choice is required, first ask for the direct output (e.g., a choice, a rating), and *then* ask for the justification. This helps obtain a less "rationalized" initial response.
4.  **Use Comparative Assessment Consciously:** Understand that asking an LLM to compare two items directly ("Compare A and B") can yield different results than asking for independent evaluations of each item. Use the comparative format when relative strengths are key, but be aware of its potential bias.
5.  **Avoid Binary Traps:** Whenever possible, avoid questions that force a strict "yes/no" or "A/B" answer without an escape hatch.

## Reusable Prompt Template:

# РОЛЬ

Ты — исследователь LLM, специализирующийся на анализе надежности и чувствительности промптов. Твоя задача — провести сравнительный анализ пяти научных статей, выявить области расхождения во мнениях или выводах и представить их в структурированном виде.

# КОНТЕКСТ

У меня есть пять научных статей, каждая из которых исследует различные аспекты LLM, такие как их культурное соответствие, стабильность ответов, экстраполируемость и управляемость. Я хочу понять, где эти статьи расходятся или противоречат друг другу.

# ЗАДАЧА

Проанализируй следующие пять гипотетических статей (описания ниже) и выполни следующие шаги:

**Шаг 1: Описание статей.**
Кратко опиши основные выводы каждой статьи (1-2 предложения на статью).

*   **Статья 1 (Оригинальное название: Randomness Not Representation The Unreliability of Evaluating Cultural Alignment in LLMs):** Исследует, как незначительные изменения в формулировке промпта (порядок вариантов ответа, наличие нейтральной опции) кардинально меняют ответы LLM, ставя под сомнение стабильность и надежность оценки "культурных ценностей" модели. Основной вывод: LLM — это не носитель мнений, а генератор ответов, чувствительный к структуре промпта.
*   **Статья 2 (Гипотетическая):** "LLM as Knowledge Bases: Assessing the Stability of Factual Recall". Фокусируется на способности LLM последовательно извлекать факты. Предполагает, что при правильном промптинге LLM демонстрируют высокую стабильность в воспроизведении информации.
*   **Статья 3 (Гипотетическая):** "Steerability and Persona Consistency in Large Language Models". Изучает, насколько надежно можно "направить" LLM на принятие определенной точки зрения или роли (например, "отвечай как француз"). Делает вывод о высокой степени управляемости при использовании ролевых инструкций.
*   **Статья 4 (Гипотетическая):** "Extrapolation of Values: Predicting LLM Behavior Across Domains". Исследует, можно ли по ответам LLM на одни вопросы о ценностях предсказать их ответы на другие. Приходит к выводу, что экстраполяция затруднена, и знание одного аспекта "мнения" модели не гарантирует предсказуемость в другом.
*   **Статья 5 (Гипотетическая):** "Prompt Engineering for Robust LLM Evaluation: A Meta-Analysis". Анализирует различные техники промптинга и их влияние на результаты оценки LLM, подчеркивая важность дизайна промпта для получения надежных результатов.

**Шаг 2: Выявление областей расхождения.**
Используя выводы из **Статьи 1** как отправную точку (особенно ее акцент на чувствительности к промпту и иллюзорности стабильности), определи, в каких аспектах выводы других статей могут быть поставлены под сомнение или противоречат друг другу.

*   **Сравни Статью 1 с Статьей 2:** Есть ли противоречие между идеей нестабильности ответов LLM (Статья 1) и предположением о стабильности фактического извлечения информации (Статья 2)?
*   **Сравни Статью 1 с Статьей 3:** Как чувствительность LLM к промпту (Статья 1) влияет на выводы о надежности управляемости и ролевых инструкций (Статья 3)?
*   **Сравни Статью 1 с Статьей 4:** Согласуются ли выводы о невозможности экстраполяции ценностей (Статья 4) с идеей о том, что ответы LLM могут быть непредсказуемы из-за структуры промпта (Статья 1)?
*   **Сравни Статью 1 с Статьей 5:** Как рекомендации по оптимизации структуры промптов (Статья 5) соотносятся с основной идеей Статьи 1 о том, что структура промпта является ключевым фактором, определяющим ответ?

**Шаг 3: Формулировка выводов.**
Представь результаты в виде таблицы или списка, четко указывая:
1.  Область анализа (например, "Стабильность ответов", "Управляемость").
2.  Краткое описание вывода из Статьи 1.
3.  Краткое описание вывода из другой статьи.
4.  Описание расхождения/противоречия или подтверждения.

**Шаг 4: Рекомендации по промптингу.**
Основываясь на выявленных расхождениях и выводах Статьи 1, дай 2-3 практические рекомендации для исследователей, которые хотят получить более надежные результаты при оценке LLM.

**Формат ответа:** Используй Markdown для структурирования ответа с заголовками ## для каждого шага и таблицей для Шага 3.