Когда LLM печатает текст она делает это последовательно - токен за токеном. И на каждом шаге модель считает вероятность появления следующего токена (среди всех токенов в словаре). Используя эти вероятности можно посчитать "уверенность" модели в ответе. Через OpenAI API это делается так... Сначала получаем ответ: import os import numpy as np from openai import OpenAI client = OpenAI( base_url='http://192.168.0.108:8000/v1', api_key='any' ) prompt = 'Самая вкусная рыба? Одним предложением.' response = client.chat.completions.create( model = '/Qwen3-14B', messages = [ {'role': 'user', 'content': prompt} ], logprobs = True, # Запрашиваем логиты top_logprobs = 5, # Запрашиваем топ-5 наиболее вероятных токенов для каждого шага temperature = 0.9, max_tokens = 500, extra_body = {'chat_template_kwargs': {'enable_thinking': False}} ) content = response.choices[0].message.reasoning_content print(content) При этом обязательно ставим параметр logprobs = True. З.Ы. А с помощью top_logprobs можно получить вероятности и других топовых токенов для каждой позиции. Затем проходимся по токенам и собираем вероятности: logprobs_content = response.choices[0].logprobs.content tokens = [] probs = [] for l in response.choices[0].logprobs.content: tokens.append(l.token) probs.append(np.exp(l.logprob)*100) print('Средняя вероятность:', np.mean(probs)) Помимо средней можно посчитать и другие статистики (мин/макс, медиану и т.д.). А красиво вывести их можно так: import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize=(7,6)) ax = sns.barplot(x=probs, y=tokens) ax.set_title("Уверенность модели в токенах", fontsize=10) ax.set_xlabel("Вероятность", fontsize=10) ax.set_ylabel("Токены", fontsize=10) plt.xticks(fontsize=8) plt.yticks(fontsize=8); Метод довольно топорный и имеет очевидные минусы. Например: - Чем длиннее текст тем более шумной будет средняя оценка. - Всякие предлоги и знаки препинания также учитываются в общей массе.