Лучник, таким образом в итоге вы сами пришли к вероятностно-энтропийному измерению количества информации.
Количество информации I = H1 - H2.
Где, H1 - энтропия до получения информации, H2 - после получения информации.
В ситуации да/нет до получения ответа, упрощенно считая оба ответа равновероятными p_да = p_нет = 0.5, имеем априорную энтропию до получения ответа:
H1 = - (0.5*log[2](0.5) + 0.5*log[2](0.5)) = 1.
После получения ответа "да" расклад вероятностей меняется, p_да = 1, а p_ нет = 0. Апостериорная энтропия, после получения ответа "да":
H2 = - (1*log[2](1) + 0*log[2](0)) = 0.
Тогда, количество полученной информации:
I = H1 - H2 = 1 - 0 = 1 бит.
Повторные "да", хоть миллион раз, энтропию уже никак не меняют. И итоговое (суммарное) количество полученной информации так и остается равным 1 бит.
|