Терминология

Э - Я

Э

Энтропия [entropy] — теоретико-информационная характеристика распределения случайной величины. Энтропия (по К.Шеннону) дискретной случайной величины S с распределением (pi, ..., рп, ...)  равна H(S) = -
Энтропия алгоритмическая [algorithmic entropy, kolmogorov complexity entropy] — введенная A. H. Колмогоровым  мера количества информации, необходимого для описания конечного объекта. Под э. а. двоичного слова понимают сложность этого слова относительно оптимального способа его описания. (См. сложность последовательности по Колмогорову). Понятие алгоритмической энтропии связано с понятием энтропии случайной величины (по К.Шеннону).

Я

Ящик черный [black-box]- конечный автомат, у которого известны только входной и выходной алфавиты и доступны для наблюдения выходные последовательности при произвольных исходных последовательностях. Если дополнительно известна оценка числа состояний автомата, то говорят о ящике черном относительном.