СКАЧАТЬ:  pic_01.zip [337,21 Kb] (cкачиваний: 87)

КУРСОВАЯ РАБОТА

на тему:

Основные положения теории информации. Энтропия и информация

Содержание

Введение. 3

Теоретическая часть. 4

Основные положения теории информации. 4

Энтропия как мера степени неопределенности состояния физической системы   5

Энтропия и информация. 8

Применение основных положений теории информации для характеристики процесса измерения. 11

Энтропийное значение погрешности измерений. 13

Практические методы определения энтропийного значения погрешности измерений  16

Расчетная часть. 19

Выводы.. 20

Список литературы.. 21

Введение

При разработке, производстве (в технологических процессах), эксплуатации технических систем, контроле состояния окружаю­щей среды, в медицине, торговле, учете расходования материаль­но-технических ресурсов и других видах деятельности общества измерения были, есть и будут одними из важнейших условий дости­жения поставленных целей. Более того, измерения являются связу­ющим звеном, обеспечивающим «все артерии, все сосуды» чело­веческой деятельности. Обходиться без них не удается никому и в то же время многим не удается избавиться от неприятностей, связанных с результатами неправильно проведенных (по объек­тивным или субъективным причинам) измерений.

Метрология — наука об измерениях, а измерения — один из важнейших путей познания. Они играют огромную роль в со­временном обществе. Наука, промышленность, экономика и коммуникации не могут существовать без измерений. Каждую секунду в мире производятся миллиарды измерительных опера­ций, результаты которых используются для обеспечения качества и технического уровня выпускаемой продукции, безопасной и бе­заварийной работы транспорта, обоснования медицинских и эко­логических диагнозов, анализа информационных потоков. Прак­тически нет ни одной сферы деятельности человека, где бы ин­тенсивно не использовались результаты измерений, испытаний и контроля. Примерно 15% затрат общественного труда расходует­ся на проведение измерений. По оценкам экспертов, от 3 до 9% валового национального продукта передовых индустриальных стран приходится на измерения и связанные с ними операции.

Теоретическая часть

Основные положения теории информации

Основные положения теории информации были разработаны К. Шенноном: «Основная идея ... состоит в том, что с инфор­мацией можно обращаться почти так же, как с такими физически­ми величинами, как масса или энергия».

Любая информация, чтобы быть переданной, должна быть со­ответственным образом «закодирована», т. е. переведена на язык специальных символов или сигналов.

Одной из задач теории информации является отыскание наи­более экономных методов кодирования, позволяющих передать информацию с помощью минимального количества символов. Эта задача решается с учетом наличия или отсутствия искажений (помех) в канале связи.

Другая типичная задача: имеется источник информации (пе­редатчик), непрерывно вырабатывающий информацию, и канал связи, по которому эта информация передается в другую инстан­цию (приемник). Какова должна быть пропускная способность канала связи для того, чтобы канал передавал всю поступающую информацию   без задержек и искажений?

Чтобы решить подобные задачи, нужно научиться измерять ко­личественно объем передаваемой или хранимой информации, про­пускную способность каналов связи и их чувствительность к по­мехам.

Энтропия как мера степени неопределенности состояния физической системы

Любое сообщение, с которым мы имеем дело в теории инфор­мации, представляет собой совокупность сведений о некоторой физической системе. Средства измерений предназначаются для по­лучения измерительной информации и обладают, таким образом, информационными характеристиками. При их нахождении исхо­дят из того, что измеряемая величина обладает неопределенностью до тех пор, пока не произведено ее измерение. Степень неопреде­ленности зависит от ряда факторов.

Рассмотрим некоторую систему X, которая может принимать конечное множество состояний: х_и х₂, ..., х_п с вероятностями p1, р2, ..., pп, где

— вероятность того, что система X примет состояние x_i (симво­лом обозначается событие: система находится в состоянии х_i). Очевидно, , как сумма вероятностей полной группы независимых событий.

В качестве меры априорной неопределенности системы X (из­меряемой дискретной случайной величины X) в теории информа­ции применяется специальная характеристика, называемая энтро­пией.

Энтропией системы (измеряемой величины) называется сумма произведений вероятностей различных состояний системы на ло­гарифмы этих вероятностей, взятая с обратным знаком:

где log — знак двоичного логарифма.

Знак минус перед суммой ставится для того, чтобы энтропия была положительной: вероятности p_i меньше единицы и их лога­рифмы отрицательны.

Непрерывная измеряемая величина X априори имеет неопре­деленность, характеризуемую значением энтропии

,

где f(x) — плотность распределения величины X.

Энтропия обращается в нуль, когда одно из состояний систе­мы достоверно (вероятность равна единице), а другие — невоз­можны (вероятности равны нулю).

Если рассмотреть случайную дискретную величину X, которая имеет п равновероятных значений, то вероятность каждого из них будет равна p_i=1/n и

.

Таким образом, энтропия системы с равновозможными состоя­ниями равна логарифму числа состояний. При увеличении числа состояний энтропия увеличивается.

Энтропия обладает свойством аддитивности: когда несколько независимых систем объединяются в одну, их энтропии складыва­ются: Н (X, Y)=H (X)+H (Y).

Единицы измерения энтропии зависят от выбора основания ло­гарифма. При использовании десятичных логарифмов энтропия определяется в так называемых десятичных единицах (дит). В слу­чае двоичных логарифмов энтропия выражается в двоичных еди­ницах (бит). На практике удобнее всего пользоваться логариф­мами при основании 2, поскольку при этом достигается согласие с применяемой в электронных цифровых вычислительных маши­нах двоичной системой счисления.

Вычисление энтропии по формуле (2) можно несколько уп­ростить, если ввести в рассмотрение функцию

Формула (2) примет вид:

.

Функция η(р) табулирована.

Существует  понятие  условной  энтропии.   Пусть  имеются  две зависимые системы X и Y. Предположим, что система X приняла состояние х_i. Обозначим p(y_i/x_i) условную вероятность того,    что система Y примет состояние y_i при условии, что система X нахо­дится в состоянии х_i:

.

Условную энтропию при проведении измерений можно рассмат­ривать как меру уменьшения неопределенности системы X, имею­щей до измерения энтропию Н(х), а после измерения H(x/x_i), т. е. I_х = Н(Х)—H(X/x_i), где х_i — результат измерения.

Определим условную энтропию системы Y как энтропию при условии, что система X находится в состоянии х_i:

где m – число состояний системы Y, или

Условная энтропия зависит от того, какое состояние x_i приняла система X. Полная энтропия системы Y будет равна:

,

где п — число состояний системы X.

Рассмотрим пример. Поскольку результат измерений непосред­ственно зависит от значения погрешности Δ измерений, включающей в основном погрешность средства измерения, то в соответст­вии с (3) и (6) условная энтропия будет равна:

,

где f(Δ) — плотность распределения погрешности измерений; х_ц— результат измерения.

В случае нормального закона распределения погрешности Δ измерений при среднем квадратическом отклонении σ_х условная энтропия после несложных вычислений с помощью формулы (10) составит

где е — основание натуральных логарифмов.

Таким образом, чем больше погрешность измерений, представ­ляемая средним квадратическим отклонением, т. е. средней квадратической погрешностью измерений, тем больше значение Н(х/х_и) и, следовательно, тем меньше уменьшится неопределен­ность системы I_х после проведения измерений.

Энтропия и информация

Рассмотрим некоторую систему X, над которой производится измерение, и оценим информацию, получаемую в результате того, что состояние системы X становится полностью известным (по­грешность измерений равна нулю). До проведения измерений априорная энтропия системы была Н(Х), после измерений энтро­пия стала равной нулю, если в результате измерения мы нашли истинное значение величины Y. Обозначим I_x информацию, получа­емую в результате измерений. Она равна уменьшению энтропии:

I_x=H(X) – H(X/x_и) = 0 или

I_x=H(X),

т. е. количество информации, приобретаемое при полном выясне­нии состояния некоторой физической системы, равно энтропии этой системы.

С учетом формулы (2):

,

где . Формула (11) означает, что информация I_x есть осредненное по всем состояниям системы значение логариф­ма вероятности состояния с обратным знаком.

Действительно, для получения I_x каждое значение log p_i (ло­гарифм вероятности i-го значения) со знаком минус множится на вероятность этого состояния и все такие произведения складыва­ются. Естественно, каждое отдельное слагаемое — log p_i следует рассматривать как частную информацию, получаемую от отдель­ного измерения, состоящего в том, что система X находится в со­стоянии x_i.  Обозначим эту информацию I_xi.

Тогда информация 1_Х представится как средняя  (или полная) информация, получаемая от всех возможных отдельных измере­ний с учетом их вероятностей.

Так как все числа р_i не больше единицы, то как частная ин­формация I_xi, так и полная I_x не могут быть отрицательными.

Если все возможные состояния системы одинаково вероятны (р₁ = р₂ = ... = p_n = 1/n), то частная информация от каждого отдельного измерения I_xi = - log p = log n равна средней (полной) информации:

.

Приведем пример. Производится п независимых измерений. Вероятность отсутствия грубых погрешностей при каждом изме­рении равна р. После k-го измерения (1≤k<n) производится про­верка, позволяющая определить наличие или отсутствие грубой погрешности. Если она есть, измерения прекращаются. Опреде­лить k из условия, что количество информации, получаемое про­веркой, было максимально.

Рассмотрим состояние физической системы Х_k, определяемое достоверностью проведенных k измерений (без грубых погрешно­стей) параметра системы. Возможные состояния системы Х_k будут:

x₁ — в результатах измерений отсутствует грубая погрешность;

х₂ — в результатах измерений есть хотя бы одна грубая по­грешность.

Вероятности состояний даны в таблице 1.

Таблица 1

Информация, получаемая проверкой состояния системы Х_k, будет максимальна, когда оба состояния x₁ и x₂ равновероятны, т. е

,

откуда

.

Например, при р = 0.2, получаем k = 1 / 0,3219 ≈ 3.

Таким образом, проверку отсутствия грубой погрешности в указанных условиях следует осуществлять после проведения трех измерений.

Применение основных положений теории информации для характеристики процесса измерения

Точность измерений обычно характеризуется числовым значе­нием полученных при измерении или априорно известных погреш­ностей измерений.

Пусть в результате однократного измерения значения изме­ряемой величины X результат измерения  равен х_и. Если известно, что средство измерения имеет случайную абсолютную погреш­ность в пределах ±Д, то не следует утверждать, что действитель­ное значение измеряемой величины равно х_и. Можно лишь утверж­дать, что это значение лежит в полосе х_и±Δ. Незнание истинного значения измеряемой величины сохраняется после получения ре­зультата измерения x_и, но теперь оно характеризуется не исход­ной энтропией Н(Х), а лишь энтропией разброса действительного значения X величины относительно полученного результата х_и. Эта условная энтропия Н(Х/х_и) определяется погрешностью дан­ного средства измерения.

В теории информации факт проведения измерений в диапазоне от Х_н до Х_в означает, что при использовании данного средства измерения может быть получен результат измерений х_и только в пределах от Х_н до Х_в. Другими словами, вероятность получения значений х_и, меньших Х_н и больших Х_в, равна нулю. Вероятность же получения результата х_и в пределах от Х_н до Х_в равна единице. Если предположить, что плотность распределения различных значений измеряемой величины вдоль всей шкалы средства изме­рения одинакова, то с точки зрения теории информации наше зна­ние о значении измеряемой величины до измерения может быть

представлено графиком распределения плотности f₁(x) вдоль шка­лы значений (рис. 1).

Поскольку вероятность получения результата измерений х_и в пределах от Х_н до Х_в равна единице, то площадь под кривой f₁(x) должна быть равна единице. При равномерном распределении плотности вероятности:

.

После проведения измерения из-за наличия погрешности сред­ства измерения (±Δ) действительное значение измеряемой ве­личины X лежит в пределах от Х_и— Δ до X_и+ Δ, т. е. в пределах участка 2Δ.

С информационной точки зрения интерпретация результата из­мерения состоит в том, чтобы область неопределенности прости­ралась от Х_н до Х_в и характеризовалась сравнительно небольшой плотностью распределения f₁(x). После измерения неопределен­ность уменьшилась до величины 2Δ, а плотность распределения увеличилась до величины f₂(x) с учетом того, что Δ<<(Х_в—Х_н), что и отражено на рис.1.

Получение какой-либо информации об интересующей нас ве­личине заключается в конечном счете в уменьшении неопределен­ности ее значения, что и следует из (10).

Определим количество информации в общем случае как

I_x=H(X) – H(X/x_и),

где Н(Х) — априорная энтропия; Н(Х/х_и) — условная энтропия.

В нашем примере с равномерным законом распределения

;

.

Полученное количество информации:

.

Данная операция, которая обычно используется при опреде­лении относительной погрешности измерения, характеризует один из основных приемов анализа информационных свойств измере­ний.

Энтропийное значение погрешности измерений

Как было показано, с точки зрения теории информации коли­чество информации I_х, получаемое в результате любого измерения, соответствует уменьшению неопределенности «познания» измеряе­мой величины и равно разности энтропии до и после проведения измерений [формула (14)]. При этом априорная энтропия Н(Х) зависит только от закона распределения различных значений из­меряемой величины, рассматриваемой как случайная. А условная энтропия Н(Х/Х_и) равна энтропии закона распределения погреш­ностей измерений.

При исследовании средства измерения удобнее оперировать энтропийным значением погрешности измерений, которое одно­значно определяет ограничение процесса, связанного с измерени­ем параметра (параметров) объекта измерений.

Энтропия погрешности измерения рав­на логарифму интервала неопределенности. Длина этого интерва­ла может быть выражена также через значение среднего квадратического отклонения погрешности измерения. Для равномерного распределения дисперсия:

Отсюда СКО .

Таким образом, , а    интервал      неопределенности . Чем меньше СКО, тем меньше неопределенность результатов измерений.

Условная энтропия равна:

.

За энтропийное значение погрешности измерении принимается наибольшее ее значение при равномерном законе распределения, которая «вносит» такое же дезинформационное действие, как и погрешность с данным законом распределения. Так, если погреш­ность измерений распределена нормально, то энтропийное значе­ние Δ_Э погрешности:

.

Зависимость между энтропийным и средним    квадратическим начениями погрешности имеет вид:

,

где k_Э — энтропийный коэффициент.

Для нормального закона распределения погрешностей измере­ний k_Э ≈ 2,07, для равномерного закона k_Э = Δ_Э / σ_x ≈ 1,73. Сравнение значений энтропийных коэффициентов нормально и равномерно распределенных погрешностей измерений позволяет сделать вы­вод о том, что при одинаковых значениях СКО погрешность  (при нормальном законе распределения)   вносит большее дезинформа­ционное действие, чем погрешность, распределенная равномерно.

Практические методы определения энтропийного значения погрешности измерений

Любые методы определения или нормирования точности сред­ства измерения сводятся к установлению соответствия с погреш­ностью измерений.

С точки зрения информационного подхода к измерениям удоб­но сравнивать средства измерений по количеству информации, по­лучаемой при измерении, а, следовательно, по энтропийному зна­чению погрешности измерений.

Метод определения погрешности аналого-цифровых пре­образователей. Рассматриваемый ниже метод распространяется на любые аналого-цифровые преобразователи, которые характе­ризуются наличием аналогового параметра на входе и цифрового кода на выходе. К их числу относятся аналого-цифровые преоб­разователи, цифровые преобразователи угла, линейных перемеще­ний и т. д.

Рассмотрим класс аналого-цифровых преобразователей — циф­ровые преобразователи угла (ЦПУ). Чтобы применить энтропий­ный критерий точности к ЦПУ, необходимо по возможности про­анализировать структуру погрешностей и их источников.

Результирующая погрешность ЦПУ без учета влияния внешних факторов складывается из погрешности кванто­вания Δ_кв и инструментальной погреш­ности Δ₁ (погрешности воспроизведе­ния уровней квантования). На рис. 2 приведена структура погрешности та­кого преобразователя.

Для ЦПУ с идеальной шкалой име­ет место только погрешность кванто­вания Δ_кв, в реальном же ЦПУ грани­цы квантов реальной шкалы могут быть пространственно сдвинуты относительно идеальной шкалы, что порождает инструментальную погрешность Δ₁.

Погрешность квантования для N-разрядного ЦПУ является случайной величиной с равномерной плотностью распределения в диапазоне ±g/2, где g = 2n 2^-N — квант младшего разряда ЦПУ (в радианах). Эту величину называют максимальной информаци­онной способностью ЦПУ. В случае N-разрядного ЦПУ она со­ставляет N бит.

Пусть требуется определить информационную способность ЦПУ с учетом инструментальной погрешности Δ₁. Искомая величина лежит в пределах от 0 до N бит, причем она равна N при отсутствии инструментальной погрешности Д1 (идеальный ЦПУ) и равна 0, если цифровой код на выходе ЦПУ не зависит от значе­ния угла на его входе.

Информационная способность ЦПУ при наличии инструмен­тальной погрешности Δ₁ равна:

I = N – ΔH,

где N — информационная способность для идеального ЦПУ; ΔН— потеря информации за счет инструментальной погрешности Δ₁ или энтропия закона распределения инструментальной погрешности.

Таким образом, задача определения информационной способ­ности ЦПУ сводится к расчету энтропийного значения погрешно­сти Δ₁. Значение ΔН можно найти аналитически:

,

где f(Δ) — плотность распределения инструментальной погреш­ности Δ₁. Можно показать, что значение ΔН не изменится при на­личии постоянной составляющей погрешности преобразования (постоянного сдвига значения угла, соответствующего выходному коду, относительно поданного на вход ЦПУ значения угла). Пусть сдвиг значения угла составляет φ радиан, тогда

.

Отсюда следует: значение постоянной составляющей не сказы­вается на мере неопределенности. С точки зрения измерительного преобразования важно лишь абсолютное значение погрешности, полученной в результате единичного преобразования. При одно­кратном измерении нет возможности набрать статистические дан­ные и определить постоянную составляющую погрешности.

Чтобы использовать энтропийный подход, следует рассматри­вать каждое преобразование как независимое и определять поте­рю информации ЦПУ при единственном преобразовании. Это воз­можно, если рассматривать вклад каждого из разрядов ЦПУ в результирующую погрешность отдельно, определяя количество ин­формации, которое теряет каждый разряд при очередном преоб­разовании, а затем найти среднее значение по нескольким сеансам измерений.

Этот подход позволяет решить задачу учета влияния постоян­ной составляющей погрешности на основе энтропийной оценки.

Расчетная часть

Исходные данные: Маятник часов при температуре t₀ имеет длину l₀, и часы идут точно. Коэффициент линейного расширения материала маятника α = 1,85 ∙ 10^-5. Насколько будут отставать или убегать часы, если температура окружающего воздуха будет на 10˚C выше t₀? (При выводе формулы следует учесть малость значений коэффициента линейного расширения материала маятника).

Решение:

Одному полному обороту часовой стрелки соответствует вполне определенное число N колебаний.

За сутки часовая стрелка на обычных часах сделает два полных оборота:

.

При изменении температуры на t₀˚C длина маятника будет l = l₀ (1 + αr), а период колебаний изменится на:

.

За сутки часы отстанут (или убегут) на время:

.

Ответ. 8 секунд.

Выводы

1)                       «Основная идея ... состоит в том, что с инфор­мацией можно обращаться почти так же, как с такими физически­ми величинами, как масса или энергия».

2)                       Энтропией системы (измеряемой величины) называется сумма произведений вероятностей различных состояний системы на ло­гарифмы этих вероятностей, взятая с обратным знаком.

3)                       При исследовании средства измерения удобнее оперировать энтропийным значением погрешности измерений, которое одно­значно определяет ограничение процесса, связанного с измерени­ем параметра (параметров) объекта измерений.

Список литературы

1)                Кузнецов В.А., Ялунина Г.В. Основы метрологии – М.: Издательство стандартов, 1995 – 280 с.

2)                Сергеев А.Г.  Метрология – М.: Логос, 2005 г. – 272 с.

3)                Радкевич Я.М., Лактионов Б.И. Метрология, стандартизация и взаимозаменяемость. – М.: Издательство Государственного горного университета, 1996 – 212 с.