К.Шеннон - теория информации

Самая важная диссертация ХХ века. Клод Э. Шеннон: основатель теории информации

Сейчас, когда создается новая фундаментальная дисциплина квантовой информатики, самое время оглянуться на выдающегося ученого, который в одиночку начал классическую теорию информации.

Классическая информатика возникла около 50 лет назад из работ одного гениального человека - Клода Э. Шеннона. В знаменательной статье, написанной в Bell Labs в 1948 году, Шеннон математически определил, что такое информация и как ее можно передавать в условиях шума. То, что считалось совершенно разными способами связи - телеграф, телефон, радио и телевидение - было объединено в единую структуру.

Клод Шеннон 1916-2001 — американский инженер, криптоаналитик и математик. Считается «отцом информационного века». Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации. Кроме того, понятие энтропии было важной особенностью теории Шеннона.

Шеннон вырос в маленьком городке штата Мичиган, где он строил модели самолетов и собирал любительские радиоприемники, а позже отправился в Мичиганский университет учиться электротехнике и математике. На старшем курсе он откликнулся на объявление, висевшее на доске, о том, что в МТИ в группу, возглавляемую пионером вычислительной техники Вэниваром Бушем, требуется помощник для работ по запуску дифференциального анализатора - аналогового компьютера. Шеннон получил работу и был заворожен этой машиной — не столько валиками, шкивами и колесами, которые являлись аналоговыми элементами, сколько электромагнитными переключателями — реле, которые были частью цепи управления. Когда электрические сигналы заставляли их щелчком открываться и с треском закрываться, переключатели меняли конфигурацию цепей.
"Летом 1937 года Шеннон взял отпуск в МТИ и поступил на работу в Bell Labs — научно-исследовательский центр, находящийся в ведении компании AT&T (Американская телеграфная и телефонная компания). Лаборатория тогда находились на Манхэттене. Это место идеально подходило для превращения идей в изобретения: абстрактные теории сталкивались там с практическими проблемами, а в коридорах и кафе эксцентричные теоретики спорили с инженерами-практиками, грубоватыми механиками и деловитыми менеджерами, и в результате теория и технология взаимно обогащали друг друга. Это сделало Bell Labs примером организации, где были созданы условия, способствующие появлению инноваций цифровой эры, которые гарвардский историк науки Питер Галисон назвал «торговой зоной» или «зоной обмена». Когда разрозненные практики и теоретики оказывались вместе, они учились находить общий язык, с помощью которого можно было обмениваться идеями и информацией." Уолтер Айзексон "Инноваторы".
В Bell Labs Шеннон увидел вблизи удивительные возможности схем телефонных систем, где использовались электрические переключатели для маршрутизации вызовов и балансировки нагрузок. Мысленно он начал примерять эти схемные решения к другой привлекавшей его области — к логическим системам, сформулированным за девяносто лет до этого британским математиком Джорджем Булем.

Джордж Буль (1815 -1864) выдающийся английский математик и логик. Профессор математики Королевского колледжа Корка с 1849 года. Один из основателей математической логики.

Буль революционизировал логику, найдя способы выражения логических выражений в виде символов и уравнений. Он присвоил истинным утверждениям значение і, а ложным — о. Тогда последовательность, составленную из базовых логических операций, таких как «и», «или», «не» , «и/или», «если/то» , можно выполнить, используя эти утверждения, так же, как если бы они были математическими уравнениями.

Шеннон понял, что электрические схемы могут выполнять эти логические операции, используя различные комбинации двухпозиционных переключателей (с режимами «включено»/«выключено»). Для выполнения операции «и», например, нужно два переключателя расположить последовательно, так что для того, чтобы пошел ток, оба должны быть в положении «включено». Чтобы выполнить операцию «или», переключатели должны быть расположены параллельно, так, чтобы электрический ток тек, если один из них находится в положении «включено». Чуть более универсальные переключатели, называемые логическими затворами или вентилями, могли бы ускорить процесс. Другими словами, можно было сконструировать схему, содержащую много реле и логических затворов, которые могли бы выполнять шаг за шагом последовательность логических задач. Концептуальный прорыв Шеннона состоял в том, что он понял, как переключатели могут быть соединены друг с другом в схемах, чтобы с их помощью можно было решать задачи булевой алгебры.

Реле — это просто переключатель, который может открываться и закрываться с помощью электричества, например с помощью электромагнита. Те реле, которые механически — щелчком — открываются, а закрываются с помощью электричества, иногда называются электромеханическими, потому что они имеют подвижные части. Электронные лампы и транзисторы также можно использовать в качестве переключателей в электрической цепи, их называют электронными, потому что они управляют потоком электронов, но никакие физические части в них не движутся. «Логический затвор» — это переключатель, который может иметь один или несколько входов. Например, в случае двух входов логический элемент «и» переключается в положение «включено», если оба входа находятся в позиции «включено», а логический элемент «или» переходит в состояние «включено», если какой-нибудь из входов находится в положении «включено».

Магистерскую диссертацию Шеннона по электротехнике Массачусетского технологического института «Символический анализ релейных и переключательных схем» назвали самой важной в 20-м веке.

В ней 22-летний Шеннон показал, как логическая алгебра математика 19-го века Джорджа Буля может быть реализована с использованием электронных схем реле и переключателей. Это наиболее фундаментальная особенность дизайна цифровых компьютеров - представление «истинно» и «ложно», «0» и «1» в виде открытых или закрытых переключателей, а также использование электронных логических вентилей для принятия решений и выполнения арифметических операций.

Теперь инженеры в своей повседневной практике, создавая аппаратуру и программы для компьютеров, сети телефонной связи и другие системы, постоянно пользуются булевой алгеброй.

Цифровые цепи – это основа современной вычислительной техники, таким образом, результаты работ Шеннона являются одними из наиболее важных научных результатов ХХ столетия. Историк науки Говард Гарднер из Гарвардского университета отозвался о работе Шэннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

После окончания Массачусетского технологического института Шеннон работал в Bell Labs, где он занимался проблемами криптографии и продолжал свою работу над теорией информации и коммуникаций.

Сначала Шеннон задался простой целью: улучшить процесс передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических возмущений или шума. Он пришел к выводу, что наилучшее решение заключается не в техническом усовершенствовании линий связи, а в более эффективной упаковке информации. Шеннон заинтересовался электронной передачей сообщений. Мало что было понятно ему в этой области, но он верил, что математика знала ответы на большинство вопросов. К. Шеннон разрабатывал криптографические системы, в том числе обеспечивал правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

Количественная оценка информации

Что такое информация? Оставляя в стороне вопрос о содержании этого понятия, Шеннон показал, что это измеримая величина: количество информации, содержащейся в данном сообщении, есть функция вероятности, что из всех возможных сообщений будет выбрано данное. Он назвал общий потенциал информации в системе сообщений как ее «энтропию». В термодинамике это понятие означает степень случайности (или «перемешанности») системы.

Шеннон определил основную единицу количества информации, названную потом битом, как сообщение, представляющее один из двух вариантов: “да” – “нет”. Бит можно представить как 1 или 0, или как присутствие или отсутствие тока в цепи.

На этом математическом фундаменте Шеннон показал, что любой канал связи имеет свою максимальную пропускную способность для надежной передачи информации. В действительности он доказал, что, хотя можно приблизиться к этому максимуму за счет искусного кодирования, достичь его невозможно. Этот максимум получил известность как предел Шеннона.

В 1948 году Шеннон опубликовал знаменитую статью «Математическая теория связи» в исследовательском журнале Bell Labs, в которой он изложил эти революционные идеи.
Источник: https://zen.yandex.ru/media/id/6064828e4c91ae100ad23a6f/samaia-vajnaia-dissertaciia-hh-veka-klod-e-s...

P.S. Ситуацию усложняет то, что помимо понятия "информация", существует множество связанных понятий: знаки и символы (базовые и специализированные), биты и байты, сообщение (создание-кодирование, передача, прием-восприятие, осознание), данные, поток данных, скорость передачи данных, процесс передачи данных, преобразование сигналов, аналоговые и цифровые сигналы, ценность информации, кодирование сообщений, шифрование сообщений, криптография, и др., но Клод Шеннон (автор «Математической теории связи») не потрудился объяснить какое из этих понятий (слов) является основополагающим (фундаментальным, базовым). Чтобы разобраться в том, почему ключевым понятием (базовым, основополагающим) мы считаем понятие (слово) изменения, которое тесно связано с понятием процессы (изменение кого-либо/чего-либо), необходимо учитывать аспекты восприяти я и осознани я (понимания).
Даже если вы воспринимаете информацию, например, речь на иностранном языке, вы можете ее не понять. Может быть, вы сможете воспроизвести услышанное, т.е. повторить сообщение, может быть даже без искажений, но это не означает, что вы понимаете смысл воспринятого. Попугай тоже может повторить (воспроизвести) услышанное сообщение, иногда очень похожим голосом, но это не означает, что он понимает слово(а), которое он воспроизвел. Итак, смысл какого слова (понятия) и почему, необходимо понять первым, чтобы затем с легкостью уяснить смысл всех остальных понятий, используемых в теории информации. Подробнее.