К.Шеннон - теория информации

Самая важная диссертация ХХ века. Клод Э. Шеннон: основатель теории информации

Сейчас, когда создается новая фундаментальная дисциплина квантовой информатики, самое время оглянуться на выдающегося ученого, который в одиночку начал классическую теорию информации.

Классическая информатика возникла около 50 лет назад из работ одного гениального человека - Клода Э. Шеннона. В знаменательной статье, написанной в Bell Labs в 1948 году, Шеннон математически определил, что такое информация и как ее можно передавать в условиях шума. То, что считалось совершенно разными способами связи - телеграф, телефон, радио и телевидение - было объединено в единую структуру.

Клод Шеннон 1916-2001 — американский инженер, криптоаналитик и математик. Считается «отцом информационного века». Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации. Кроме того, понятие энтропии было важной особенностью теории Шеннона.

Шеннон вырос в маленьком городке штата Мичиган, где он строил модели самолетов и собирал любительские радиоприемники, а позже отправился в Мичиганский университет учиться электротехнике и математике. На старшем курсе он откликнулся на объявление, висевшее на доске, о том, что в МТИ в группу, возглавляемую пионером вычислительной техники Вэниваром Бушем, требуется помощник для работ по запуску дифференциального анализатора - аналогового компьютера. Шеннон получил работу и был заворожен этой машиной — не столько валиками, шкивами и колесами, которые являлись аналоговыми элементами, сколько электромагнитными переключателями — реле, которые были частью цепи управления. Когда электрические сигналы заставляли их щелчком открываться и с треском закрываться, переключатели меняли конфигурацию цепей.
"Летом 1937 года Шеннон взял отпуск в МТИ и поступил на работу в Bell Labs — научно-исследовательский центр, находящийся в ведении компании AT&T (Американская телеграфная и телефонная компания). Лаборатория тогда находились на Манхэттене. Это место идеально подходило для превращения идей в изобретения: абстрактные теории сталкивались там с практическими проблемами, а в коридорах и кафе эксцентричные теоретики спорили с инженерами-практиками, грубоватыми механиками и деловитыми менеджерами, и в результате теория и технология взаимно обогащали друг друга. Это сделало Bell Labs примером организации, где были созданы условия, способствующие появлению инноваций цифровой эры, которые гарвардский историк науки Питер Галисон назвал «торговой зоной» или «зоной обмена». Когда разрозненные практики и теоретики оказывались вместе, они учились находить общий язык, с помощью которого можно было обмениваться идеями и информацией." Уолтер Айзексон "Инноваторы".
В Bell Labs Шеннон увидел вблизи удивительные возможности схем телефонных систем, где использовались электрические переключатели для маршрутизации вызовов и балансировки нагрузок. Мысленно он начал примерять эти схемные решения к другой привлекавшей его области — к логическим системам, сформулированным за девяносто лет до этого британским математиком Джорджем Булем.

Джордж Буль (1815 -1864) выдающийся английский математик и логик. Профессор математики Королевского колледжа Корка с 1849 года. Один из основателей математической логики.

Буль революционизировал логику, найдя способы выражения логических выражений в виде символов и уравнений. Он присвоил истинным утверждениям значение і, а ложным — о. Тогда последовательность, составленную из базовых логических операций, таких как «и», «или», «не» , «и/или», «если/то» , можно выполнить, используя эти утверждения, так же, как если бы они были математическими уравнениями.

Шеннон понял, что электрические схемы могут выполнять эти логические операции, используя различные комбинации двухпозиционных переключателей (с режимами «включено»/«выключено»). Для выполнения операции «и», например, нужно два переключателя расположить последовательно, так что для того, чтобы пошел ток, оба должны быть в положении «включено». Чтобы выполнить операцию «или», переключатели должны быть расположены параллельно, так, чтобы электрический ток тек, если один из них находится в положении «включено». Чуть более универсальные переключатели, называемые логическими затворами или вентилями, могли бы ускорить процесс. Другими словами, можно было сконструировать схему, содержащую много реле и логических затворов, которые могли бы выполнять шаг за шагом последовательность логических задач. Концептуальный прорыв Шеннона состоял в том, что он понял, как переключатели могут быть соединены друг с другом в схемах, чтобы с их помощью можно было решать задачи булевой алгебры.

Реле — это просто переключатель, который может открываться и закрываться с помощью электричества, например с помощью электромагнита. Те реле, которые механически — щелчком — открываются, а закрываются с помощью электричества, иногда называются электромеханическими, потому что они имеют подвижные части. Электронные лампы и транзисторы также можно использовать в качестве переключателей в электрической цепи, их называют электронными, потому что они управляют потоком электронов, но никакие физические части в них не движутся. «Логический затвор» — это переключатель, который может иметь один или несколько входов. Например, в случае двух входов логический элемент «и» переключается в положение «включено», если оба входа находятся в позиции «включено», а логический элемент «или» переходит в состояние «включено», если какой-нибудь из входов находится в положении «включено».

Магистерскую диссертацию Шеннона по электротехнике Массачусетского технологического института «Символический анализ релейных и переключательных схем» назвали самой важной в 20-м веке.

В ней 22-летний Шеннон показал, как логическая алгебра математика 19-го века Джорджа Буля может быть реализована с использованием электронных схем реле и переключателей. Это наиболее фундаментальная особенность дизайна цифровых компьютеров - представление «истинно» и «ложно», «0» и «1» в виде открытых или закрытых переключателей, а также использование электронных логических вентилей для принятия решений и выполнения арифметических операций.

Теперь инженеры в своей повседневной практике, создавая аппаратуру и программы для компьютеров, сети телефонной связи и другие системы, постоянно пользуются булевой алгеброй.

Цифровые цепи – это основа современной вычислительной техники, таким образом, результаты работ Шеннона являются одними из наиболее важных научных результатов ХХ столетия. Историк науки Говард Гарднер из Гарвардского университета отозвался о работе Шэннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

После окончания Массачусетского технологического института Шеннон работал в Bell Labs, где он занимался проблемами криптографии и продолжал свою работу над теорией информации и коммуникаций.

Сначала Шеннон задался простой целью: улучшить процесс передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических возмущений или шума. Он пришел к выводу, что наилучшее решение заключается не в техническом усовершенствовании линий связи, а в более эффективной упаковке информации. Шеннон заинтересовался электронной передачей сообщений. Мало что было понятно ему в этой области, но он верил, что математика знала ответы на большинство вопросов. К. Шеннон разрабатывал криптографические системы, в том числе обеспечивал правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

Количественная оценка информации

Что такое информация? Оставляя в стороне вопрос о содержании этого понятия, Шеннон показал, что это измеримая величина: количество информации, содержащейся в данном сообщении, есть функция вероятности, что из всех возможных сообщений будет выбрано данное. Он назвал общий потенциал информации в системе сообщений как ее «энтропию». В термодинамике это понятие означает степень случайности (или «перемешанности») системы.

Шеннон определил основную единицу количества информации, названную потом битом, как сообщение, представляющее один из двух вариантов: “да” – “нет”. Бит можно представить как 1 или 0, или как присутствие или отсутствие тока в цепи.

На этом математическом фундаменте Шеннон показал, что любой канал связи имеет свою максимальную пропускную способность для надежной передачи информации. В действительности он доказал, что, хотя можно приблизиться к этому максимуму за счет искусного кодирования, достичь его невозможно. Этот максимум получил известность как предел Шеннона.

В 1948 году Шеннон опубликовал знаменитую статью «Математическая теория связи» в исследовательском журнале Bell Labs, в которой он изложил эти революционные идеи.
Источник: https://zen.yandex.ru/media/id/6064828e4c91ae100ad23a6f/samaia-vajnaia-dissertaciia-hh-veka-klod-e-s...

P.S. Если вы еще не поняли суть (смысл) понятия (термина) информация, то вам необходимо перейти на эту страницу. Без понимания терминов восприятие и осознание, понять смысл термина информация крайне сложно. Мне довелось изучать теорию информации 6 лет, но пока я не объяснил себе смысл терминов восприятие и осознание, а это уже другая область знаний (психология), я не понимал самое главное - смысл понятия информация. Когда понимаешь смысл, то все остальные понятия знак, алфавит, пиксель, изображение, картинка, бит, байт, сообщение, поток данных, скорость передачи данных, полоса пропуская и т д., и.т.д., выстроятся из разрозненных пазлов в "картину". Из огромного количества слов русского языка можно найти всего одно, которое точно передаст смысл (суть) этого понятия. Вы знаете это слово, но не понимаете, что оно является ключевым (главным) в теории информации, созданной Клодом Шенноном. Так что же такое ИНФОРМАЦИЯ? Предполагаю, что если бы вы понимали суть этой теории (модели), то вас бы не было на этом сайте и этой странице, но если вы читаете эти строки, то есть большие шансы, что вы поймете: ключевым (главным) словом является слово изменения. Почему? Кликните на любое слово информация на этой странице и вы перейдете на страницу, где объясняется смысл понятия информация, который Шеннон так и не объяснил в своей теории. Если оно вам надо, конечно.