印刷された英語の予測とエントロピー:クロード・シャノン(1950年)
-
FromClaude (Hacker News)
本論文は、クロード・シャノンによって1950年に発表された「Prediction and Entropy of Printed English」のPDF版に関するものです。
この論文では、英語のテキストにおける情報量(エントロピー)と、次に来る文字を予測する能力の関係について論じています。シャノンは、英語の文字の出現確率が一定ではなく、文脈によって変化することを示し、その統計的な性質を分析しました。
具体的には、1文字だけを見た場合のエントロピーと、先行する文字列を考慮した場合のエントロピーを比較することで、英語における冗長性(redundancy)の存在を明らかにしました。この冗長性こそが、人間が英語を理解し、また、誤字脱字があっても意味を推測できる理由であると説明しています。
また、このエントロピーの概念は、通信における情報伝達の効率化や、圧縮技術の基礎となるものであり、情報理論の発展に多大な影響を与えました。
本PDFは、この古典的な論文の原文にアクセスできることを示唆しています。
[custom_js_sp]
AIによる翻訳/要約をしています。正確な情報はオリジナルサイトにてご確認ください。
当サイトの記事にはプロモーションが含まれる場合があります。
