เอนโทรปีวัดอย่างไรในทฤษฎีสารสนเทศ เอนโทรปีของข้อมูล
1. บทนำ.
2. Claude Shannon วัดอะไร
3. ขีดจำกัดของความแปรปรวนทางวิวัฒนาการของระบบสารสนเทศ
4. การปรับตัวของสายพันธุ์ทางชีววิทยามี จำกัด
5. ขั้นตอนของการพัฒนาทฤษฎีเอนโทรปี
6. วิธีการคำนวณจำนวนข้อมูลโครงสร้างและข้อมูลเอนโทรปีของข้อความ
7. อัตราส่วนข้อมูลต่อเอนโทรปีของกระบวนการปรับตัวและการพัฒนา
8. ข้อมูลและพลังงาน
9. บทสรุป.
10. บรรณานุกรม.
การแนะนำ
ในช่วงครึ่งหลังของศตวรรษที่ 20 มีเหตุการณ์สองเหตุการณ์เกิดขึ้นซึ่งในความเห็นของเรานั้นเป็นตัวกำหนดเส้นทางต่อไปของความเข้าใจทางวิทยาศาสตร์ของโลกเป็นส่วนใหญ่ เรากำลังพูดถึงการสร้างทฤษฎีข้อมูลและการเริ่มต้นของการวิจัยเกี่ยวกับกลไกของกระบวนการแอนติเอนโทรปิก สำหรับการศึกษาที่ซินเนอร์เจติกส์ใช้ความสำเร็จล่าสุดทั้งหมดของอุณหพลศาสตร์ที่ไม่สมดุล ทฤษฎีข้อมูล และทฤษฎีระบบทั่วไป
ความแตกต่างพื้นฐานระหว่างขั้นตอนการพัฒนาวิทยาศาสตร์นี้กับขั้นตอนก่อนหน้าคือก่อนที่จะมีการสร้างขอบเขตการวิจัยที่ระบุไว้ วิทยาศาสตร์สามารถอธิบายได้เฉพาะกลไกของกระบวนการที่นำไปสู่ความโกลาหลที่เพิ่มขึ้นและการเพิ่มขึ้นของเอนโทรปี สำหรับแนวคิดทางชีววิทยาและวิวัฒนาการที่พัฒนาขึ้นตั้งแต่สมัยของลามาร์กและดาร์วิน พวกเขายังไม่มีเหตุผลทางวิทยาศาสตร์ที่เข้มงวดและขัดแย้งกับกฎข้อที่สองของอุณหพลศาสตร์ ซึ่งการเพิ่มขึ้นของเอนโทรปีที่เกิดขึ้นกับกระบวนการทั้งหมดในโลกเป็นสิ่งที่ขาดไม่ได้ กฎทางกายภาพ.
ข้อดีของอุณหพลศาสตร์ที่ไม่สมดุลนั้นอยู่ที่ความจริงที่ว่ามันสามารถเปิดเผยกลไกของกระบวนการต่อต้านเอนโทรปีที่ไม่ขัดแย้งกับกฎข้อที่สองของอุณหพลศาสตร์ เนื่องจากการลดลงของเอนโทรปีในท้องถิ่นภายในระบบการจัดระเบียบตนเองจะได้รับค่าตอบแทนเสมอ โดยเอนโทรปีที่เพิ่มขึ้นอย่างมากในค่าสัมบูรณ์ สภาพแวดล้อมภายนอก.
ขั้นตอนที่สำคัญที่สุดในการทำความเข้าใจธรรมชาติและกลไกของกระบวนการแอนติเอนโทรปิกคือการแนะนำการวัดข้อมูลเชิงปริมาณ ในขั้นต้นมาตรการนี้มีไว้เพื่อแก้ไขอย่างหมดจดเท่านั้น งานที่ใช้เทคโนโลยีการสื่อสาร. อย่างไรก็ตาม การวิจัยที่ตามมาในสาขาฟิสิกส์และชีววิทยาทำให้สามารถระบุมาตรการสากลที่เสนอโดย K. Shannon ซึ่งช่วยให้สามารถสร้างความสัมพันธ์ระหว่างปริมาณของข้อมูลและเอนโทรปีทางกายภาพ และท้ายที่สุด การกำหนดสาระสำคัญของการตีความทางวิทยาศาสตร์ใหม่ ของแนวคิดของ "ข้อมูล" เป็นการวัดลำดับโครงสร้างของระบบที่มีความหลากหลายมากที่สุดในธรรมชาติ
ด้วยการใช้อุปมา เราสามารถพูดได้ว่าก่อนที่จะมีการนำมาตรวัดข้อมูลเชิงปริมาณเพียงรายการเดียวมาใช้ในวิทยาศาสตร์ โลกที่นำเสนอในแนวคิดทางวิทยาศาสตร์ธรรมชาตินั้น "อาศัยวาฬสองตัว" นั่นคือพลังงานและสสาร ปัจจุบัน "วาฬตัวที่สาม" คือข้อมูล ซึ่งเกี่ยวข้องกับกระบวนการทั้งหมดที่เกิดขึ้นในโลก ตั้งแต่อนุภาคขนาดเล็ก อะตอม และโมเลกุล ไปจนถึงการทำงานของระบบชีวภาพและสังคมที่ซับซ้อนที่สุด
ตามธรรมชาติ คำถามเกิดขึ้น: ข้อมูลล่าสุดของวิทยาศาสตร์สมัยใหม่ยืนยันหรือหักล้างกระบวนทัศน์วิวัฒนาการของการกำเนิดชีวิตและสายพันธุ์ทางชีววิทยาหรือไม่?
ในการตอบคำถามนี้ ก่อนอื่นจำเป็นต้องเข้าใจว่าคุณสมบัติและลักษณะใดของแนวคิดหลายแง่มุมของ "ข้อมูล" ที่สะท้อนการวัดเชิงปริมาณที่ K. Shannon นำเข้าสู่วิทยาศาสตร์
การใช้การวัดปริมาณข้อมูลทำให้สามารถวิเคราะห์กลไกทั่วไปของการโต้ตอบระหว่างเอนโทรปีของข้อมูลซึ่งรองรับกระบวนการสะสมข้อมูลที่เกิดขึ้นเองในโลกรอบตัวซึ่งนำไปสู่การจัดระเบียบโครงสร้างระบบด้วยตนเอง
ในขณะเดียวกัน การวิเคราะห์เอนโทรปีของข้อมูลยังทำให้สามารถระบุช่องว่างในแนวคิดเชิงวิวัฒนาการ ซึ่งไม่มีอะไรมากไปกว่าความพยายามที่ไม่สามารถป้องกันได้เพื่อลดปัญหาการกำเนิดของสิ่งมีชีวิตและสายพันธุ์ทางชีววิทยาไปสู่กลไกง่ายๆ ของการจัดระเบียบตนเองโดยไม่คำนึงถึง ข้อเท็จจริงที่ว่าระบบที่มีระดับความซับซ้อนดังกล่าวสามารถสร้างขึ้นได้บนพื้นฐานของข้อมูลนั้นเท่านั้น ซึ่งแต่เดิม ได้ถูกวางไว้ในแผนก่อนการสร้าง
จัดขึ้น วิทยาศาสตร์สมัยใหม่การศึกษาคุณสมบัติของระบบสารสนเทศให้เหตุผลทุกข้อในการยืนยันว่าระบบทั้งหมดสามารถก่อตัวขึ้นได้ตามกฎที่ลดหลั่นลงมาจากระดับลำดับชั้นบน และกฎเหล่านี้เองมีมาก่อนระบบในรูปแบบของแผนดั้งเดิม (ความคิดของ การสร้าง).
CLAUD SHANNON วัดอะไร
ทฤษฎีข้อมูลขึ้นอยู่กับวิธีการที่เสนอโดย K. Shannon สำหรับการคำนวณจำนวนข้อมูลใหม่ (คาดเดาไม่ได้) และซ้ำซ้อน (คาดการณ์ได้) ที่มีอยู่ในข้อความที่ส่งผ่านช่องทางการสื่อสารทางเทคนิค
วิธีการที่แชนนอนเสนอเพื่อวัดปริมาณข้อมูลกลายเป็นวิธีการสากลที่การประยุกต์ใช้ไม่ได้จำกัดอยู่แต่ในขอบเขตแคบๆ ของแอปพลิเคชันทางเทคนิคล้วนๆ อีกต่อไป
ตรงกันข้ามกับความเห็นของ K. Shannon เองที่เตือนนักวิทยาศาสตร์เกี่ยวกับการแพร่กระจายอย่างรวดเร็วของวิธีการที่เขาเสนอจนเกินขอบเขตของปัญหาการประยุกต์ใช้เทคโนโลยีการสื่อสาร วิธีนี้เริ่มพบการใช้งานอย่างแพร่หลายมากขึ้นในการศึกษาทางกายภาพ ชีวภาพ และ ระบบสังคม
กุญแจสู่ความเข้าใจใหม่เกี่ยวกับสาระสำคัญของปรากฏการณ์ของข้อมูลและกลไกของกระบวนการข้อมูลคือความสัมพันธ์ระหว่างข้อมูลและเอนโทรปีทางกายภาพที่ก่อตั้งโดย L. Brillouin เดิมทีความสัมพันธ์นี้ถูกวางไว้บนรากฐานของทฤษฎีสารสนเทศ เนื่องจากแชนนอนเสนอให้ใช้ฟังก์ชันเอนโทรปีที่น่าจะเป็นไปได้ที่ยืมมาจากอุณหพลศาสตร์ทางสถิติเพื่อคำนวณปริมาณข้อมูล
นักวิทยาศาสตร์หลายคน (เริ่มต้นด้วยเค. แชนนอนเอง) มีแนวโน้มที่จะพิจารณาการยืมดังกล่าวเป็นอุปกรณ์ที่เป็นทางการอย่างแท้จริง L. Brillouin แสดงให้เห็นว่าระหว่างจำนวนข้อมูลที่คำนวณตาม Shannon และเอนโทรปีทางกายภาพ ไม่มีความสัมพันธ์ที่เป็นทางการ แต่เป็นความสัมพันธ์ที่มีความหมาย
ในฟิสิกส์เชิงสถิติ การใช้ฟังก์ชันความน่าจะเป็นของเอนโทรปี ศึกษากระบวนการต่างๆ ที่นำไปสู่สมดุลทางอุณหพลศาสตร์ ซึ่งสถานะทั้งหมดของโมเลกุล (พลังงาน ความเร็ว) เข้าใกล้ความน่าจะเป็นที่เท่าเทียมกัน และเอนโทรปีมีแนวโน้มที่จะมีค่าสูงสุด
ต้องขอบคุณทฤษฎีข้อมูล เห็นได้ชัดว่าด้วยความช่วยเหลือจากฟังก์ชั่นเดียวกัน มันเป็นไปได้ที่จะตรวจสอบระบบที่อยู่ห่างไกลจากสถานะของเอนโทรปีสูงสุด เช่น ข้อความที่เป็นลายลักษณ์อักษร
ข้อสรุปที่สำคัญอีกประการหนึ่งก็คือ
การใช้ฟังก์ชันความน่าจะเป็นของเอนโทรปี เราสามารถวิเคราะห์ทุกขั้นตอนของการเปลี่ยนแปลงของระบบจากสถานะของความสับสนวุ่นวายทั้งหมด ซึ่งสอดคล้องกับ ค่าเท่ากันความน่าจะเป็นและค่าสูงสุดของเอนโทรปี ไปจนถึงสถานะของคำสั่งสุดท้าย (การกำหนดอย่างเข้มงวด) ซึ่งสอดคล้องกับสถานะที่เป็นไปได้เพียงอย่างเดียวขององค์ประกอบต่างๆ
ข้อสรุปนี้กลายเป็นจริงอย่างเท่าเทียมกันสำหรับระบบที่แตกต่างกันในธรรมชาติ เช่น ก๊าซ ผลึก ข้อความที่เป็นลายลักษณ์อักษร สิ่งมีชีวิตทางชีววิทยาหรือชุมชน ฯลฯ
ในเวลาเดียวกัน ถ้าสำหรับก๊าซหรือผลึก เมื่อคำนวณเอนโทรปี จะมีการเปรียบเทียบเฉพาะไมโครสเตต (เช่น สถานะของอะตอมและโมเลกุล) และมาโครสเตตของระบบเหล่านี้ (เช่น ก๊าซหรือคริสตัลโดยรวม) สำหรับระบบที่มีลักษณะแตกต่างกัน (ชีวภาพ ปัญญา สังคม) สามารถคำนวณค่าเอนโทรปีในระดับหนึ่งหรือระดับอื่นที่เลือกโดยพลการ ในกรณีนี้ ค่าที่คำนวณได้ของเอนโทรปีของระบบภายใต้การพิจารณาและจำนวนข้อมูลที่แสดงระดับของการสั่งซื้อระบบนี้และเท่ากับความแตกต่างระหว่างค่าสูงสุดและค่าที่แท้จริงของเอนโทรปีจะขึ้นอยู่กับการกระจายความน่าจะเป็นของสถานะต่างๆ ขององค์ประกอบของระดับพื้นฐาน เช่น องค์ประกอบที่รวมกันเป็นระบบเหล่านี้
กล่าวอีกนัยหนึ่ง
จำนวนข้อมูลที่เก็บไว้ในโครงสร้างของระบบเป็นสัดส่วนกับระดับความเบี่ยงเบนของระบบจากสภาวะสมดุล เนื่องจากคำสั่งที่เก็บรักษาไว้ในโครงสร้างของระบบ
แชนนอนติดอาวุธวิทยาศาสตร์ด้วยมาตรการสากลซึ่งเหมาะสมในหลักการ (โดยมีการเปิดเผยค่าของความน่าจะเป็นทั้งหมด) เพื่อประเมินระดับความเป็นระเบียบเรียบร้อยของระบบทั้งหมดที่มีอยู่ในโลก
มีการกำหนดมาตรวัดข้อมูลที่แชนนอนแนะนำเป็น การวัดลำดับการเคลื่อนไหวเป็นไปได้ที่จะสร้างความสัมพันธ์ระหว่างข้อมูลและพลังงานโดยพิจารณา พลังงานเป็นตัววัดความเข้มของการจราจร. ในขณะเดียวกัน จำนวนข้อมูลที่จัดเก็บไว้ในโครงสร้างของระบบจะเป็นสัดส่วนกับพลังงานทั้งหมดของการเชื่อมต่อภายในของระบบเหล่านี้
พร้อมกันกับสมาบัติ คุณสมบัติทั่วไปข้อมูลเป็นปรากฏการณ์ นอกจากนี้ยังมีความแตกต่างพื้นฐานที่เกี่ยวข้องกับระดับต่างๆ ของความซับซ้อนของระบบสารสนเทศ
ตัวอย่างเช่นวัตถุทางกายภาพทั้งหมดซึ่งแตกต่างจากวัตถุทางชีวภาพไม่มีอวัยวะหน่วยความจำพิเศษ, การบันทึกสัญญาณที่มาจากโลกภายนอก, ช่องทางการสื่อสารข้อมูล ข้อมูลที่เก็บไว้ในนั้นจะถูก "ทา" ทั่วทั้งโครงสร้าง ในเวลาเดียวกัน หากคริสตัลไม่สามารถเก็บข้อมูลในลิงก์ภายในที่กำหนดลำดับของคริสตัลได้ ก็จะไม่สามารถสร้างหน่วยความจำประดิษฐ์และอุปกรณ์ทางเทคนิคที่มีไว้สำหรับการประมวลผลข้อมูลตามโครงสร้างผลึกได้
ในขณะเดียวกันก็ต้องคำนึงถึงว่าการสร้างอุปกรณ์ดังกล่าวเป็นไปได้ด้วยใจของบุคคลที่สามารถใช้คุณสมบัติข้อมูลพื้นฐานของคริสตัลเพื่อสร้างระบบข้อมูลที่ซับซ้อน
โปรโตซัว ระบบชีวภาพมีความซับซ้อนเกินกว่าระบบสารสนเทศที่ก้าวหน้าที่สุดที่มนุษย์สร้างขึ้น ในระดับของสิ่งมีชีวิตเซลล์เดียวที่ง่ายที่สุดแล้วกลไกทางพันธุกรรมที่ให้ข้อมูลที่ซับซ้อนที่สุดซึ่งจำเป็นสำหรับการสืบพันธุ์ได้เปิดใช้งานแล้ว ในสิ่งมีชีวิตหลายเซลล์ นอกจากนี้ ระบบข้อมูลกรรมพันธุ์ มีอวัยวะเฉพาะสำหรับจัดเก็บข้อมูลและประมวลผล (เช่น ระบบที่ถอดรหัสสัญญาณภาพและการได้ยินที่มาจากโลกภายนอกก่อนส่งไปยังสมอง ระบบสำหรับประมวลผลสัญญาณเหล่านี้ในสมอง) เครือข่ายการสื่อสารข้อมูลที่ซับซ้อนที่สุด ( ระบบประสาท) แทรกซึมและเปลี่ยนสิ่งมีชีวิตหลายเซลล์ทั้งหมดเป็นทั้งหมด
ข้อมูลและเอนโทรปี
เมื่อพูดถึงแนวคิดของข้อมูล เป็นไปไม่ได้ที่จะไม่แตะต้องแนวคิดอื่นที่เกี่ยวข้อง นั่นคือ เอนโทรปี เป็นครั้งแรกที่ K. Shannon เชื่อมโยงแนวคิดของเอนโทรปีและข้อมูลเข้าด้วยกัน
| โคล้ด เอลวูด แชนนอน ( โคล้ด เอลวูด แชนนอน) พ.ศ. 2459-2544 - ญาติห่างๆ ของโธมัส เอดิสัน วิศวกรและนักคณิตศาสตร์ชาวอเมริกัน เป็นพนักงานของ Bell Laboratories ตั้งแต่ปี พ.ศ. 2484 ถึง พ.ศ. 2515 ในงานของเขา "ทฤษฎีการสื่อสารทางคณิตศาสตร์" (http://cm.bell-labs. com/cm/ms /what/shannonday/) ซึ่งตีพิมพ์ในปี 1948 เป็นคนแรกที่กำหนดการวัดเนื้อหาข้อมูลของข้อความใดๆ และแนวคิดของควอนตัมข้อมูล - เล็กน้อย แนวคิดเหล่านี้เป็นพื้นฐานของทฤษฎีการสื่อสารดิจิทัลสมัยใหม่ งานอื่น ๆ ของแชนนอน "ทฤษฎีการสื่อสารของระบบความลับ" ตีพิมพ์ในปี 2492 มีส่วนช่วยในการแปลงการเข้ารหัสเป็น ระเบียบวินัยทางวิทยาศาสตร์. เขาเป็นผู้ก่อตั้ง ทฤษฎีสารสนเทศซึ่งพบการประยุกต์ใช้ในระบบการสื่อสารที่มีเทคโนโลยีสูงสมัยใหม่ แชนนอนมีส่วนร่วมอย่างมากในทฤษฎีโครงร่างความน่าจะเป็น ทฤษฎีออโตมาตา และทฤษฎีระบบควบคุม - วิทยาศาสตร์ที่รวมเป็นหนึ่งด้วยแนวคิดของ "ไซเบอร์เนติกส์" |
ความหมายทางกายภาพของเอนโทรปี
เป็นครั้งแรกที่คลอสเซียสได้นำเสนอแนวคิดเรื่องเอนโทรปีในปี พ.ศ. 2408 โดยเป็นฟังก์ชันของสถานะทางอุณหพลศาสตร์ของระบบ
โดยที่ Q คือความร้อน T คืออุณหภูมิ
ความหมายทางกายภาพของเอนโทรปีแสดงให้เห็นว่าเป็นส่วนหนึ่งของพลังงานภายในของระบบซึ่งไม่สามารถเปลี่ยนเป็นงานได้ คลอสเซียสได้รับฟังก์ชันนี้โดยการทดลองกับก๊าซ
L. Boltzmann (1872) โดยวิธีการ ฟิสิกส์เชิงสถิติได้รับนิพจน์ทางทฤษฎีสำหรับเอนโทรปี
โดยที่ K เป็นค่าคงที่ W คือความน่าจะเป็นทางอุณหพลศาสตร์ (จำนวนการเรียงสับเปลี่ยนของโมเลกุลของก๊าซในอุดมคติที่ไม่ส่งผลต่อสถานะมหภาคของระบบ)
เอนโทรปีของ Boltzmann ได้รับมาสำหรับก๊าซในอุดมคติและถือเป็นการวัดความไม่เป็นระเบียบ ซึ่งเป็นการวัดความโกลาหลของระบบ สำหรับก๊าซในอุดมคติ เอนโทรปีของ Boltzmann และ Clausius จะเหมือนกัน สูตรของ Boltzmann โด่งดังมากจนถูกจารึกไว้บนหลุมฝังศพของเขา มีความเห็นว่าเอนโทรปีและความโกลาหลเป็นหนึ่งเดียวกัน แม้ว่าเอนโทรปีจะอธิบายเท่านั้น ก๊าซในอุดมคติมันเริ่มถูกใช้อย่างไร้เหตุผลเพื่ออธิบายวัตถุที่ซับซ้อนมากขึ้น
Boltzmann เองในปี 1886 พยายามใช้เอนโทรปีอธิบายว่าชีวิตคืออะไร ตามคำกล่าวของ Boltzmann ชีวิตคือปรากฏการณ์ที่สามารถลดเอนโทรปีของมันได้ Boltzmann และผู้ติดตามของเขากล่าวว่ากระบวนการทั้งหมดในจักรวาลกำลังเปลี่ยนแปลงไปในทิศทางของความโกลาหล จักรวาลกำลังมุ่งสู่ความตายด้วยความร้อน การคาดการณ์ที่มืดมนนี้ครอบงำวิทยาศาสตร์มาเป็นเวลานาน อย่างไรก็ตามความรู้ที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับโลกรอบตัวค่อยๆสั่นคลอนความเชื่อนี้
คลาสสิกไม่ได้เชื่อมโยงเอนโทรปีกับข้อมูล.
เอนโทรปีเป็นตัววัดข้อมูล
โปรดทราบว่าแนวคิดของ "ข้อมูล" มักถูกตีความว่าเป็น "ข้อมูล" และการถ่ายโอนข้อมูลจะดำเนินการด้วยความช่วยเหลือของการสื่อสาร K. Shannon ถือว่าเอนโทรปีเป็นตัวชี้วัด ข้อมูลที่เป็นประโยชน์ในกระบวนการส่งสัญญาณผ่านสาย
ในการคำนวณเอนโทรปี แชนนอนเสนอสมการที่คล้ายกับนิพจน์คลาสสิกสำหรับเอนโทรปีที่พบโดย Boltzmann เราพิจารณาเหตุการณ์สุ่มที่เป็นอิสระ xด้วย N สถานะที่เป็นไปได้และ p i -ความน่าจะเป็นของสถานะ i-th จากนั้นเอนโทรปีของเหตุการณ์ x
ปริมาณนี้เรียกอีกอย่างว่าเอนโทรปีเฉลี่ย ตัวอย่างเช่น เราสามารถพูดคุยเกี่ยวกับการส่งข้อความในภาษาธรรมชาติ เมื่อส่งจดหมายที่แตกต่างกัน เราส่งข้อมูลในปริมาณที่แตกต่างกัน จำนวนข้อมูลต่อจดหมายจะสัมพันธ์กับความถี่ของการใช้จดหมายนี้ในข้อความทั้งหมดที่เกิดขึ้นในภาษานั้น ยิ่งจดหมายที่เราส่งหายากเท่าใด ข้อมูลก็ยิ่งมีมากขึ้นเท่านั้น
ค่า
H i = P i log 2 1/P i = -P i log 2 P i ,
เรียกว่าเอนโทรปีส่วนตัวที่แสดงเฉพาะสถานะ ith
ลองอธิบายด้วยตัวอย่าง. เมื่อโยนเหรียญออกหัวหรือก้อย นี่คือข้อมูลบางอย่างเกี่ยวกับผลลัพธ์ของการโยน
สำหรับเหรียญ จำนวนความเป็นไปได้ที่เท่าเทียมกันคือ N = 2 ความน่าจะเป็นที่จะออกหัว (ก้อย) คือ 1/2
เมื่อโยนลูกเต๋า เราได้รับข้อมูลเกี่ยวกับการสูญเสียคะแนนจำนวนหนึ่ง (เช่น สาม) เราจะได้รับข้อมูลเพิ่มเติมเมื่อใด
สำหรับลูกเต๋า จำนวนความเป็นไปได้ที่เท่าเทียมกันคือ N = 6 ความน่าจะเป็นที่จะได้สามแต้มของลูกเต๋าคือ 1/6 เอนโทรปีคือ 2.58 การใช้เหตุการณ์ที่มีโอกาสน้อยจะให้ข้อมูลเพิ่มเติม ยิ่งความไม่แน่นอนมากขึ้นก่อนที่จะได้รับข้อความเกี่ยวกับเหตุการณ์ (การโยนเหรียญ ลูกเต๋า) ยิ่งได้รับข้อมูลมากขึ้นเมื่อได้รับข้อความ
วิธีการนี้ในการแสดงออกเชิงปริมาณของข้อมูลยังห่างไกลจากความเป็นสากล เนื่องจากหน่วยที่นำมาใช้ไม่ได้คำนึงถึงคุณสมบัติที่สำคัญของข้อมูลเช่นเดียวกับคุณค่าและความหมายของมัน สิ่งที่เป็นนามธรรมจากคุณสมบัติเฉพาะของข้อมูล (ความหมาย, มูลค่า) เกี่ยวกับวัตถุจริง, ตามที่ปรากฏในภายหลัง, ทำให้สามารถระบุได้ รูปแบบทั่วไปข้อมูล. หน่วย (บิต) ที่ Shannon เสนอสำหรับการวัดปริมาณข้อมูลนั้นเหมาะสำหรับการประเมินข้อความใดๆ (การเกิดของลูกชาย ผลการแข่งขันกีฬา ฯลฯ) ต่อจากนั้น มีความพยายามที่จะหามาตรการดังกล่าวของจำนวนข้อมูลที่จะคำนึงถึงคุณค่าและความหมายของมัน อย่างไรก็ตาม ความเป็นสากลหายไปทันที: สำหรับกระบวนการต่างๆ เกณฑ์ของคุณค่าและความหมายจะแตกต่างกัน นอกจากนี้ คำจำกัดความของความหมายและคุณค่าของข้อมูลยังเป็นอัตวิสัย ในขณะที่การวัดข้อมูลที่เสนอโดยแชนนอนนั้นมีวัตถุประสงค์ ตัวอย่างเช่น กลิ่นนำพาข้อมูลจำนวนมากสำหรับสัตว์ แต่เป็นสิ่งที่เข้าใจยากสำหรับมนุษย์ หูของมนุษย์ไม่รับรู้สัญญาณอัลตราโซนิก แต่มีข้อมูลจำนวนมากสำหรับปลาโลมา ฯลฯ ดังนั้นการวัดข้อมูลที่เสนอโดยแชนนอนจึงเหมาะสำหรับการศึกษากระบวนการข้อมูลทุกประเภทโดยไม่คำนึงถึง "รสนิยม" ของข้อมูล ผู้บริโภค.
ข้อมูลการวัด
จากวิชาฟิสิกส์ คุณรู้แล้วว่าก่อนที่จะวัดค่าของสิ่งใดๆ ปริมาณทางกายภาพป้อนหน่วยวัด ข้อมูลยังมีหน่วยดังกล่าว - เล็กน้อย แต่ความหมายนั้นแตกต่างกันสำหรับแนวทางต่าง ๆ ในคำจำกัดความของแนวคิดของ "ข้อมูล"
มีหลายวิธีในการแก้ปัญหาข้อมูลการวัด
“ข้อมูลคือรูปแบบหนึ่งของชีวิต” จอห์น เพอร์รี บาร์โลว์ กวีและนักเขียนเรียงความชาวอเมริกันเขียนไว้ เรามักจะเจอคำว่า "ข้อมูล" อยู่เสมอ - มันถูกรับ ส่ง และจัดเก็บ ค้นหาการพยากรณ์อากาศหรือผลการแข่งขันฟุตบอล เนื้อหาของภาพยนตร์หรือหนังสือ พูดคุยทางโทรศัพท์ - ชัดเจนเสมอว่าเรากำลังจัดการกับข้อมูลประเภทใด แต่ข้อมูลคืออะไรและที่สำคัญที่สุด - จะวัดได้อย่างไรไม่มีใครคิด ในขณะเดียวกัน ข้อมูลและวิธีการส่งผ่านเป็นสิ่งสำคัญที่กำหนดชีวิตของเราเป็นส่วนใหญ่ ซึ่งเป็นส่วนสำคัญที่กลายเป็น เทคโนโลยีสารสนเทศ. บรรณาธิการด้านวิทยาศาสตร์ของ Laba.Media Vladimir Gubailovsky อธิบายว่าข้อมูลคืออะไร วิธีการวัด และทำไมสิ่งที่ยากที่สุดคือการส่งข้อมูลโดยไม่บิดเบือน
พื้นที่ของเหตุการณ์สุ่ม
ในปี 1946 John Tukey นักสถิติชาวอเมริกันเสนอชื่อ BIT (BIT, BInary digiT - "เลขฐานสอง" - "ไฮเทค") ซึ่งเป็นหนึ่งในแนวคิดหลักของศตวรรษที่ 20 Tukey เลือกบิตเพื่อแสดงเลขฐานสองหลักเดียวที่สามารถรับค่า 0 หรือ 1 ได้ Claude Shannon ในบทความหลักของเขาเรื่อง "The Mathematical Theory of Communication" เสนอให้วัดจำนวนข้อมูลเป็นบิต แต่นี่ไม่ใช่แนวคิดเดียวที่แนะนำและสำรวจโดยแชนนอนในเอกสารของเขา
ลองนึกภาพพื้นที่ของเหตุการณ์สุ่มที่ประกอบด้วยการโยนเหรียญปลอมหนึ่งเหรียญที่มีหัวทั้งสองด้าน อินทรีตกเมื่อใด ชัดเจนเสมอว่า เรารู้เรื่องนี้ล่วงหน้าเพราะนี่คือวิธีการจัดพื้นที่ของเรา การได้หัวเป็นเหตุการณ์หนึ่ง นั่นคือ ความน่าจะเป็นของมันคือ 1 เราจะรายงานข้อมูลมากเพียงใดหากเราพูดถึงการล้มหัว เลขที่ เราจะถือว่าจำนวนข้อมูลในข้อความดังกล่าวเป็น 0
ทีนี้มาโยนเหรียญที่ถูกต้อง: มันมีหัวอยู่ด้านหนึ่งและอีกด้านหนึ่งตามที่ควรจะเป็น การออกหัวหรือก้อยจะเป็นสองเหตุการณ์ที่แตกต่างกันซึ่งประกอบกันเป็นเหตุการณ์สุ่มของเรา หากเรารายงานผลของการโยนหนึ่งครั้ง นี่จะเป็นข้อมูลใหม่ ส่วนหัวเราจะรายงาน 0 และส่วนท้ายเราจะรายงาน 1 เพื่อรายงานข้อมูลนี้ เราต้องการเพียง 1 บิตเท่านั้น
อะไรเปลี่ยนไป? ความไม่แน่นอนปรากฏขึ้นในพื้นที่จัดงานของเรา เรามีบางอย่างที่จะบอกเกี่ยวกับเรื่องนี้กับคนที่ไม่ได้โยนเหรียญด้วยตัวเองและไม่เห็นผลลัพธ์ของการโยน แต่เพื่อให้เข้าใจข้อความของเราอย่างถูกต้อง จะต้องรู้แน่ชัดว่าเรากำลังทำอะไร 0 และ 1 หมายถึงอะไร พื้นที่เหตุการณ์ของเราต้องตรงกันและกระบวนการถอดรหัสต้องกู้คืนผลลัพธ์ของการโยนอย่างชัดเจน หากพื้นที่เหตุการณ์ของการส่งและรับไม่ตรงกันหรือไม่มีความเป็นไปได้ในการถอดรหัสข้อความที่ชัดเจน ข้อมูลจะคงอยู่เพียงสัญญาณรบกวนในช่องทางการสื่อสาร
หากโยนเหรียญสองเหรียญโดยอิสระและพร้อมกัน จะมีผลลัพธ์ที่เป็นไปได้สี่อย่างเท่าๆ กัน: หัว-หัว, หัว-ก้อย, ก้อย-หัว และก้อย-ก้อย ในการส่งข้อมูลเราต้องการ 2 บิตแล้วและข้อความของเราจะเป็นดังนี้: 00, 01, 10 และ 11 ข้อมูลกลายเป็นสองเท่า สิ่งนี้เกิดขึ้นเนื่องจากความไม่แน่นอนเพิ่มขึ้น หากเราพยายามเดาผลลัพธ์ของการโยนสองครั้ง เรามีโอกาสผิดพลาดเป็นสองเท่า
ยิ่งพื้นที่เหตุการณ์มีความไม่แน่นอนมากเท่าใด ข้อความเกี่ยวกับสถานะของพื้นที่ก็ยิ่งมีข้อมูลมากขึ้นเท่านั้น
มาทำให้พื้นที่จัดงานของเราซับซ้อนขึ้นสักหน่อย จนถึงตอนนี้ เหตุการณ์ทั้งหมดที่เกิดขึ้นมีความเป็นไปได้เท่าเทียมกัน แต่ในพื้นที่จริง ไม่ใช่ทุกเหตุการณ์ที่มีความน่าจะเป็นเท่ากัน สมมติว่าความน่าจะเป็นที่อีกาที่เราเห็นจะเป็นสีดำนั้นมีค่าใกล้เคียง 1 ความน่าจะเป็นที่ผู้เดินผ่านคนแรกที่เราพบบนถนนจะเป็นผู้ชายคือประมาณ 0.5 แต่การพบกับจระเข้บนถนนในมอสโกนั้นแทบไม่น่าเชื่อ โดยสัญชาตญาณ เราเข้าใจว่าข้อความเกี่ยวกับการพบปะกับจระเข้มีค่าทางข้อมูลมากกว่าอีกาดำ ความน่าจะเป็นของเหตุการณ์ยิ่งต่ำ ข้อมูลเกี่ยวกับเหตุการณ์ดังกล่าวก็จะยิ่งมากขึ้นในข้อความ
ให้พื้นที่จัดงานไม่แปลกใหม่ เราแค่ยืนอยู่ที่หน้าต่างและมองดูรถที่วิ่งผ่านไปมา รถสี่สีวิ่งผ่านซึ่งเราต้องรายงาน ในการทำเช่นนี้เราเข้ารหัสสี: ดำ - 00, ขาว - 01, แดง - 10, น้ำเงิน - 11 เพื่อรายงานว่ารถคันใดผ่านไปเราเพียงแค่ส่งข้อมูล 2 บิต
แต่เมื่อดูรถเป็นเวลานานเราสังเกตเห็นว่าสีของรถมีการกระจายไม่สม่ำเสมอ: สีดำ - 50% (ทุกวินาที), สีขาว - 25% (ทุก ๆ สี่), สีแดงและสีน้ำเงิน - 12.5% ต่อคัน ( ทุกแปด). จากนั้นคุณสามารถเพิ่มประสิทธิภาพข้อมูลที่ส่งได้
รถส่วนใหญ่เป็นสีดำ เรียกสีดำ - 0 - รหัสที่สั้นที่สุด และให้รหัสของคันอื่นเริ่มที่ 1 ของครึ่งที่เหลือ สีขาว - 10 และสีที่เหลือเริ่มที่ 11 สุดท้าย โทรสีแดง - 110 และสีน้ำเงิน - 111
ตอนนี้การส่งผ่านข้อมูลเกี่ยวกับสีของรถยนต์ เราสามารถเข้ารหัสได้หนาแน่นยิ่งขึ้น
เอนโทรปีตามแชนนอน
ให้พื้นที่จัดงานของเราประกอบด้วย n กิจกรรมที่แตกต่างกัน เมื่อโยนเหรียญสองหัวจะมีเหตุการณ์หนึ่งเกิดขึ้นเมื่อโยนเหรียญที่ถูกต้องหนึ่งเหรียญ - 2 เมื่อโยนเหรียญสองเหรียญหรือดูรถ - 4 แต่ละเหตุการณ์สอดคล้องกับความน่าจะเป็นที่จะเกิดขึ้น เมื่อโยนเหรียญสองหัว จะมีเหตุการณ์เดียว (หัว) และความน่าจะเป็นของมันคือ p1 = 1 เมื่อโยนเหรียญที่ถูกต้อง จะมีสองเหตุการณ์ ซึ่งมีโอกาสเท่ากันและความน่าจะเป็นของแต่ละเหตุการณ์คือ 0.5: p1 = 0.5, p2 = 0.5 เมื่อทอยเหรียญที่ถูกต้อง 2 เหรียญ จะมีเหตุการณ์ 4 เหตุการณ์ ซึ่งทั้งหมดมีความน่าจะเป็นเท่าๆ กัน และความน่าจะเป็นของแต่ละเหตุการณ์คือ 0.25: p1 = 0.25, p2 = 0.25, p3 = 0.25, p4 = 0.25 เมื่อสังเกตรถยนต์มีสี่เหตุการณ์และมีความน่าจะเป็นต่างกัน: ดำ - 0.5, ขาว - 0.25, แดง - 0.125, น้ำเงิน - 0.125: p1 = 0.5, p2 = 0.25, p3 = 0.125, p4 = 0.125
นี่ไม่ใช่เรื่องบังเอิญ แชนนอนเลือกเอนโทรปี (การวัดความไม่แน่นอนในพื้นที่เหตุการณ์) ในลักษณะที่ตรงตามเงื่อนไขสามประการ:
- 1เอนโทรปีของเหตุการณ์หนึ่งที่มีความน่าจะเป็น 1 คือ 0
- เอนโทรปีของสองเหตุการณ์อิสระจะเท่ากับผลรวมของเอนโทรปีของเหตุการณ์เหล่านี้
- เอนโทรปีจะสูงสุดหากเหตุการณ์ทั้งหมดมีโอกาสเท่ากัน
ข้อกำหนดทั้งหมดนี้ค่อนข้างสอดคล้องกับแนวคิดของเราเกี่ยวกับความไม่แน่นอนของพื้นที่จัดงาน หากมีเพียงเหตุการณ์เดียว (ตัวอย่างแรก) แสดงว่าไม่มีความไม่แน่นอน หากเหตุการณ์ไม่ขึ้นต่อกัน - ความไม่แน่นอนของผลรวมจะเท่ากับผลรวมของความไม่แน่นอน - จะรวมกัน (ตัวอย่างด้วยการโยนเหรียญสองเหรียญ) และสุดท้าย หากเหตุการณ์ทั้งหมดมีความเป็นไปได้เท่าๆ กัน ระดับความไม่แน่นอนของระบบก็จะสูงสุด ในกรณีของการโยนเหรียญสองเหรียญ เหตุการณ์ทั้งสี่มีโอกาสเท่าๆ กัน และเอนโทรปีเท่ากับ 2 ซึ่งมากกว่าในกรณีของรถยนต์ เมื่อมีสี่เหตุการณ์เช่นกัน แต่มีความน่าจะเป็นต่างกัน ในกรณีนี้ เอนโทรปี คือ 1.75
ค่าของ H มีบทบาทสำคัญในทฤษฎีสารสนเทศ โดยเป็นการวัดปริมาณของข้อมูล ทางเลือก และความไม่แน่นอน
คลอดด์ แชนนอน
โคล้ด เอลวูด แชนนอน- วิศวกรชาวอเมริกัน นักวิทยาการเข้ารหัสลับ และนักคณิตศาสตร์ ถือเป็น "บิดาแห่งยุคข้อมูลข่าวสาร". ผู้ก่อตั้งทฤษฎีสารสนเทศซึ่งพบการประยุกต์ใช้ในระบบการสื่อสารที่มีเทคโนโลยีสูงสมัยใหม่ เขาให้แนวคิดพื้นฐาน แนวคิดและสูตรทางคณิตศาสตร์ ซึ่งปัจจุบันเป็นพื้นฐานสำหรับเทคโนโลยีการสื่อสารสมัยใหม่
ในปี 1948 เขาเสนอให้ใช้คำว่า "บิต" เพื่ออ้างถึงหน่วยข้อมูลที่เล็กที่สุด นอกจากนี้เขายังแสดงให้เห็นว่าเอนโทรปีที่เขาแนะนำนั้นเทียบเท่ากับการวัดความไม่แน่นอนของข้อมูลในข้อความที่ส่ง บทความของแชนนอนเรื่อง "ทฤษฎีการสื่อสารทางคณิตศาสตร์" และ "ทฤษฎีการสื่อสารในระบบลับ" ถือเป็นพื้นฐานของทฤษฎีข้อมูลและการเข้ารหัส
ในช่วงสงครามโลกครั้งที่ 2 แชนนอนได้พัฒนาระบบการเข้ารหัสที่ Bell Laboratories ซึ่งต่อมาช่วยให้เขาค้นพบวิธีการแก้ไขการเข้ารหัสที่ผิดพลาด
แชนนอนมีส่วนสำคัญในทฤษฎีโครงร่างความน่าจะเป็น ทฤษฎีเกม ทฤษฎีออโตมาตา และทฤษฎีระบบควบคุม ซึ่งเป็นสาขาของวิทยาศาสตร์ที่รวมอยู่ในแนวคิดของ "ไซเบอร์เนติกส์"
การเข้ารหัส
ทั้งเหรียญที่โยนและรถที่วิ่งผ่านไปนั้นไม่เหมือนเลข 0 และ 1 เพื่อที่จะสื่อสารเหตุการณ์ที่เกิดขึ้นในช่องว่าง เราต้องหาวิธีอธิบายเหตุการณ์เหล่านี้ คำอธิบายนี้เรียกว่าการเข้ารหัส
ข้อความสามารถเข้ารหัสได้ไม่จำกัด วิธีทางที่แตกต่าง. แต่แชนนอนแสดงให้เห็นว่ารหัสที่สั้นที่สุดจะต้องไม่น้อยไปกว่าเอนโทรปี
นั่นคือเหตุผลที่เอนโทรปีของข้อความเป็นตัววัดข้อมูลในข้อความ เนื่องจากในทุกกรณีถือว่าจำนวนบิตในการเข้ารหัสเท่ากับเอนโทรปี หมายความว่าการเข้ารหัสนั้นเหมาะสมที่สุด กล่าวโดยสรุปคือ เราไม่สามารถเข้ารหัสข้อความเกี่ยวกับกิจกรรมในพื้นที่ของเราได้อีกต่อไป
ด้วยการเข้ารหัสที่ดีที่สุด บิตที่ส่งผ่านจะไม่สูญหายหรือบิดเบี้ยวในข้อความ หากอย่างน้อยหนึ่งบิตหายไป ข้อมูลก็จะผิดเพี้ยนไป แต่ช่องทางการสื่อสารที่แท้จริงทั้งหมดไม่ได้ให้ความมั่นใจ 100% ว่าข้อความทั้งหมดจะถึงผู้รับโดยไม่ถูกบิดเบือน
เพื่อขจัดปัญหานี้ จำเป็นต้องทำให้โค้ดไม่เหมาะสม แต่ซ้ำซ้อน ตัวอย่างเช่น ในการส่งพร้อมกับข้อความ ผลรวมตรวจสอบ - ค่าที่คำนวณเป็นพิเศษที่ได้รับจากการแปลงรหัสข้อความ และสามารถตรวจสอบได้โดยการคำนวณใหม่เมื่อได้รับข้อความ หากผลรวมการตรวจสอบที่ส่งตรงกับที่คำนวณไว้ ความน่าจะเป็นที่การส่งจะผ่านโดยไม่มีข้อผิดพลาดจะค่อนข้างสูง และหากผลรวมตรวจสอบไม่ตรงกัน คุณต้องขอการส่งข้อมูลใหม่ นี่คือวิธีการทำงานของช่องทางการสื่อสารส่วนใหญ่ในปัจจุบัน เช่น เมื่อส่งแพ็กเก็ตข้อมูลทางอินเทอร์เน็ต
ข้อความภาษาธรรมชาติ
พิจารณาพื้นที่จัดงานซึ่งประกอบด้วยข้อความในภาษาธรรมชาติ นี่เป็นกรณีพิเศษ แต่เป็นหนึ่งในสิ่งที่สำคัญที่สุด เหตุการณ์ที่นี่จะเป็นอักขระที่ส่ง (ตัวอักษรของตัวอักษรตายตัว) อักขระเหล่านี้เกิดขึ้นในภาษาที่มีความน่าจะเป็นต่างกัน
สัญลักษณ์ที่พบบ่อยที่สุด (นั่นคือสัญลักษณ์ที่พบมากที่สุดในข้อความทั้งหมดที่เขียนเป็นภาษารัสเซีย) คือช่องว่าง: จากหนึ่งพันตัวอักษร ช่องว่างเฉลี่ยเกิดขึ้น 175 ครั้ง บ่อยที่สุดเป็นอันดับสองคือสัญลักษณ์ "o" - 90 ตามด้วยสระอื่น: "e" (หรือ "ё" - เราจะไม่แยกแยะ) - 72, "a" - 62, "i" - 62 และเท่านั้น ต่อมาพยัญชนะตัวแรก "t" คือ 53 และ "f" ที่หายากที่สุด - สัญลักษณ์นี้เกิดขึ้นเพียงสองครั้งต่อหนึ่งพันอักขระ
เราจะใช้ตัวอักษร 31 ตัวของภาษารัสเซีย (ไม่แตกต่างกันระหว่าง "e" และ "e" เช่นเดียวกับ "b" และ "b") หากพบตัวอักษรทั้งหมดในภาษาที่มีความน่าจะเป็นเท่ากัน เอนโทรปีต่ออักขระจะเป็น H = 5 บิต แต่ถ้าเราคำนึงถึงความถี่ของอักขระจริง เอนโทรปีจะน้อยกว่า: H = 4.35 บิต (น้อยกว่าการเข้ารหัสแบบดั้งเดิมเกือบสองเท่าเมื่ออักขระถูกส่งเป็นไบต์ - 8 บิต)
แต่เอนโทรปีของอักขระในภาษานั้นต่ำกว่า ความน่าจะเป็นของอักขระตัวต่อไปที่ปรากฏไม่ได้ถูกกำหนดโดยความถี่เฉลี่ยของอักขระในข้อความทั้งหมด อักขระใดต่อไปนี้ขึ้นอยู่กับอักขระที่ส่งไปแล้ว ตัวอย่างเช่นในภาษารัสเซียสมัยใหม่ไม่สามารถตามหลังสัญลักษณ์ "ъ" ของเสียงพยัญชนะได้ หลังจากสระสองตัวติดกัน "e" สระตัวที่สาม "e" นั้นหายากมาก ยกเว้นในคำว่า "คอยาว" นั่นคือตัวละครตัวต่อไปถูกกำหนดไว้แล้ว หากเราคำนึงถึงการกำหนดล่วงหน้าของสัญลักษณ์ถัดไป ความไม่แน่นอน (เช่น ข้อมูล) ของสัญลักษณ์ถัดไปจะน้อยกว่า 4.35 ด้วยซ้ำ ตามการประมาณการอักขระตัวถัดไปในภาษารัสเซียถูกกำหนดโดยโครงสร้างของภาษามากกว่า 50% นั่นคือด้วยการเข้ารหัสที่ดีที่สุด ข้อมูลทั้งหมดสามารถส่งได้โดยการลบตัวอักษรครึ่งหนึ่งออกจากข้อความ
อีกสิ่งหนึ่งคือไม่ใช่ทุกตัวอักษรที่สามารถขีดฆ่าได้อย่างไม่ลำบาก ตัวอย่างเช่น ความถี่สูง "o" (และสระทั่วไป) นั้นง่ายต่อการขีดฆ่า แต่ "f" หรือ "e" ที่หายากนั้นค่อนข้างเป็นปัญหา
ภาษาธรรมชาติที่เราสื่อสารกันนั้นซ้ำซ้อนอย่างมาก ดังนั้นจึงเชื่อถือได้ หากเราพลาดบางสิ่งไป - อย่ากลัวเลย ข้อมูลจะยังคงถูกส่งต่อไป
แต่จนกระทั่งแชนนอนแนะนำข้อมูลจำนวนหนึ่ง เราไม่สามารถเข้าใจได้ว่าภาษานั้นซ้ำซ้อน และเราสามารถบีบอัดข้อความได้มากน้อยเพียงใด (และเหตุใดไฟล์ข้อความจึงถูกบีบอัดโดยผู้จัดเก็บ)
ความซ้ำซ้อนของภาษาธรรมชาติ
ในบทความ "เกี่ยวกับวิธีที่เราเขียนข้อความ" (ชื่อเรื่องดูเหมือนอย่างนั้น!) ส่วนหนึ่งของนวนิยายของ Ivan Turgenev " โนเบิลเนสท์” และขึ้นอยู่กับการเปลี่ยนแปลง: 34% ของตัวอักษรถูกลบออกจากแฟรกเมนต์ แต่ไม่ใช่แบบสุ่ม เหลือตัวอักษรตัวแรกและตัวสุดท้ายในคำ ลบเฉพาะสระ ไม่ใช่ทั้งหมด เป้าหมายไม่ใช่เพียงเพื่อให้สามารถกู้คืนข้อมูลทั้งหมดจากข้อความที่แปลงแล้ว แต่ยังเพื่อให้แน่ใจว่าบุคคลที่อ่านข้อความนี้จะไม่ประสบปัญหาพิเศษใดๆ เนื่องจากการละเว้นจดหมาย
เหตุใดจึงค่อนข้างง่ายที่จะอ่านข้อความที่เสียหายนี้ มันมีอยู่จริง ข้อมูลที่จำเป็นเพื่อกู้คืนทั้งคำ เจ้าของภาษารัสเซียมีเหตุการณ์บางอย่าง (คำและทั้งประโยค) ที่เขาใช้ในการจดจำ นอกจากนี้ผู้ให้บริการยังมีโครงสร้างภาษามาตรฐานที่ช่วยให้เขากู้คืนข้อมูล ตัวอย่างเช่น, "เธอมีความสุขมากขึ้น"- มีโอกาสสูงที่จะอ่านเป็น "เธออ่อนไหวมากขึ้น". แต่ประโยคเดียว "เธอดีขึ้น"ค่อนข้างจะได้รับการกู้คืนเป็น "เธอขาวขึ้น". เนื่องจากในการสื่อสารทุกวันเราจัดการกับช่องทางที่มีเสียงรบกวนและการรบกวนเราจึงค่อนข้างดีในการกู้คืนข้อมูล แต่เฉพาะสิ่งที่เรารู้ล่วงหน้าเท่านั้น ตัวอย่างเช่นวลี “ปีศาจของเธออยู่ไม่ไกลจากที่น่าพอใจแม้ว่าพวกมันจะสั่นไหวและรวมกันเป็นจำนวนมาก”อ่านได้ดียกเว้นคำสุดท้าย "splls" - "ผสาน". คำนี้ไม่อยู่ในพจนานุกรมสมัยใหม่ ที่ อ่านความเร็วคำ "สาด"มันอ่านว่า "ติดกัน" มากกว่าด้วยอันที่ช้ามันทำให้ยุ่งเหยิง
การแปลงสัญญาณเป็นดิจิทัล
เสียงหรือการสั่นสะเทือนทางเสียงเป็นไซน์ไซด์ ซึ่งสามารถเห็นได้บนหน้าจอตัวแก้ไขเสียง ในการถ่ายทอดเสียงอย่างแม่นยำคุณต้องมีค่าเป็นจำนวนไม่สิ้นสุด - ไซน์ไซด์ทั้งหมด เป็นไปได้ด้วยการเชื่อมต่อแบบอะนาล็อก เขาร้องเพลง - คุณฟัง การติดต่อจะไม่ถูกขัดจังหวะตราบใดที่เพลงยังคงอยู่
ด้วยการสื่อสารแบบดิจิทัลผ่านช่องสัญญาณ เราสามารถส่งค่าได้เพียงจำนวนจำกัดเท่านั้น นี่หมายความว่าไม่สามารถส่งเสียงได้อย่างถูกต้องหรือไม่? ปรากฎว่าไม่
เสียงที่แตกต่างกันคือไซน์ซอยด์ที่มอดูเลตต่างกัน เราส่งเฉพาะค่าที่ไม่ต่อเนื่อง (ความถี่และแอมพลิจูด) และไม่จำเป็นต้องส่งไซน์ไซด์เอง - สามารถสร้างขึ้นโดยอุปกรณ์รับ มันสร้างไซน์ไซด์และปรับใช้กับมัน สร้างขึ้นจากค่าที่ส่งผ่านช่องทางการสื่อสาร มีหลักการที่แน่นอนว่าจะต้องส่งค่าที่ไม่ต่อเนื่องเพื่อให้เสียงที่อินพุตไปยังช่องสื่อสารนั้นตรงกับเสียงที่เอาต์พุตโดยที่ค่าเหล่านี้จะถูกทับบนไซน์ไซด์มาตรฐานบางตัว (นี่เป็นเพียงทฤษฎีบท Kotelnikov ).
ทฤษฎีบทของ Kotelnikov (ในวรรณคดีอังกฤษ - ทฤษฎีบท Nyquist-Shannon, ทฤษฎีบทการสุ่มตัวอย่าง)- ข้อความพื้นฐานในด้านการประมวลผลสัญญาณดิจิทัลที่เกี่ยวข้องกับสัญญาณต่อเนื่องและไม่ต่อเนื่อง และระบุว่า "ฟังก์ชัน F (t) ใดๆ ที่ประกอบด้วยความถี่ตั้งแต่ 0 ถึง f1 สามารถส่งอย่างต่อเนื่องด้วยความแม่นยำโดยใช้ตัวเลขต่อเนื่องกันจนถึง 1 /( 2*f1) วินาที
การเข้ารหัสการแก้ไขเสียงรบกวน ตอกโค้ด
หากข้อความที่เข้ารหัสของ Ivan Turgenev ถูกส่งผ่านช่องทางที่ไม่น่าเชื่อถือ แม้ว่าจะมีข้อผิดพลาดจำนวนหนึ่ง แต่ก็จะได้ข้อความที่มีความหมายสมบูรณ์ แต่ถ้าเราจำเป็นต้องส่งทุกอย่างภายในบิต ปัญหาจะไม่ได้รับการแก้ไข: เราไม่รู้ว่าบิตใดผิด เนื่องจากข้อผิดพลาดนั้นเกิดขึ้นแบบสุ่ม แม้แต่การตรวจสอบก็ไม่ได้บันทึกเสมอไป
นั่นคือเหตุผลที่ทุกวันนี้เมื่อส่งข้อมูลผ่านเครือข่ายพวกเขาพยายามไม่มากสำหรับการเข้ารหัสที่เหมาะสมที่สุดซึ่งสามารถส่งข้อมูลจำนวนสูงสุดไปยังช่องสัญญาณได้ แต่สำหรับการเข้ารหัสดังกล่าว (ซ้ำซ้อนอย่างเห็นได้ชัด) ซึ่งสามารถกู้คืนข้อผิดพลาดได้ - ประมาณ ในขณะที่เราเรียกคืนคำในการอ่านเมื่อชิ้นส่วนของ Ivan Turgenev
มีรหัสแก้ไขข้อผิดพลาดพิเศษที่อนุญาตให้คุณกู้คืนข้อมูลหลังจากเกิดข้อผิดพลาด หนึ่งในนั้นคือรหัสแฮมมิ่ง สมมติว่าภาษาทั้งหมดของเราประกอบด้วยคำสามคำ: 111,000, 001110, 100011 ทั้งแหล่งที่มาของข้อความและผู้รับรู้คำเหล่านี้ และเรารู้ว่าข้อผิดพลาดเกิดขึ้นในช่องทางการสื่อสาร แต่เมื่อส่งคำเดียว ข้อมูลไม่เกินหนึ่งบิตจะถูกบิดเบือน
สมมติว่าเราผ่านคำว่า 111000 เป็นครั้งแรก เนื่องจากข้อผิดพลาดไม่เกินหนึ่งรายการ (ข้อผิดพลาดที่เราเน้นไว้) จึงสามารถเปลี่ยนเป็นคำใดคำหนึ่งได้:
1) 111000, 0 11000, 10 1000, 110 000, 1111 00, 11101 0, 111001 .
เมื่อส่งคำ 001110 สามารถรับคำใดก็ได้:
2) 001110, 1 01110, 01 1110, 000 110, 0010 10, 00110 0, 001111 .
ในที่สุดสำหรับ 10,0011 เราจะได้:
3) 100011, 0 00011, 11 0011, 101 011, 1001 11, 10000 1, 100010 .
โปรดทราบว่ารายการทั้งสามนั้นแยกจากกันเป็นคู่ กล่าวอีกนัยหนึ่ง ถ้าคำใดๆ จากรายการ 1 ปรากฏที่ปลายอีกด้านของช่องทางการสื่อสาร ผู้รับจะทราบแน่นอนว่าคำ 111000 ถูกส่งถึงเขา และหากมีคำใดจากรายการ 2 ปรากฏขึ้น คำว่า 001110 และจากรายการ 3 คำ 100011 ในกรณีนี้ ให้พูดว่าโค้ดของเราได้แก้ไขข้อบกพร่องหนึ่งข้อ
การแก้ไขเกิดขึ้นเนื่องจากปัจจัยสองประการ ประการแรก ผู้รับรู้จัก "พจนานุกรม" ทั้งหมดนั่นคือพื้นที่เหตุการณ์ของผู้รับข้อความจะเหมือนกับพื้นที่ของผู้ส่งข้อความ เมื่อรหัสถูกส่งโดยมีข้อผิดพลาดเพียงคำเดียว คำที่ไม่มีในพจนานุกรมก็ออกมา
ประการที่สอง คำในพจนานุกรมถูกเลือกด้วยวิธีพิเศษแม้ว่าจะมีข้อผิดพลาดเกิดขึ้น ผู้รับก็ไม่สามารถสับสนระหว่างคำหนึ่งกับอีกคำหนึ่งได้ ตัวอย่างเช่นหากพจนานุกรมประกอบด้วยคำว่า "daughter", "dot", "bump" และเมื่อส่งไปกลายเป็น "vochka" ผู้รับที่รู้ว่าไม่มีคำดังกล่าวอยู่จะไม่สามารถแก้ไขได้ ข้อผิดพลาด - คำใดในสามคำนี้อาจถูกต้อง หากพจนานุกรมมีคำว่า "จุด", "จุด", "สาขา" และเราทราบว่าไม่อนุญาตให้มีข้อผิดพลาดมากกว่าหนึ่งข้อผิดพลาด แสดงว่า "vochka" เป็น "จุด" ไม่ใช่ "จุด" ในรหัสแก้ไขข้อผิดพลาด คำต่างๆ จะถูกเลือกในลักษณะที่ "จดจำได้" แม้ว่าจะเกิดข้อผิดพลาดก็ตาม ข้อแตกต่างเพียงอย่างเดียวคือมีตัวอักษรสองตัวในรหัส "ตัวอักษร" - ศูนย์และหนึ่ง
ความซ้ำซ้อนของการเข้ารหัสดังกล่าวมีมาก และจำนวนคำที่เราสามารถถ่ายทอดด้วยวิธีนี้ค่อนข้างน้อย ท้ายที่สุดเราต้องแยกคำใด ๆ ออกจากพจนานุกรมที่สามารถจับคู่รายการทั้งหมดที่เกี่ยวข้องกับคำที่ส่ง (ตัวอย่างเช่นคำว่า "ลูกสาว" และ "จุด" ไม่สามารถอยู่ในพจนานุกรม) แต่การส่งข้อความอย่างถูกต้องนั้นสำคัญมากที่ต้องใช้ความพยายามอย่างมากในการศึกษารหัสแก้ไขข้อผิดพลาด
ความรู้สึก
แนวคิดของเอนโทรปี (หรือความไม่แน่นอนและคาดเดาไม่ได้) ของข้อความและความซ้ำซ้อน (หรือชะตากรรมและการคาดการณ์ล่วงหน้า) นั้นสอดคล้องกับแนวคิดเชิงสัญชาตญาณของเราเกี่ยวกับการวัดข้อมูล ยิ่งข้อความคาดเดาไม่ได้มากเท่าไหร่ (เอนโทรปียิ่งมากเท่านั้น เนื่องจากความน่าจะเป็นมีน้อย) ยิ่งมีข้อมูลมากขึ้นเท่านั้น ความรู้สึก (เช่น การพบกับจระเข้บน Tverskaya) เป็นเหตุการณ์ที่หายาก การคาดการณ์ได้น้อยมาก ดังนั้นค่าข้อมูลจึงสูง บ่อยครั้งที่ข้อมูลเรียกว่าข่าว - ข้อความเกี่ยวกับเหตุการณ์ที่เพิ่งเกิดขึ้นซึ่งเรายังไม่รู้อะไรเลย แต่ถ้าเราได้รับแจ้งเกี่ยวกับสิ่งที่เกิดขึ้นเป็นครั้งที่สองและสามในคำเดียวกันโดยประมาณ ความซ้ำซ้อนของข้อความจะดีมาก ความคาดเดาไม่ได้จะลดลงเหลือศูนย์ และเราจะไม่ฟัง ปัดผู้พูดด้วยคำว่า " ฉันรู้ว่าฉันรู้ว่า." นั่นเป็นเหตุผลที่สื่อพยายามอย่างหนักที่จะเป็นที่หนึ่ง นี่คือการโต้ตอบกับความรู้สึกแปลกใหม่ของสัญชาตญาณที่ก่อให้เกิดข่าวที่ไม่คาดคิดจริงๆ และมีบทบาทสำคัญในความจริงที่ว่าบทความของแชนนอนซึ่งไม่ได้ออกแบบมาสำหรับผู้อ่านจำนวนมากกลายเป็นความรู้สึกที่สื่อหยิบขึ้นมา ได้รับการยอมรับว่าเป็นกุญแจสากลในการทำความเข้าใจธรรมชาติโดยนักวิทยาศาสตร์สาขาต่างๆ - จากนักภาษาศาสตร์และนักวิจารณ์วรรณกรรมไปจนถึงนักชีววิทยา
แต่ แนวคิดเกี่ยวกับข้อมูลของแชนนอนเป็นทฤษฎีทางคณิตศาสตร์ที่เคร่งครัดและการประยุกต์ใช้นอกทฤษฎีการสื่อสารนั้นไม่น่าเชื่อถืออย่างมาก แต่ในทฤษฎีของการสื่อสารเอง มันมีบทบาทสำคัญ
ข้อมูลความหมาย
แชนนอนได้แนะนำแนวคิดของเอนโทรปีเป็นการวัดข้อมูล ได้รับโอกาสในการทำงานกับข้อมูล ก่อนอื่นเพื่อวัดและประเมินคุณลักษณะต่างๆ เช่น ความจุของช่องสัญญาณหรือความเหมาะสมในการเข้ารหัส แต่สมมติฐานหลักที่ทำให้แชนนอนสามารถดำเนินการกับข้อมูลได้สำเร็จคือข้อสันนิษฐานที่ว่าการสร้างข้อมูลเป็นกระบวนการสุ่มที่สามารถอธิบายได้สำเร็จในแง่ของทฤษฎีความน่าจะเป็น หากกระบวนการไม่ใช่การสุ่ม กล่าวคือเป็นไปตามรูปแบบ (และไม่ชัดเจนเสมอไป เนื่องจากเกิดขึ้นในภาษาธรรมชาติ) เหตุผลของแชนนอนก็ไม่สามารถใช้ได้ ทุกสิ่งที่แชนนอนพูดไม่เกี่ยวข้องกับความหมายของข้อมูล
ตราบใดที่เรากำลังพูดถึงสัญลักษณ์ (หรือตัวอักษรของตัวอักษร) เราอาจคิดในแง่ของเหตุการณ์สุ่ม แต่ทันทีที่เราไปยังคำในภาษานั้น สถานการณ์จะเปลี่ยนไปอย่างมาก คำพูดเป็นกระบวนการที่จัดในลักษณะพิเศษและที่นี่โครงสร้างของข้อความมีความสำคัญไม่น้อยไปกว่าสัญลักษณ์ที่ใช้ส่ง
จนกระทั่งเมื่อเร็ว ๆ นี้ ดูเหมือนว่าเราไม่สามารถทำอะไรได้เลยเพื่อเข้าใกล้การวัดความหมายของข้อความมากขึ้น แต่ใน ปีที่แล้วสถานการณ์เริ่มเปลี่ยนไป และสาเหตุหลักมาจากการใช้โครงข่ายประสาทเทียมสำหรับงานแปลภาษาด้วยเครื่อง, การแยกข้อความอัตโนมัติ, การแยกข้อมูลจากข้อความ, การสร้างรายงานในภาษาธรรมชาติ ในงานทั้งหมดเหล่านี้ การแปลง การเข้ารหัส และการถอดรหัสของข้อมูลที่มีความหมายในภาษาธรรมชาติจะเกิดขึ้น และค่อยๆมีความคิดเกี่ยวกับการสูญเสียข้อมูลระหว่างการเปลี่ยนแปลงดังกล่าวและดังนั้น - เกี่ยวกับการวัดข้อมูลที่มีความหมาย แต่จนถึงปัจจุบัน ความชัดเจนและความถูกต้องของทฤษฎีสารสนเทศของแชนนอนยังไม่มีอยู่ในงานที่ยากเหล่านี้
แนวคิด เอนโทรปี
เปิดตัวครั้งแรกในปี พ.ศ. 2408 โดย R. Clausius ในด้านอุณหพลศาสตร์เพื่อกำหนดการวัดการกระจายพลังงานที่ผันกลับไม่ได้ เอนโทรปีถูกนำมาใช้ในสาขาวิทยาศาสตร์ต่างๆ รวมถึงทฤษฎีสารสนเทศ เพื่อวัดความไม่แน่นอนของประสบการณ์ การทดสอบ ซึ่งอาจให้ผลลัพธ์ที่แตกต่างกัน คำจำกัดความของเอนโทรปีเหล่านี้มีการเชื่อมต่อภายในอย่างลึกซึ้ง ดังนั้น บนพื้นฐานของแนวคิดเกี่ยวกับข้อมูล บทบัญญัติที่สำคัญที่สุดทั้งหมดของฟิสิกส์เชิงสถิติสามารถอนุมานได้ [พ.ศ. ฟิสิกส์. ม: ใหญ่ สารานุกรมรัสเซีย, 1998].
ค่านี้เรียกอีกอย่างว่า เอนโทรปีเฉลี่ยข้อความ เอนโทรปีในสูตรแชนนอนเป็นคุณลักษณะเฉลี่ย - ความคาดหวังทางคณิตศาสตร์การกระจาย ตัวแปรสุ่ม.
ตัวอย่างเช่น ในลำดับของตัวอักษรที่ประกอบกันเป็นประโยคในภาษารัสเซีย ตัวอักษรที่แตกต่างกันจะปรากฏในความถี่ที่แตกต่างกัน ดังนั้นความไม่แน่นอนที่เกิดขึ้นสำหรับตัวอักษรบางตัวจึงน้อยกว่าตัวอักษรอื่นๆ
ในปีพ.ศ. 2491 ขณะที่กำลังตรวจสอบปัญหาของการส่งข้อมูลอย่างมีเหตุผลผ่านช่องทางการสื่อสารที่มีเสียงดัง โคล้ด แชนนอนได้เสนอแนวทางความน่าจะเป็นที่ปฏิวัติวงการเพื่อทำความเข้าใจการสื่อสาร และสร้างทฤษฎีทางคณิตศาสตร์เรื่องเอนโทรปีอย่างแท้จริงขึ้นเป็นครั้งแรก ความคิดที่น่าตื่นเต้นของเขาใช้เป็นพื้นฐานสำหรับการพัฒนาทฤษฎีข้อมูลอย่างรวดเร็วซึ่งใช้แนวคิดเรื่องความน่าจะเป็น แชนนอนแนะนำแนวคิดเรื่องเอนโทรปีในฐานะมาตรวัดความสุ่มในบทความของเขาเรื่อง "A Mathematical Theory of Communication" ซึ่งตีพิมพ์เป็นสองส่วนใน Bell System Technical Journal ในปี 1948
ในกรณีของเหตุการณ์ที่น่าจะเป็นไปได้เท่าๆ กัน (กรณีพิเศษ) เมื่อตัวเลือกทั้งหมดมีโอกาสเป็นไปได้เท่าๆ กัน การพึ่งพาจะคงอยู่ตามจำนวนตัวเลือกที่พิจารณาเท่านั้น และสูตรแชนนอนจะง่ายขึ้นอย่างมากและสอดคล้องกับสูตรฮาร์ตลีย์ ซึ่งเสนอครั้งแรกโดย วิศวกรชาวอเมริกัน ราล์ฟ ฮาร์ทลีย์ในปี พ.ศ. 2471 โดยเป็นหนึ่งใน วิธีการทางวิทยาศาสตร์เพื่อประเมินข้อความ:
โดยที่ I คือจำนวนข้อมูลที่ส่ง p คือความน่าจะเป็นของเหตุการณ์ N คือจำนวนที่เป็นไปได้ของข้อความที่แตกต่างกัน (เท่ากัน)ภารกิจที่ 1 เหตุการณ์ที่น่าจะเป็นไปได้เท่าเทียมกัน
มีไพ่ 36 ใบในหนึ่งสำรับ มีข้อมูลเท่าใดในข้อความว่าการ์ดที่มีรูป "เอซ" ถูกนำมาจากสำรับ "เอซโพดำ"?
ความน่าจะเป็น p1 = 4/36 = 1/9 และ p2 = 1/36 โดยใช้สูตร Hartley เรามี:
คำตอบ: 3.17; 5.17 บิต
หมายเหตุ (จากผลลัพธ์ที่สอง) จำเป็นต้องใช้ 6 บิตในการเข้ารหัสแผนที่ทั้งหมด
นอกจากนี้ยังเป็นที่ชัดเจนจากผลลัพธ์ที่ยิ่งมีความน่าจะเป็นของเหตุการณ์ต่ำเท่าใด ข้อมูลก็ยิ่งมีมากขึ้นเท่านั้น (คุณสมบัตินี้เรียกว่า ความน่าเบื่อ)
ภารกิจที่ 2 ในเหตุการณ์ที่ไม่เท่ากัน
มีไพ่ 36 ใบในหนึ่งสำรับ ในจำนวนนี้มีไพ่ 12 ใบที่มี "ภาพบุคคล" ในทางกลับกัน ไพ่ใบใดใบหนึ่งจะถูกนำมาจากสำรับและแสดงเพื่อตัดสินว่าภาพนั้นแสดงอยู่บนนั้นหรือไม่ การ์ดจะถูกส่งกลับไปที่เด็ค กำหนดจำนวนข้อมูลที่ส่งในแต่ละครั้งที่แสดงการ์ดหนึ่งใบ
เอนโทรปีของข้อมูล- การวัดความไม่แน่นอนหรือความไม่แน่นอนของระบบบางอย่าง (ในสถิติฟิสิกส์หรือทฤษฎีข้อมูล) โดยเฉพาะอย่างยิ่ง ความไม่แน่นอนของการปรากฏตัวของสัญลักษณ์ใด ๆ ของตัวอักษรหลัก ในกรณีหลัง ในกรณีที่ไม่มีการสูญเสียข้อมูล เอนโทรปีจะเท่ากับจำนวนข้อมูลต่อสัญลักษณ์ของข้อความที่ส่ง
ตัวอย่างเช่น ในลำดับของตัวอักษรที่ประกอบกันเป็นประโยคในภาษารัสเซีย ตัวอักษรที่แตกต่างกันจะปรากฏในความถี่ที่แตกต่างกัน ดังนั้นความไม่แน่นอนที่เกิดขึ้นสำหรับตัวอักษรบางตัวจึงน้อยกว่าตัวอักษรอื่นๆ หากเราพิจารณาว่าตัวอักษรบางตัวรวมกัน (ในกรณีนี้เราพูดถึงเอนโทรปี n (\displaystyle n)ลำดับที่ ดู ) หายากมาก จากนั้นความไม่แน่นอนก็ลดลงมากยิ่งขึ้น
แนวคิดของเอนโทรปีของข้อมูลสามารถอธิบายได้ด้วยความช่วยเหลือจากปีศาจของแมกซ์เวลล์ แนวคิดของข้อมูลและเอนโทรปีมีความเชื่อมโยงกันอย่างลึกซึ้ง [ ที่?] แต่อย่างไรก็ตาม การพัฒนาทฤษฎีในกลศาสตร์สถิติและทฤษฎีสารสนเทศต้องใช้เวลาหลายปีในการทำให้ทั้งสองทฤษฎีสอดคล้องกัน [ ] .
เอนโทรปี- นี่คือจำนวนข้อมูลต่อข้อความเบื้องต้นของแหล่งที่มาที่สร้างข้อความที่ไม่ขึ้นกับสถิติ
ยูทูบ สารานุกรม
1 / 5
✪ ทำความเข้าใจเกี่ยวกับเอนโทรปี
✪ เอนโทรปีคืออะไร?
✪ ข้อมูลเอนโทรปี
✪ เอนโทรปีและกฎข้อที่สองของอุณหพลศาสตร์ (วิดีโอ 3) | พลังงาน| ชีววิทยา
✪ เอนโทรปีคืออะไร? เจฟฟ์ ฟิลลิปส์ #TED-Ed
คำบรรยาย
ดังนั้นเราจึงให้คำจำกัดความของเอนโทรปีเป็นตัวแปรสถานะสองคำ เอนโทรปีแสดงด้วยตัวอักษร S ตามคำจำกัดความของอุณหพลศาสตร์ การเปลี่ยนแปลงของเอนโทรปีจะเท่ากับความร้อนที่เพิ่มขึ้นหารด้วยอุณหภูมิที่เพิ่มความร้อนเข้าไป อย่างไรก็ตาม หากอุณหภูมิเปลี่ยนแปลงเมื่อมีความร้อนเพิ่มขึ้น (ซึ่งมักจะเกิดขึ้น) เราจะต้องคำนวณบางอย่าง และคุณสามารถพิจารณาได้ว่านี่เป็นคำจำกัดความของเอนโทรปีทางคณิตศาสตร์หรือทางสถิติหรือเชิงผสม ตามคำจำกัดความนี้ เอนโทรปีเท่ากับลอการิทึมธรรมชาติของจำนวนสถานะที่ระบบสามารถทำได้ คูณด้วยจำนวนคงที่ และในกรณีเช่นนี้ ทุกรัฐมีความน่าจะเป็นเท่ากัน หากเรากำลังพูดถึงโมเลกุลจำนวนมากอย่างเหลือเชื่อที่สามารถมีจำนวนสถานะที่มากกว่านั้น เราสามารถสันนิษฐานได้ว่าพวกมันทั้งหมดจะแตกต่างกันโดยมีความน่าจะเป็นที่เท่ากันโดยประมาณ นอกจากนี้ยังมีคำจำกัดความที่ซับซ้อนกว่าเล็กน้อย - สำหรับกรณีที่มีความเป็นไปได้ในการสั่งซื้อที่แตกต่างกัน แต่ตอนนี้เราจะไม่พูดถึงมัน ตอนนี้เราได้ครอบคลุมคำจำกัดความทั้งสองนี้แล้ว ก็ถึงเวลาที่จะบอกคุณเกี่ยวกับกฎข้อที่สองของอุณหพลศาสตร์ นี่คือ นี่เป็นกฎที่ค่อนข้างง่ายซึ่งในขณะเดียวกันก็อธิบายปรากฏการณ์ต่าง ๆ ที่หลากหลาย ตามกฎหมายนี้ การเปลี่ยนแปลงของเอนโทรปีในจักรวาลระหว่างการดำเนินการตามกระบวนการใดๆ จะมากกว่าหรือเท่ากับ 0 เสมอ นั่นคือเมื่อมีบางสิ่งเกิดขึ้นในจักรวาล ผลลัพธ์ของสิ่งนี้คือการเพิ่มขึ้นของเอนโทรปี นี่เป็นข้อสรุปที่สำคัญมาก มาดูกันว่าเราจะสามารถใช้กฎหมายนี้กับ สถานการณ์เฉพาะและเข้าใจความหมายของมันด้วยประการฉะนี้ สมมติว่าฉันมีถังสองถังเชื่อมต่อกัน ที่นี่ฉันมี T1 ให้นี่เป็นถังร้อนของเรา และที่นี่เรามี T2 นี่จะเป็นถังเย็น เรารู้จากประสบการณ์... จะเกิดอะไรขึ้นถ้าภาชนะบรรจุน้ำร้อนใช้ผนังร่วมกับภาชนะบรรจุน้ำเย็น? เกิดอะไรขึ้นในกรณีเช่นนี้? ใช่ อุณหภูมิของน้ำในนั้นลดระดับลง หากเรากำลังพูดถึงสารชนิดเดียวกัน กระบวนการจะหยุดลงประมาณกลางๆ หากสารเหล่านั้นอยู่ในระยะเดียวกัน ดังนั้นเราจึงจัดการกับการถ่ายโอนความร้อนจากสสารที่ร้อนกว่าไปยังสสารที่เย็นกว่า เรามีความร้อน Q ซึ่งถ่ายโอนจากสสารที่ร้อนกว่าไปยังสสารที่เย็นกว่า แน่นอน ในความเป็นจริงในชีวิตประจำวัน คุณจะไม่เห็นความร้อนถูกถ่ายโอนจากสสารที่เย็นกว่าไปยังสสารที่ร้อนกว่า ถ้าคุณใส่ก้อนน้ำแข็ง เช่น ชาร้อน แน่นอนว่าน้ำแข็งจะไม่เย็นลงและชาก็ไม่ร้อนขึ้น อุณหภูมิของสารทั้งสองจะเท่ากันโดยประมาณ กล่าวคือ ชาจะให้ความร้อนส่วนหนึ่งแก่น้ำแข็ง เรากำลังพูดถึงถังสองใบ และฉันคิดว่าอุณหภูมิของมันคงที่ สิ่งนี้จะเกิดขึ้นได้ก็ต่อเมื่อทั้งคู่มีขนาดใหญ่เป็นอนันต์ ซึ่งแน่นอนว่าไม่มีอยู่ในโลกแห่งความเป็นจริง ที่ โลกแห่งความจริง T1 จะลดลงและ T2 จะเพิ่มขึ้น แต่มาดูกันว่าสิ่งนี้ควรเกิดขึ้นตามกฎข้อที่สองของอุณหพลศาสตร์หรือไม่ แล้วเกิดอะไรขึ้นที่นี่? การเปลี่ยนแปลงเอนโทรปีสุทธิสำหรับ T1 คืออะไร? ตามกฎข้อที่สองของอุณหพลศาสตร์ การเปลี่ยนแปลงในเอนโทรปีของเอกภพมีค่ามากกว่า 0 แต่ในกรณีนี้ จะเท่ากับการเปลี่ยนแปลงของเอนโทรปีสำหรับ T1 บวกกับการเปลี่ยนแปลงของเอนโทรปีสำหรับ ... แม้ว่าจะไม่ใช่ ... แทนที่จะเป็น T1 เรียกมันว่า 1 ... สำหรับระบบ 1 นั่นคือ สำหรับระบบร้อนนี้บวกกับการเปลี่ยนแปลงของเอนโทรปีสำหรับระบบ 2 แล้วการเปลี่ยนแปลงของเอนโทรปีสำหรับระบบ 1 คืออะไร? มันสูญเสีย Q1 ที่อุณหภูมิสูง ปรากฎว่าลบ Q (เพราะระบบปล่อยความร้อน) หารด้วย T1 จากนั้นเราต้องคำนึงถึงความร้อนที่เพิ่มเข้าไปในระบบ T2 ลองบวก Q หารด้วย T2 เราได้การเปลี่ยนแปลงเอนโทรปีของระบบ 2 จริงไหม? อ่างเก็บน้ำซึ่งมีอุณหภูมิสูงขึ้น 1 แห่งนี้ จะสูญเสียความร้อน และอ่างเก็บน้ำซึ่งมีอุณหภูมิต่ำกว่า 2 ได้รับความร้อน มันจะไม่สูงกว่า 0 เหรอ? ลองคิดดูสักนิด ถ้าเราหาร... ขอผมเขียนใหม่นะ... ผมจะเขียนอีกแบบ: Q หารด้วย T2, ลบนี่ ฉันแค่จัดเรียงตัวเลขใหม่... ลบ Q หารด้วย T1 และคะแนนที่สูงขึ้นตอนนี้คืออะไร? T2 หรือ T1? T1 ใหญ่กว่าใช่ไหม ตอนนี้เรามีคะแนนสูงขึ้น... เมื่อเราใช้คำว่า "สูงกว่า" หมายถึงการเปรียบเทียบบางอย่าง T1 อยู่เหนืออันนี้ ยิ่งกว่านั้น ในตัวเศษของทั้งสองกรณี เรามีตัวเลขเท่ากัน จริงไหม? นั่นคือ ถ้าฉันเอา 1/2 ลบ 1/3 แล้วฉันจะได้ตัวบ่งชี้ที่มากกว่า 0 ตัวบ่งชี้นี้มากกว่าอันนี้ เพราะอันนี้มีตัวส่วนที่มากกว่า คุณหารด้วยจำนวนที่มากขึ้น นี่เป็นสิ่งที่ควรค่าแก่การพิจารณา คุณหาร Q ด้วยตัวเลขนี้ แล้วลบ Q หารด้วยจำนวนที่มากขึ้น เศษส่วนตรงนี้จะมีค่าสัมบูรณ์ต่ำกว่า และจะมากกว่า 0 ดังนั้นกฎข้อที่สองของอุณหพลศาสตร์ได้รับการยืนยันจากการสังเกตของเราตามที่ความร้อนผ่านจากวัตถุที่ร้อนไปยังวัตถุที่เย็น ตอนนี้คุณสามารถพูดว่า เฮ้ ซาล ฉันพิสูจน์ได้ว่าคุณคิดผิด บอกได้เลยว่าฉันติดเครื่องปรับอากาศไว้ในห้อง... นี่คือห้อง และนี่คือสิ่งที่อยู่ข้างนอก และคุณพูดว่า - ดูสิ่งที่เครื่องปรับอากาศทำ! ในห้องเย็นแล้ว แต่ข้างนอกร้อนแล้ว แต่เครื่องปรับอากาศมีไว้ทำอะไร? ทำให้ความเย็นยิ่งเย็นลงและร้อนยิ่งขึ้น เขาใช้ Q และเคลื่อนไปในทิศทางนี้ ใช่ไหม ใช้ความร้อนจากห้องเย็นและปล่อยออกสู่อากาศร้อน และคุณบอกว่ามันละเมิดกฎข้อที่สองของอุณหพลศาสตร์ คุณเพิ่งปฏิเสธมัน คุณสมควรได้รับ รางวัลโนเบล! แต่ฉันจะบอกคุณ - คุณกำลังลืมข้อเท็จจริงเล็กน้อย ภายในเครื่องปรับอากาศนี้มีคอมเพรสเซอร์และเครื่องยนต์ที่ทำงานอย่างแข็งขันและสร้างผลลัพธ์ดังกล่าว และเครื่องนี้ ผมจะเน้นเป็นสีชมพู ปล่อยความร้อนด้วย เรียกมันว่าเครื่องยนต์ Q ดังนั้น หากคุณต้องการคำนวณเอนโทรปีทั้งหมดที่สร้างขึ้นสำหรับทั้งจักรวาล มันจะเป็นค่าเอนโทรปีของห้องเย็น บวกกับการเปลี่ยนแปลงของเอนโทรปีของถนน เอนโทรปีห้องเย็นบวกกับการเปลี่ยนแปลงเอนโทรปีภายนอก ทำเครื่องหมายห้องที่นี่... คุณสามารถพูดว่า - โอเค การเปลี่ยนแปลงของเอนโทรปีสำหรับห้องที่ให้ความร้อน ... สมมติว่าห้องรักษาอุณหภูมิคงที่เป็นเวลาอย่างน้อยหนึ่งมิลลิวินาที ห้องปล่อย Q ออกมาที่อุณหภูมิหนึ่ง T1 แล้ว... คุณต้องใส่ลบตรงนี้... แล้วถนนจะร้อนที่อุณหภูมิหนึ่ง T2 และคุณพูดว่า: ตัวเลขนี้น้อยกว่านี้ เพราะตัวส่วนจะสูงกว่า จากนั้นจะเป็นค่าเอนโทรปีที่เป็นลบ และคุณสามารถพูดได้ว่าสิ่งนี้ละเมิดกฎข้อที่สองของอุณหพลศาสตร์ ไม่! ที่นี่เราต้องคำนึงถึงประเด็นอื่น: ถนนยังได้รับความร้อนจากเครื่องยนต์ ความร้อนจากเครื่องยนต์หารด้วยอุณหภูมิภายนอก และฉันรับประกันว่าตัวแปรนี้ ฉันจะไม่ให้ตัวเลขตอนนี้ จะทำให้นิพจน์ทั้งหมดเป็นบวก ตัวแปรนี้จะเปลี่ยนเอนโทรปีสุทธิทั้งหมดของเอกภพให้เป็นค่าบวก ทีนี้ลองมาคิดกันสักนิดว่าเอนโทรปีคืออะไรในแง่ของคำศัพท์ ในวิชาเคมี ไม่ใช่เรื่องแปลกที่ครูจะบอกว่าเอนโทรปีเท่ากับความผิดปกติ ไม่ใช่เรื่องผิด เอนโทรปีเท่ากับความผิดปกติ นี่ไม่ใช่ข้อผิดพลาด เพราะเอนโทรปีเป็นความผิดปกติจริงๆ แต่คุณต้องระวังให้มากกับคำจำกัดความของความผิดปกติ เนื่องจากหนึ่งในตัวอย่างที่พบบ่อยที่สุดคือ: ใช้ห้องสะอาด - สมมติว่าห้องนอนของคุณสะอาด แต่แล้วกลับสกปรก และพวกเขาพูดว่า - ดูสิ จักรวาลเริ่มยุ่งเหยิงมากขึ้น ห้องสกปรกมีความรกรุงรังมากกว่าห้องสะอาด แต่นี่ไม่ใช่การเพิ่มขึ้นของเอนโทรปี นี่จึงไม่ใช่ตัวอย่างที่ดีนัก ทำไม ใช่ เพราะความสะอาดและสกปรกเป็นเพียงแค่สถานะของห้องเท่านั้น และเราจำได้ว่าเอนโทรปีเป็นตัวแปรของรัฐ คุณใช้สำหรับ คำอธิบายระบบเมื่อคุณไม่อยู่ในอารมณ์ที่จะนั่งที่นี่และบอกฉันว่าแต่ละอนุภาคทำหน้าที่อะไร และเป็นตัวแปรมาโครที่แสดงระยะเวลาที่จะบอกว่าแต่ละอนุภาคทำหน้าที่อะไร ตัวแปรนี้ระบุว่ามีกี่สถานะในกรณีนี้ หรือข้อมูลจำนวนเท่าใดเกี่ยวกับสถานะที่ฉันต้องการได้รับจากคุณ ในกรณีของห้องสะอาดและห้องสกปรก เรามีเพียง 2 สถานะที่แตกต่างกันของห้องเดียวกัน ถ้าห้องถูกเก็บไว้ที่อุณหภูมิเดียวกันและมีจำนวนโมเลกุลเท่ากัน ก็จะมีเอนโทรปีเท่ากัน ดังนั้น เมื่อห้องสกปรกมากขึ้น เอนโทรปีก็ไม่เพิ่มขึ้น ตัวอย่างเช่น ฉันมีห้องเย็นที่สกปรก สมมติว่าฉันเดินเข้าไปในห้องนี้และใช้ความพยายามอย่างมากในการทำความสะอาด ดังนั้นฉันจึงเพิ่มความร้อนส่วนหนึ่งเข้าไปในระบบ และโมเลกุลของเหงื่อของฉันก็กระจายไปทั่วห้อง ดังนั้น จึงมีเนื้อหามากขึ้นในนั้น และมันก็อุ่นขึ้น กลายเป็นห้องที่ร้อนและสะอาดซึ่งมีหยดเหงื่อ เนื้อหานี้สามารถจัดเรียงได้หลายวิธี และเนื่องจากห้องร้อน แต่ละอณูในห้องจึงสามารถรับสถานะต่างๆ ได้มากขึ้น จริงไหม? เนื่องจากพลังงานจลน์เฉลี่ยมีค่าสูง เราสามารถลองค้นหาว่าแต่ละโมเลกุลสามารถมีพลังงานจลน์ได้เท่าใด และจำนวนนี้อาจค่อนข้างมากในศักยภาพ โดยพื้นฐานแล้วนี่คือการเพิ่มขึ้นของเอนโทรปี จากห้องเย็นสกปรกสู่ห้องร้อนและสะอาด และนั่นก็เข้ากันได้ดีกับสิ่งที่เรารู้ นั่นคือเมื่อฉันเข้าไปในห้องและเริ่มทำความสะอาด ฉันนำความอบอุ่นเข้ามาในห้อง และเอกภพมีมากขึ้น... ฉันเดาว่าเราสามารถพูดได้ว่าเอนโทรปีกำลังเพิ่มขึ้น ดังนั้นความสับสนที่นี่อยู่ที่ไหน สมมติว่าฉันมีลูกบอลและมันกระทบพื้นและกระทบมัน และที่นี่เราต้องถามคำถามที่ถูกถามอย่างต่อเนื่องตั้งแต่การค้นพบกฎข้อที่หนึ่งของอุณหพลศาสตร์ ทันทีที่ลูกบอลกระทบพื้น... ลูกบอลกระทบพื้นใช่ไหม? ฉันโยนมัน: ในส่วนบนของมันมีพลังงานศักย์บางอย่างซึ่งจะกลายเป็น พลังงานจลน์และลูกบอลกระทบพื้นแล้วหยุด นี่คือที่มาของคำถามเชิงตรรกะ - เกิดอะไรขึ้นกับพลังงานทั้งหมดนี้? กฎการอนุรักษ์พลังงาน เธอไปไหนกันหมด? ก่อนถึงพื้น ลูกบอลมีพลังงานจลน์และหยุดลง ดูเหมือนว่าพลังงานได้หายไป แต่มันไม่ใช่ เมื่อลูกบอลตกลงไปมันก็มีมากมาย ... อย่างที่คุณทราบทุกอย่างมีความอบอุ่นในตัวเอง แต่สิ่งที่เกี่ยวกับโลก? โมเลกุลของมันสั่นสะเทือนด้วยพลังงานจลน์และพลังงานศักย์จำนวนหนึ่ง จากนั้นโมเลกุลของลูกบอลของเราก็เริ่มสั่นเล็กน้อย แต่การเคลื่อนไหวของพวกเขาส่วนใหญ่ลดลงใช่ไหม? การเคลื่อนที่ของโมเลกุลส่วนใหญ่ของลูกบอลพุ่งลง เมื่อกระทบพื้นแล้ว... ขอผมวาดพื้นผิวของลูกบอลที่สัมผัสกับพื้น โมเลกุลของลูกบอลในส่วนหน้าจะมีลักษณะดังนี้ และมีค่อนข้างน้อย นี้ แข็ง. น่าจะเป็นด้วยโครงสร้างขัดแตะ แล้วบอลก็ตกพื้น เมื่อสิ่งนี้เกิดขึ้น… โลกก็เป็นอีกวัตถุหนึ่งที่เป็นของแข็ง… เยี่ยมมาก ที่นี่เรามีไมโครสเตต อะไรจะเกิดขึ้น? โมเลกุลเหล่านี้จะทำปฏิกิริยากับสิ่งเหล่านี้และถ่ายโอนพลังงานจลน์ของพวกมันลงมา... พวกมันจะถ่ายโอนไปยังอนุภาคเหล่านี้ของโลก และเผชิญหน้ากับพวกเขา และเมื่ออนุภาคนี้ชนกับอันนี้ มันจะเคลื่อนที่ไปในทิศทางนี้ได้ และอนุภาคนี้จะเริ่มสั่นแบบนี้ กลับไปกลับมา อนุภาคตรงนี้สามารถกระเด็นออกจากอันนี้แล้วเคลื่อนที่ไปในทิศทางนี้ แล้วชนกับอันนี้แล้วเคลื่อนที่ไปที่นี่ แล้ว เพราะอนุภาคนี่มากระทบที่นี่ อันนี้กระทบที่นี่ และเพราะอนุภาคนี้กระทบที่นี่ อันนี้กระทบที่นี่ จากมุมมองของลูกบอล มีการเคลื่อนที่ค่อนข้างมีทิศทาง แต่เมื่อสัมผัสกับโมเลกุลของโลก มันเริ่มสร้างพลังงานจลน์และสร้างการเคลื่อนที่ในทิศทางต่างๆ โมเลกุลนี่จะย้ายอันนี้มาที่นี่ และอันนี้จะย้ายมาที่นี่ ตอนนี้การเคลื่อนไหวจะไม่ถูกชี้นำถ้าเรามีโมเลกุลจำนวนมาก ... ฉันจะทำเครื่องหมายด้วยสีที่ต่างกัน ... ถ้าเรามีโมเลกุลหลายตัวและพวกมันเคลื่อนที่ไปในทิศทางเดียวกันทุกประการ ไมโครสเตตจะมีลักษณะดังนี้ มาโครสเตต องค์รวมจะอยู่ทิศนี้ ถ้าเรามี v เยอะ และพวกมันเคลื่อนที่ไปในทิศทางต่างๆ กัน ลูกบอลโดยรวมก็จะอยู่กับที่ เราสามารถมีพลังงานจลน์เท่ากันได้ ระดับโมเลกุล แต่พวกเขาทั้งหมดจะชนกัน และในกรณีนี้ เราสามารถอธิบายพลังงานจลน์เป็นพลังงานภายในหรือเป็นอุณหภูมิ ซึ่งเป็นพลังงานจลน์เฉลี่ย ดังนั้น เมื่อเราพูดว่าโลกกำลังวุ่นวายมากขึ้น เรากำลังคิดถึงลำดับของความเร็วหรือพลังงานของโมเลกุล ก่อนที่พวกมันจะถูกสั่ง โมเลกุลอาจสั่นเล็กน้อย แต่ส่วนใหญ่พวกมันจะตกลงไป แต่เมื่อพวกเขาตกลงถึงพื้น พวกเขาทั้งหมดเริ่มสั่นสะเทือนไปในทิศทางต่างๆ กันในทันที และโลกก็เริ่มสั่นสะเทือนไปในทิศทางต่างๆ ดังนั้น - ในระดับไมโครสเตต - สิ่งต่าง ๆ ยุ่งเหยิงมากขึ้น มีอีกคำถามหนึ่งที่ค่อนข้างน่าสนใจ มีความเป็นไปได้อีกอย่างหนึ่ง… คุณอาจจะคิดว่า “ดูสิ ลูกบอลนี้ตกลงมากระแทกพื้นแล้ว ทำไมเขาถึงไม่-- เป็นไปได้ไหมว่าโมเลกุลของโลกเองก็เปลี่ยนลำดับเพื่อให้พวกมันชนโมเลกุลของลูกบอลได้อย่างเหมาะสม มีความน่าจะเป็นที่เนื่องจากการเคลื่อนที่แบบสุ่ม ณ เวลาใดเวลาหนึ่ง โมเลกุลทั้งหมดของโลกจะชนโมเลกุลของลูกบอลในลักษณะที่มันเด้งขึ้นมาอีกครั้ง ใช่แล้ว. มีโอกาสน้อยเสมอที่สิ่งนี้จะเกิดขึ้น มีความเป็นไปได้ที่ลูกบอลจะตกลงบนพื้น... ซึ่งน่าสนใจทีเดียว... คุณอาจต้องรอเป็นร้อยล้านปีกว่าสิ่งนี้จะเกิดขึ้น หากมันเคยเกิดขึ้น... และลูกบอลอาจจะแค่ เด้งขึ้น มีความเป็นไปได้น้อยมากที่โมเลกุลเหล่านี้จะสั่นแบบสุ่มในลักษณะที่ต้องสั่งการเป็นเวลาหนึ่งวินาที จากนั้นลูกบอลจะกระดอน แต่ความน่าจะเป็นของสิ่งนี้คือ 0 ดังนั้น เมื่อผู้คนพูดถึงระเบียบและความไม่เป็นระเบียบ ความไม่เป็นระเบียบจะเพิ่มขึ้น เพราะตอนนี้โมเลกุลเหล่านี้จะเคลื่อนที่ไปในทิศทางต่างๆ กัน และรับสถานะที่มีศักยภาพมากขึ้น และเราก็เห็นมัน ดังที่คุณทราบ ในระดับหนึ่ง เอนโทรปีดูเหมือนมีมนต์ขลัง แต่ในระดับอื่น ๆ ดูเหมือนว่าค่อนข้างสมเหตุสมผล ในวิดีโอหนึ่ง... ฉันคิดว่านั่นเป็นวิดีโอสุดท้าย... ฉันมีโมเลกุลจำนวนมาก แล้วก็มีช่องว่างพิเศษตรงนี้ หลังจากนั้นฉันก็เอาผนังออก และเราเห็นว่าโมเลกุลเหล่านี้... เป็นที่ชัดเจนว่ามีบางโมเลกุลที่ถูกผลักออกจากกำแพงนี้ก่อนหน้านี้ เนื่องจากมีแรงกดดันบางอย่างที่เกี่ยวข้องกับมัน จากนั้น ทันทีที่เราเอากำแพงนี้ออก โมเลกุลที่ชนกับมันจะเคลื่อนที่ต่อไป ไม่มีอะไรจะหยุดพวกเขาได้ การเคลื่อนไหวจะดำเนินการในทิศทางนี้ พวกมันสามารถชนกับโมเลกุลอื่นและกับผนังเหล่านี้ได้ แต่เท่าที่เกี่ยวกับทิศทางนี้ ความน่าจะเป็นของการชนโดยเฉพาะอย่างยิ่งสำหรับโมเลกุลเหล่านี้โดยพื้นฐานแล้วจะเป็น 0 ดังนั้นจะมีการขยายตัวและการบรรจุของภาชนะ ดังนั้นทุกอย่างค่อนข้างมีเหตุผล แต่ที่สำคัญที่สุด กฎข้อที่สองของอุณหพลศาสตร์ ตามที่เราเห็นในวิดีโอนี้ พูดในสิ่งเดียวกัน นั่นคือการที่โมเลกุลจะเคลื่อนที่และเติมภาชนะ และไม่น่าเป็นไปได้อย่างยิ่งที่พวกเขาทั้งหมดจะกลับสู่สถานะที่ได้รับคำสั่ง แน่นอนว่ามีความเป็นไปได้ที่เมื่อเคลื่อนที่แบบสุ่ม พวกมันจะกลับมาที่ตำแหน่งนี้ แต่ความเป็นไปได้นี้น้อยมาก ยิ่งไปกว่านั้น ผมอยากเน้นย้ำว่า S เป็นสถานะมาโคร เราไม่เคยพูดถึงเอนโทรปีที่เกี่ยวข้องกับโมเลกุลเดี่ยว ถ้าเรารู้ว่าแต่ละโมเลกุลทำหน้าที่อะไร เราก็ไม่ต้องกังวลเรื่องเอนโทรปี เราต้องคิดถึงระบบโดยรวม ดังนั้นถ้าเราดูทั้งระบบและไม่สนใจโมเลกุล เราจะไม่รู้ว่าเกิดอะไรขึ้น ในกรณีนี้ เราสามารถให้ความสนใจกับคุณสมบัติทางสถิติของโมเลกุลเท่านั้น เรามีโมเลกุลกี่ตัว อุณหภูมิเท่าไหร่ แมคโครไดนามิกส์ ความดัน... แล้วคุณรู้อะไรไหม? ภาชนะที่โมเลกุลเหล่านี้ถูกวางไว้มีสถานะมากกว่าภาชนะขนาดเล็กที่มีผนัง แม้ว่าโมเลกุลทั้งหมดจะมารวมตัวกันที่นี่โดยบังเอิญ เราจะไม่รู้ว่าสิ่งนี้เกิดขึ้น เพราะเราไม่ได้ดูที่ไมโครสเตต และนี่เป็นสิ่งสำคัญมากที่ต้องจำไว้ เมื่อมีคนพูดว่าห้องสกปรกมีค่าเอนโทรปีสูงกว่าห้องสะอาด เราต้องเข้าใจว่าพวกเขากำลังพูดถึงไมโครสเตต และประการแรกเอนโทรปีคือแนวคิดที่เกี่ยวข้องกับมาโครสเตต คุณสามารถพูดง่ายๆ ว่าห้องหนึ่งมีเอนโทรปีจำนวนหนึ่ง นั่นคือแนวคิดของเอนโทรปีเกี่ยวข้องกับห้องโดยรวม แต่จะมีประโยชน์ก็ต่อเมื่อคุณไม่รู้ว่าเกิดอะไรขึ้นในห้องนั้น คุณมีมากที่สุดเท่านั้น ความคิดทั่วไปเกี่ยวกับสิ่งที่ห้องเต็มไปด้วยอุณหภูมิในห้องความดันเท่าไหร่ ทั้งหมดนี้เป็นคุณสมบัติของมาโครทั่วไป เอนโทรปีจะบอกเราว่าระบบมาโครนี้สามารถมีมาโครสเตตได้กี่ตัว หรือมีข้อมูลมากน้อยเพียงใด มีแนวคิดเรื่องเอนโทรปีของข้อมูล ฉันต้องให้ข้อมูลมากน้อยเพียงใดเพื่อให้คุณได้รับแนวคิดที่ถูกต้องเกี่ยวกับไมโครสเตตของระบบในช่วงเวลาที่เหมาะสม มากหรือน้อยเช่นนี้. ฉันหวังว่าการสนทนานี้จะช่วยคุณได้บ้างและขจัดความเข้าใจผิดบางอย่างเกี่ยวกับเอนโทรปี รวมทั้งช่วยให้คุณเข้าใจว่าแท้จริงแล้วคืออะไร จนกว่าจะถึงวิดีโอหน้า!
คำจำกัดความที่เป็นทางการ
ข้อมูล เอนโทรปีแบบไบนารีสำหรับเหตุการณ์สุ่มอิสระ x (\displaystyle x)กับ n (\displaystyle n)สถานะที่เป็นไปได้กระจายด้วยความน่าจะเป็น ( ฉัน = 1 , . . . , n (\displaystyle i=1,...,n)) คำนวณโดยสูตร
H (x) = − ∑ i = 1 n p i log 2 p i (\displaystyle H(x)=-\sum _(i=1)^(n)p_(i)\log _(2)p_(i))ค่านี้เรียกอีกอย่างว่า เอนโทรปีของข้อความเฉลี่ย. ค่า H i = − บันทึก 2 p i (\displaystyle H_(i)=-\log _(2)(p_(i)))เรียกว่า เอนโทรปีส่วนตัวการกำหนดลักษณะเท่านั้น ผม (\displaystyle ผม)-e รัฐ โดยทั่วไป ฐานของลอการิทึมในนิยามของเอนโทรปีสามารถเป็นอะไรก็ได้ที่มากกว่า 1; ตัวเลือกจะเป็นตัวกำหนดหน่วยเอนโทรปี ดังนั้น บ่อยครั้ง (เช่น ในโจทย์สถิติทางคณิตศาสตร์) การใช้ลอการิทึมธรรมชาติอาจสะดวกกว่า
ดังนั้นเอนโทรปีของระบบ x (\displaystyle x)เป็นผลรวมที่มีเครื่องหมายตรงกันข้ามของความถี่สัมพัทธ์ทั้งหมดของการเกิดขึ้นของสถานะ (เหตุการณ์) ด้วยตัวเลข ผม (\displaystyle ผม)คูณด้วยไบนารีลอการิทึมของตนเอง คำนิยามสำหรับเหตุการณ์สุ่มแบบไม่ต่อเนื่องสามารถขยายเป็นทางการได้ การกระจายอย่างต่อเนื่องกำหนดโดยการกระจายความหนาแน่นของความน่าจะเป็น อย่างไรก็ตาม การทำงานที่ได้จะมีคุณสมบัติที่แตกต่างกันบ้าง (ดูที่ ดิฟเฟอเรนเชียลเอนโทรปี)
คำจำกัดความตามแชนนอน
คำจำกัดความของเอนโทรปีของแชนนอนนั้นเชื่อมโยงกับแนวคิดของเทอร์โมไดนามิกส์เอนโทรปี Boltzmann และ Gibbs ทำผลงานได้อย่างยอดเยี่ยม อุณหพลศาสตร์เชิงสถิติซึ่งนำไปสู่การยอมรับคำว่า "เอนโทรปี" ในทฤษฎีสารสนเทศ มีการเชื่อมต่อระหว่างเอนโทรปีทางอุณหพลศาสตร์และข้อมูล ตัวอย่างเช่น ปีศาจของแม็กซ์เวลล์ยังขัดแย้งกับเอนโทรปีทางอุณหพลศาสตร์ของข้อมูล และการได้รับข้อมูลจำนวนเท่าใดก็ได้เท่ากับการสูญเสียเอนโทรปี
คำจำกัดความโดยใช้ข้อมูลของตัวเอง
นอกจากนี้ยังเป็นไปได้ที่จะกำหนดเอนโทรปีของตัวแปรสุ่มโดยแนะนำแนวคิดของการแจกแจงของตัวแปรสุ่มก่อน X (\displaystyle X)ซึ่งมีค่าเป็นจำนวนจำกัด:
P X (x i) = p i , p i ≥ 0 , i = 1 , 2 , … , n (\displaystyle P_(X)(x_(i))=p_(i),\quad p_(i)\geqslant 0,\ ;i=1,\;2,\;\ldots ,\;n) ∑ i = 1 n p i = 1 (\displaystyle \sum _(i=1)^(n)p_(i)=1) I (X) = − ล็อก P X (X) . (\displaystyle I(X)=-\log P_(X)(X))จากนั้นเอนโทรปีถูกกำหนดเป็น:
H (X) = E (I (X)) = − ∑ i = 1 n p (i) บันทึก p (i) . (\displaystyle H(X)=E(I(X))=-\sum _(i=1)^(n)p(i)\log p(i))หน่วยวัดปริมาณข้อมูลและเอนโทรปีขึ้นอยู่กับฐานของลอการิทึม: bit, nat, trit หรือ hartley
คุณสมบัติ
เอนโทรปีคือปริมาณที่กำหนดในบริบทของแบบจำลองความน่าจะเป็นสำหรับแหล่งข้อมูล ตัวอย่างเช่น การโยนเหรียญมีค่าเอนโทรปี:
แหล่งที่มาที่สร้างสตริงที่ประกอบด้วยตัวอักษร "A" เท่านั้นที่มีค่าเอนโทรปีเป็นศูนย์: − ∑ i = 1 ∞ บันทึก 2 1 = 0 (\displaystyle -\sum _(i=1)^(\infty )\log _(2)1=0)และปริมาณ รัฐที่เป็นไปได้เท่ากับ: 2 0 = 1 (\displaystyle 2^(0)=1) สถานะที่เป็นไปได้(ค่า) ("A") และไม่ขึ้นอยู่กับฐานของลอการิทึม
นี่เป็นข้อมูลที่ต้องนำมาพิจารณาด้วย ตัวอย่างอุปกรณ์เก็บข้อมูลที่ใช้บิตที่มีค่าเอนโทรปีเท่ากับศูนย์ แต่มี จำนวนข้อมูลเท่ากับ 1 สถานะที่เป็นไปได้, เช่น. ไม่ใช่ศูนย์คือบิตข้อมูลที่เขียนลงใน ROM ซึ่งแต่ละบิตมีเพียงหนึ่งเดียวเท่านั้น สถานะที่เป็นไปได้.
ตัวอย่างเช่น มันสามารถพิสูจน์ได้จากการทดลองว่าเอนโทรปี ข้อความภาษาอังกฤษเท่ากับ 1.5 บิตต่ออักขระ ซึ่งแน่นอนว่าจะแตกต่างกันไปตามข้อความต่างๆ ระดับของเอนโทรปีของแหล่งข้อมูลหมายถึงจำนวนบิตเฉลี่ยต่อองค์ประกอบข้อมูลที่จำเป็นในการเข้ารหัสข้อมูลโดยไม่สูญเสียข้อมูลด้วยการเข้ารหัสที่เหมาะสมที่สุด
- ข้อมูลบางบิตอาจไม่นำข้อมูล ตัวอย่างเช่น โครงสร้างข้อมูลมักจะจัดเก็บข้อมูลที่ซ้ำซ้อน หรือมีส่วนที่เหมือนกันโดยไม่คำนึงถึงข้อมูลในโครงสร้างข้อมูล
- จำนวนเอนโทรปีไม่ได้แสดงเป็นจำนวนบิตเสมอไป
คุณสมบัติทางคณิตศาสตร์
- การไม่ปฏิเสธ: H (X) ⩾ 0 (\displaystyle H(X)\geqslant 0).
- ข้อจำกัด: H (X) = − E (ล็อก 2 p i) = ∑ i = 1 n p i log 2 1 p i = ∑ i = 1 n p i f (g i) ⩽ f (∑ i = 1 n p i g i) = บันทึก 2 n (\displaystyle H(X)=-E(\log _(2)p_(i))=\sum _(i=1)^(n)p_(i)\log _(2)(\frac (1)(p_ (i)))=\sum _(i=1)^(n)p_(i)f(g_(i))\leqslant f\left(\sum _(i=1)^(n)p_(i )g_(i)\right)=\log _(2)n)ซึ่งตามมาจากอสมการเซ่นสำหรับฟังก์ชันเว้า f (g i) = บันทึก 2 g i (\displaystyle f(g_(i))=\log _(2)g_(i))และ g i = 1 pi (\displaystyle g_(i)=(\frac (1)(p_(i)))). ฉันตก n (\displaystyle n)องค์ประกอบจาก X (\displaystyle X)เท่าเทียมกัน, H (X) = บันทึก 2 n (\displaystyle H(X)=\log _(2)n).
- ถ้าเป็นอิสระแล้ว H (X ⋅ Y) = H (X) + H (Y) (\displaystyle H(X\cdot Y)=H(X)+H(Y)).
- เอนโทรปีเป็นฟังก์ชันนูนขึ้นของการแจกแจงความน่าจะเป็นขององค์ประกอบต่างๆ
- ถ้า X , Y (\displaystyle X,\;Y)มีการกระจายความน่าจะเป็นขององค์ประกอบที่เท่ากัน แล้ว H (X) = H (Y) (\displaystyle H(X)=H(Y)).
ประสิทธิภาพ
ตัวอักษรอาจมีการแจกแจงความน่าจะเป็นไม่สม่ำเสมอ หากตัวอักษรดั้งเดิมประกอบด้วย n (\displaystyle n)อักขระจากนั้นสามารถเปรียบเทียบได้กับ "ตัวอักษรที่ปรับให้เหมาะสม" ซึ่งการแจกแจงความน่าจะเป็นจะเหมือนกัน อัตราส่วนเอนโทรปีของตัวอักษรดั้งเดิมและตัวอักษรที่ปรับให้เหมาะสมคือ ประสิทธิภาพตัวอักษรต้นฉบับ ซึ่งสามารถแสดงเป็นเปอร์เซ็นต์ได้ ประสิทธิภาพของตัวอักษรต้นฉบับด้วย n (\displaystyle n)อักขระยังสามารถกำหนดเป็นของมัน n (\displaystyle n)- เอนโทรปี
เอนโทรปีจำกัดการบีบอัดแบบไม่สูญเสียข้อมูลสูงสุดที่เป็นไปได้ (หรือเกือบจะไม่มีการสูญเสีย) ที่สามารถรับรู้ได้โดยใช้ชุดทางทฤษฎีทั่วไป หรือในทางปฏิบัติ การเข้ารหัสแบบ Huffman การเข้ารหัสแบบ Lempel-Ziv-Welch หรือการเข้ารหัสแบบเลขคณิต
การเปลี่ยนแปลงและลักษณะทั่วไป
ข- เอนโทรปี
โดยทั่วไป ข- เอนโทรปี(ที่ไหน ขเท่ากับ 2, 3, ...) แหล่งที่มา S = (S , P) (\displaystyle (\mathcal (S))=(S,\;P))ด้วยตัวอักษรดั้งเดิม S = ( a 1 , … , a n ) (\displaystyle S=\(a_(1),\;\ldots ,\;a_(n)\))และการแจกแจงความน่าจะเป็นแบบไม่ต่อเนื่อง P = ( p 1 , … , p n ) , (\displaystyle P=\(p_(1),\;\ldots ,\;p_(n)\))ที่ไหน pi (\displaystyle p_(i))คือความน่าจะเป็น ( pi = p (a i) (\displaystyle p_(i)=p(a_(i)))) กำหนดโดยสูตร:
H b (S) = − ∑ i = 1 n p i log b p i (\displaystyle H_(b)((\mathcal (S)))=-\sum _(i=1)^(n)p_(i)\log _(b)p_(i))โดยเฉพาะอย่างยิ่งเมื่อ b = 2 (\displaystyle b=2)เราจะได้เอนโทรปีแบบไบนารีตามปกติซึ่งวัดเป็นบิต ที่ b = 3 (\displaystyle b=3)เราได้รับเอนโทรปีไตรภาคที่วัดเป็นไตรทส์ (หนึ่งทริทมีแหล่งข้อมูลที่มีสามสถานะที่เท่าเทียมกัน) ที่ b = อี (\displaystyle b=e)เราได้รับข้อมูลที่วัดเป็น nats
เอนโทรปีแบบมีเงื่อนไข
หากลำดับของตัวอักษรไม่เป็นอิสระต่อกัน (เช่น ในภาษาฝรั่งเศส ตัวอักษร "q" มักจะตามด้วย "u" และหลังคำว่า "ผู้นำ" ในหนังสือพิมพ์โซเวียต คำว่า "การผลิต" หรือ "แรงงาน" มักจะตามมาด้วย) ปริมาณของข้อมูลที่ดำเนินการตามลำดับของสัญลักษณ์ดังกล่าว (และด้วยเหตุนี้เอนโทรปี) จึงมีขนาดเล็กลงอย่างเห็นได้ชัด เอนโทรปีตามเงื่อนไขใช้เพื่ออธิบายข้อเท็จจริงดังกล่าว
เอนโทรปีแบบมีเงื่อนไขลำดับที่หนึ่ง (ในทำนองเดียวกันสำหรับแบบจำลองมาร์คอฟลำดับที่หนึ่ง) เรียกว่าเอนโทรปีของตัวอักษรซึ่งทราบความน่าจะเป็นของการปรากฏตัวของตัวอักษรหนึ่งตัวหลังจากนั้นอีกตัว (นั่นคือความน่าจะเป็นของการผสมสองตัวอักษร):
H 1 (S) = − ∑ i p i ∑ j p i (j) บันทึก 2 p i (j) , (\displaystyle H_(1)((\mathcal (S)))=-\sum _(i)p_(i) \sum _(j)p_(i)(j)\log _(2)p_(i)(j),)ที่ไหน ผม (\displaystyle ผม)เป็นสถานะที่ขึ้นอยู่กับอักขระก่อนหน้า และ pi (j) (\displaystyle p_(i)(j))คือความน่าจะเป็น j (\displaystyle j)โดยมีเงื่อนไขว่า ผม (\displaystyle ผม)เป็นตัวละครก่อนหน้า
ตัวอย่างเช่น สำหรับภาษารัสเซียที่ไม่มีตัวอักษร "ё" H 0 = 5 , H 1 = 4.358 , H 2 = 3 , 52 , H 3 = 3 , 01 (\displaystyle H_(0)=5,\;H_(1)=4(,)358,\;H_( 2)=3(,)52,\;H_(3)=3(,)01) .
เอนโทรปีแบบมีเงื่อนไขบางส่วนและทั่วไปอธิบายการสูญเสียข้อมูลอย่างสมบูรณ์ระหว่างการส่งข้อมูลในช่องสัญญาณที่มีสัญญาณรบกวน สำหรับสิ่งนี้เรียกว่า เมทริกซ์ช่อง. เพื่ออธิบายความสูญเสียที่ฝั่งต้นทาง (นั่นคือ สัญญาณที่ส่งเป็นที่รู้จัก) จะพิจารณาความน่าจะเป็นแบบมีเงื่อนไขที่ผู้รับจะได้รับสัญลักษณ์ โดยมีเงื่อนไขว่าสัญลักษณ์นั้นถูกส่งไปแล้ว ฉัน (\displaystyle a_(i)). ในกรณีนี้ เมทริกซ์ของช่องมีรูปแบบดังต่อไปนี้:
| b 1 (\displaystyle b_(1)) | b 2 (\displaystyle b_(2)) | … | b j (\displaystyle b_(j)) | … | ข ม (\displaystyle b_(ม)) | |
|---|---|---|---|---|---|---|
| a 1 (\displaystyle a_(1)) | p (b 1 ∣ a 1) (\displaystyle p(b_(1)\กลาง a_(1))) | p (b 2 ∣ a 1) (\displaystyle p(b_(2)\mid a_(1))) | … | p (b j ∣ a 1) (\displaystyle p(b_(j)\กลาง a_(1))) | … | p (b m ∣ a 1) (\displaystyle p(b_(m)\mid a_(1))) |
| a 2 (\displaystyle a_(2)) | p (b 1 ∣ a 2) (\displaystyle p(b_(1)\mid a_(2))) | p (b 2 ∣ a 2) (\displaystyle p(b_(2)\กลาง a_(2))) | … | p (b j ∣ a 2) (\displaystyle p(b_(j)\กลาง a_(2))) | … | p (b m ∣ a 2) (\displaystyle p(b_(m)\mid a_(2))) |
| … | … | … | … | … | … | … |
| ฉัน (\displaystyle a_(i)) | p (b 1 ∣ ai) (\displaystyle p(b_(1)\mid a_(i))) | p (b 2 ∣ ai) (\displaystyle p(b_(2)\กลาง a_(i))) | … | p (b j ∣ ai) (\displaystyle p(b_(j)\กลาง a_(i))) | … | p (b m ∣ ai) (\displaystyle p(b_(m)\mid a_(i))) |
| … | … | … | … | … | … | … |
| แอม (\displaystyle a_(m)) | p (b 1 ∣ a m) (\displaystyle p(b_(1)\mid a_(m))) | p (b 2 ∣ a m) (\displaystyle p(b_(2)\mid a_(m))) | … | p (b j ∣ a m) (\displaystyle p(b_(j)\กลาง a_(m))) | … | p (b m ∣ a m) (\displaystyle p(b_(m)\กลาง a_(m))) |
เห็นได้ชัดว่าความน่าจะเป็นที่อยู่ตามแนวทแยงอธิบายความน่าจะเป็นของการรับสัญญาณที่ถูกต้องและผลรวมขององค์ประกอบทั้งหมดของแถวใด ๆ จะให้ 1 ความสูญเสียที่เกิดจากสัญญาณที่ส่ง ฉัน (\displaystyle a_(i))มีการอธิบายในแง่ของเอนโทรปีแบบมีเงื่อนไขบางส่วน:
H (B ∣ a i) = − ∑ j = 1 m p (b j ∣ a i) บันทึก 2 p (b j ∣ a i) . (\displaystyle H(B\กลาง a_(i))=-\sum _(j=1)^(m)p(b_(j)\กลาง a_(i))\log _(2)p(b_( ญ)\กลาง a_(i)).)ในการคำนวณการสูญเสียการส่งของสัญญาณทั้งหมด จะใช้เอนโทรปีตามเงื่อนไขทั้งหมด:
H (B ∣ A) = ∑ i p (a i) H (B ∣ a i) . (\displaystyle H(B\mid A)=\sum _(i)p(a_(i))H(B\mid a_(i)).)H (B ∣ A) (\displaystyle H(B\กลาง A))หมายถึงเอนโทรปีในด้านแหล่งที่มาโดยพิจารณาในทำนองเดียวกัน H (A ∣ B) (\displaystyle H(A\กลาง B))- เอนโทรปีจากฝั่งรับ: แทน p (b j ∣ ai) (\displaystyle p(b_(j)\กลาง a_(i)))มีระบุไว้ทุกที่ p (ai ∣ b j) (\displaystyle p(a_(i)\mid b_(j)))(โดยการรวมองค์ประกอบของแถว คุณจะได้ p (a i) (\displaystyle p(a_(i)))และองค์ประกอบของเส้นทแยงมุมหมายถึงความน่าจะเป็นที่อักขระที่ได้รับถูกส่ง นั่นคือ ความน่าจะเป็นของการส่งสัญญาณที่ถูกต้อง)
เอนโทรปีซึ่งกันและกัน
เอนโทรปีร่วมกันหรือ เอนโทรปีของสหภาพได้รับการออกแบบมาเพื่อคำนวณเอนโทรปีของระบบที่เชื่อมต่อกัน (เอนโทรปีของลักษณะร่วมของข้อความที่ขึ้นอยู่กับสถิติ) และแสดงแทน H (A B) (\displaystyle H(AB)), ที่ไหน เอ (\displaystyle A) characterizes เครื่องส่งสัญญาณและ B (\displaystyle B)- เครื่องรับ
