任何一種語言都是一種編碼的方式,而語言的語法規則是編解碼的演算法。
對一個隨機事件的概率分佈進行預測時,我們的預測應當滿足全部已知條件,而對未知的情況不要做任何主觀假設。
不同文字系統在記錄資訊上的能力是等價的。進一步講,文字只是資訊的載體,而非資訊本身。
分散式和容錯*是網際網路的生命。
簡單*和模組化是軟體工程的基石。越簡單越可靠,模組化的可複用。
語料掌握的越豐富,對語言掌握的越好。
概括和歸類是一種壓縮資訊的方法,可以減少冗餘。