python比較擅長與文本相關(guān)的操作。但現(xiàn)實世界中,對于非文本消息的處理也很普遍。例如:
(資料圖片)
◆通過有線、無線傳遞傳感器獲得的測量數(shù)據(jù)。
◆衛(wèi)星通過電磁波發(fā)送測量數(shù)據(jù)。
◆數(shù)據(jù)中心的數(shù)萬臺服務(wù)器發(fā)送當(dāng)前CPU的占用率信息、內(nèi)存占用量等眾多指標(biāo)數(shù)據(jù)。
以上數(shù)據(jù),當(dāng)然可以以文本方式發(fā)送,但是對于帶寬的占用驚人。假設(shè)某個對于PM2.5進行測量的傳感器,每隔一秒發(fā)送一次測量數(shù)據(jù),以文本方式發(fā)送消息,內(nèi)容如下:
"counter: 1, pm25: 170.24119426834042, timestamp: 2022-07-24 08:52:11.138894+00:00"
以上消息占用了81個字節(jié)。而如果能夠按照約定的格式直接發(fā)送二進制數(shù)據(jù),則只需要20個字節(jié),可以大幅提升傳輸效率。此外,以文本方式在本地保存?zhèn)鞲衅鲾?shù)據(jù),則一天就需要81*86400/1024=6834M字節(jié),對于傳感器這種體積小巧的嵌入式系統(tǒng),存儲空間極為有限,很快就會空間耗盡。因此,對非文本數(shù)據(jù)直接保存與讀取非常有必要。下面的代碼演示了傳感器類,以及傳感器測量數(shù)據(jù)的二進制文件存儲與讀取的基本操作。
import binasciiimport randomimport structfrom datetime import datetimefrom io import BytesIOfrom time import sleepimport arrowclass sensordata_v1(): def __init__(self): utc = arrow.utcnow() self._timestamp = utc.to("Asia/Shanghai") @property def counter(self) -> int: """ 計數(shù)器 Returns: int: 從0開始的計數(shù)器 """ return self._counter @counter.setter def counter(self, value: int): self._counter = value @property def pm25(self) -> float: """ PM25測量值 Returns: float: pm25的當(dāng)前測量值 """ return self._pm25 @pm25.setter def pm25(self, value: float): self._pm25 = value @property def timestamp(self) -> datetime: """ 當(dāng)前時點 Returns: datetime: 當(dāng)前的時間 """ return self._timestamp.datetime def __str__(self): """ 以文字輸出相關(guān)內(nèi)容 Returns: string: 說明性文字 """ return f"counter: {self.counter}, pm25: {self.pm25}, timestamp: {self.timestamp}" def __repr__(self): """ 輸出字節(jié)流的16進制內(nèi)容 Returns: string: 16進制顯示相關(guān)數(shù)值 """ return str(binascii.hexlify(self.toBytes())) def toBytes(self): """ 將相關(guān)數(shù)據(jù)轉(zhuǎn)換成為bytes,便于網(wǎng)絡(luò)傳輸或者寫入文件 Returns: bytes: 整合測量數(shù)據(jù)到字節(jié)流中 """ with BytesIO() as byio: byio.write(struct.pack("其中arrow是非常值得推薦的時間處理框架。python有內(nèi)置的時間處理框架,功能非常完善,但失之于亂與雜,掌握起來非常不易。而arrow則非常人性化,做到了拿來即用。其安裝過程非常簡單,直接pip install arrow即可。在示例程序中,為了能夠方便存儲,我們將時間戳直接用UNIX的timestamp來表示,轉(zhuǎn)換后為了保持精度,本例使用double(8字節(jié))存儲,如果要求不高,可以改為float(4字節(jié))。
sensordata_v1類使用@property裝飾器來定義屬性。總共有3個屬性:
◆counter-計數(shù)器。從0開始計數(shù)累加,后續(xù)保存到數(shù)據(jù)庫中時也方便檢索。
◆pm25-PM2.5測量值。在示例代碼中使用random.uniform模擬一個0到300的隨機浮點值,沒有什么太大的意義,保證每次不同即可。
◆timestamp-數(shù)據(jù)采集時的對應(yīng)時間。
str類函數(shù)
可以自定義,本例中用它來直觀的表示當(dāng)前的采集值。當(dāng)對sensordata_v1類的實例打印時,就會自動調(diào)用這個函數(shù)。
repr類函數(shù)
可以自定義,本例中用它來演示轉(zhuǎn)換成為字節(jié)流bytes時的16進制值。對于程序員來說,16進制來表示字節(jié)是比較自然的。
toBytes類函數(shù)具體展示了如何將類的屬性值轉(zhuǎn)換成為二進制字節(jié)流,主要依靠python內(nèi)置的struct模塊。在內(nèi)存中模擬文件打開一個BytesIO,并且依次寫入struct.pack編碼后的字節(jié)流,最終統(tǒng)一輸出。
fromBytes類函數(shù)具體展示了如何從字節(jié)流反解成為對象的屬性值。struct.pack與struct.unpack成對出現(xiàn)。
toFile函數(shù)將編碼好的字節(jié)流寫入二進制文件。寫入的模式為"wb",其中w代表全覆蓋寫入的意思,b代表二進制模式的意思。fromFile負責(zé)從二進制文件讀回保存的字節(jié)流,重新生成各個sensordata_v1對象。
生成的二進制文件,可以使用UltraEditor、InHex等。也可以直接使用vscode自帶的2進制文件瀏覽器擴展Hex Editor,顯示效果如下圖所示:
從圖中可以看出,二進制文件確實節(jié)省空間,但人類不容易理解,必然借助于專用工具與代碼來管理。但即使計算機與網(wǎng)絡(luò)能力強悍如斯,二進制文件與網(wǎng)絡(luò)上的字節(jié)流仍然必不可少,不可替代。
標(biāo)簽: