芯耀
144
一、 拋出問題
租車出游或是借用他人車輛時，我總會陷入操作困境。車內(nèi)功能五花八門，按鈕位置、功能菜單一概不知。想打開尾箱，手指在車內(nèi)摸索半天也找不到開關；要加油了，卻怎么也找不到油箱蓋的開啟按鈕，滿心都是無助與迷茫。
獨自駕車踏上旅程，想提前在目的地周邊精挑好評餐館，預訂舒適旅店，把行程安排得細致妥帖。要是途中遇到油箱見底，需要沿途找個加油站，確保愛車?“能量滿滿”。
行車途中，難免意外不期而至。前一刻還在有條不紊地規(guī)劃行程，下一秒意外突然降臨，瞬間大腦一片空白，整個人慌了神，手腳都不知道該怎么放，完全不知道如何應對，只覺得孤立無援。
目前的確有不同途徑解決以上問題，但能否有更簡潔方式呢？今年DeepSeek的不期而遇，使我有更多想法
二、 想法
一個智能語言人機界面。通過喚醒語，激活語音輸入功能，系統(tǒng)幫你實現(xiàn)各種功能。
1、 車輛功能語言操作
（1）如開關前大燈、遠光、雨刷。開個空調(diào)，設置溫度，除除前擋玻璃的霧氣。播放音樂，開開油箱蓋，檢查車門是否關好等等，出來一些安全操作外，這些都可以手不離開方向盤，通過語言輸入實現(xiàn)。
（2）此前有新聞司機突發(fā)疾病或車子無法制動，是否能通過語音繞過機械踏板，這都可以探討。部分安全操作，可以增加二次確認的環(huán)節(jié)。
（3）導航目前可以使用語言控制，可以與這系統(tǒng)整合在一起。而且可以增加更多智能互動，如目的地餐飲旅館介紹，旅游景點介紹。甚至可以進行預定服務。
2、 車輛功能、應急指導
（1）在大語言模型加持下，把汽車相關安全知識，汽**冊等做成本地知識庫，需要時不需再到厚厚的操作手冊中翻找，或拿起手機臨時搜索。而且可以在屏幕上顯示相關操作視頻。
（2）當有網(wǎng)絡可以使用聯(lián)網(wǎng)方式獲取更準確詳盡的信息，無網(wǎng)絡下（如邊遠地區(qū)）也可以通過本地部署的簡潔模型，為使用者提供服務。
（3）需要時可以通過連接的手機撥打救援電話；
3、 司機在駕駛時，不方便使用手機，語音對話功能會更方便安全。同時屏幕可以輔助顯示關鍵信息。
三、 本項目實現(xiàn)功能
1、 系統(tǒng)圖
1、 硬件：
顯示屏：顯示處理過程、語義分類情況、Deepseek的回復等信息
音箱：輸出語義分類及Deepseek的回復
2、 音頻處理：語音輸入輸出使用sherpa_onnx庫，是一個基于 ONNX 運行時的開源語音處理庫，支持多種語音相關任務，包括語音識別、語音合成、說話人識別、語言識別等。ASR使用sherpa-ncnn-streaming-zipformer-bilingual-zh-en模型，TTS使用vits-melo-tts-zh_en模型，支持中英文輸入輸出。
3、 樸素貝葉斯語義分類，使用”開”、“關”、“大燈”、“雨刷”等17個關鍵詞，進行語義分類，共分“導航命令”、“Deepseek查詢”、“打開前大燈命令”等9個分類，分類算法見源碼附件中的excel表格。
4、?大型語言模型，使用本地部署的Deepseek 1.5B模型，查詢后，通過語音播送出來。
5、樹莓派5同時運行多個AI算法，比較勉強，程序中我同時使用三個核，一個核進行語音識別和語義分類，一核進行Deepseek查詢，一核進行語音合成。這樣核間通信比較簡單，只有字符串，核與核之間通信使用Pipe方式。
四、 實現(xiàn)效果以及源碼
百度網(wǎng)盤鏈接:?https://pan.baidu.com/s/10i-BarrN5Fz1N99xAMtGxQ&Pwd=c77j?提取碼: c77j
五、 不足與展望
2、受個人能力限制，樸素貝葉斯語義分類只是使用手工做了個簡單的分類。
3、ASR與TTS更換不同模型，可以支持更多語種，本項目中只是支持中英文兩種。
閱讀全文
