樹莓派5智能對話系統(tǒng)移植

在當(dāng)今人工智能技術(shù)迅猛發(fā)展的浪潮里，大模型如雨后春筍般不斷涌現(xiàn)，似乎已成為各個項(xiàng)目中不可或缺的關(guān)鍵要素。從智能家居領(lǐng)域到智能辦公場景，從教育行業(yè)到娛樂產(chǎn)業(yè)，AI的應(yīng)用場景持續(xù)拓展延伸。而人工智能對話機(jī)器人，更是一躍成為當(dāng)下最為熱門的項(xiàng)目類型之一。眾多開發(fā)者競相涌入這一賽道，全力嘗試打造出令人稱奇的智能語音助手，期望能讓AI真正無縫融入人們的日常生活。就最新情況而言，小智（Xiaozhi - ESP32）無疑是當(dāng)前極為成功的項(xiàng)目典范，在剛剛過去的農(nóng)歷新年期間成為大眾熱議的焦點(diǎn)，網(wǎng)友們口口相傳，熱度居高不下。

將小智移植到樹莓派5上，不僅能夠充分挖掘并發(fā)揮樹莓派5的硬件優(yōu)勢，還可流暢且高效地完成對話交互內(nèi)容，為**智能體的開發(fā)工作夯實(shí)基礎(chǔ)，鋪平前行道路。本項(xiàng)目內(nèi)容將詳細(xì)地從環(huán)境搭建開始，一步步深入到運(yùn)行py - xiaozhi項(xiàng)目，進(jìn)行全方位、手把手式的細(xì)致講解，尤其適合剛剛接觸樹莓派pi5的新手朋友。同時，在講解過程中還會分享這段時間探索項(xiàng)目時積累總結(jié)的寶貴經(jīng)驗(yàn)，助力大家更好地理解與實(shí)踐。

# 主要組件交互關(guān)系
while running:
    1. GUI線程 --> 消息隊(duì)列 --> 更新**記錄
    2. MQTT線程 --> 接收云端指令 --> 控制音頻會話
    3. 音頻線程 --> UDP加密傳輸 --> 實(shí)現(xiàn)雙向語音
    4. 心跳線程 --> 維持連接 --> 處理會話超時

 

def on_space_key_press():
    global key_state, udp_socket, aes_opus_info, listen_state, conn_state
    if key_state == "press":
        return
    key_state = "press"
    # 判斷是否需要發(fā)送hello消息
    if conn_state is False or aes_opus_info['session_id'] is None:
        conn_state = True
        # 發(fā)送hello消息,建立udp連接
        hello_msg = {"type": "hello", "version": 3, "transport": "udp",
                     "audio_params": {"format": "opus", "sample_rate": 16000, "channels": 1, "frame_duration": 60}}
        push_mqtt_msg(hello_msg)
        print(f"send hello message: {hello_msg}")
    if tts_state == "start" or tts_state == "entence_start":
        # 在播放狀態(tài)下發(fā)送abort消息
        push_mqtt_msg({"type": "abort"})
        print(f"send abort message")
    if aes_opus_info['session_id'] is not None:
        # 發(fā)送start listen消息
        msg = {"session_id": aes_opus_info['session_id'], "type": "listen", "state": "start", "mode": "manual"}
        print(f"send start listen message: {msg}")
        push_mqtt_msg(msg)


def on_space_key_release():
    global aes_opus_info, key_state
    key_state = "release"
    # 發(fā)送stop listen消息
    if aes_opus_info['session_id'] is not None:
        msg = {"session_id": aes_opus_info['session_id'], "type": "listen", "state": "stop"}
        print(f"send stop listen message: {msg}")
        push_mqtt_msg(msg)


# def on_press(key):
#     if key == pynput_keyboard.Key.space:
#         on_space_key_press(None)


# def on_release(key):
#     if key == pynput_keyboard.Key.space:
#         on_space_key_release(None)
#     # Stop listener
#     if key == pynput_keyboard.Key.esc:
#         return False


def run():
    global mqtt_info, mqttc
    # 獲取mqtt與版本信息
    get_ota_version()
    # 監(jiān)聽鍵盤按鍵，當(dāng)按下空格鍵時，發(fā)送listen消息
    # listener = pynput_keyboard.Listener(on_press=on_press, on_release=on_release)
    # listener.start()
    button = Button(16)
    button.when_pressed = on_space_key_press
    button.when_released = on_space_key_release
    # 創(chuàng)建客戶端實(shí)例
    mqttc = mqtt.Client(callback_api_version=mqtt.CallbackAPIVersion.VERSION2, client_id=mqtt_info['client_id'])
    mqttc.username_pw_set(username=mqtt_info['username'], password=mqtt_info['password'])
    mqttc.tls_set(ca_certs=None, certfile=None, keyfile=None, cert_reqs=mqtt.ssl.CERT_REQUIRED,
                  tls_version=mqtt.ssl.PROTOCOL_TLS, ciphers=None)
    mqttc.on_connect = on_connect
    mqttc.on_message = on_message
    mqttc.connect(host=mqtt_info['endpoint'], port=8883)
    mqttc.loop_forever()


if __name__ == "__main__":
    audio = pyaudio.PyAudio()
    run()

部分關(guān)鍵代碼

人工智能已經(jīng)把人類帶向了一個前所未有的繁榮，樹莓派作以其優(yōu)越的性能，成為了承載人工智能運(yùn)行的實(shí)體，走進(jìn)平凡人家的最佳實(shí)踐。借助樹莓派，智能家居系統(tǒng)變得觸手可及。人們僅需通過簡單的語音指令，就能依托樹莓派搭載的人工智能程序，輕松操控家中的燈光、溫度與電器設(shè)備，讓生活變得更加便捷與舒適。在教育領(lǐng)域，樹莓派為學(xué)生們開啟了探索人工智能世界的大門。學(xué)生們可以利用它開展簡單的圖像識別、語音交互等實(shí)驗(yàn)項(xiàng)目，將抽象的人工智能理論知識轉(zhuǎn)化為生動有趣的實(shí)踐操作，極大地激發(fā)了他們對科技的熱愛與創(chuàng)新思維。在科研層面，樹莓派憑借其靈活的擴(kuò)展性，成為了眾多科研人員進(jìn)行小型人工智能實(shí)驗(yàn)的得力助手，幫助他們在有限的資源條件下，快速驗(yàn)證新的算法與模型，為人工智能技術(shù)的進(jìn)一步突破貢獻(xiàn)力量。隨著技術(shù)的不斷迭代升級，未來樹莓派有望在更多領(lǐng)域大放異彩，持續(xù)推動人工智能與日常生活深度融合，創(chuàng)造出更多令人驚喜的應(yīng)用場景 。

參考附件