語音軟夾

Flagship

語音識別機械手軟夾控制應用

2025國立陽明交通大學High priority
回到專案總覽Back to project archive

整合語音指令、物件辨識與 ROS 2 MoveIt MTC，讓機器手可依語音任務規劃抓取動作。

專案內容Project scope

  • 系統整合 OpenAI Whisper、Qwen3B 與 YOLOE，將自然語言任務轉為可執行的抓取目標。
  • 使用 PCL 點雲轉換生成夾取姿態，並透過 ROS 2 MoveIt MTC 規劃手臂路徑。
  • 目前紀錄顯示成功率約 90%，整體反應時間約 10 秒。

我的工作範圍My contribution

我主要負責Owned

  • ROS 2 通訊設置。
  • 手臂控制。
  • 夾取姿態設計。
  • 夾取流程設計。
  • 將辨識結果銜接至 MoveIt MTC 手臂路徑。

我協作的部分Collaborated

  • 團隊整合 OpenAI Whisper、Qwen3B 與 YOLOE 建立語音指令物件辨識系統。

非我主要負責Not my primary scope

  • 語音與影像辨識模型主要由其他成員負責。

專案影像Project evidence

語音控制軟夾展示環境
語音控制軟夾展示環境
手臂控制與系統執行畫面
手臂控制與系統執行畫面

技術與回顧Technology and review

ROS 2MoveIt MTCPCLWhisperQwen3BYOLOE
技術深度
待評分
個人主責
待評分
展示成熟度
待評分
回顧價值
待評分
0