Informatii generale
- Categorie: Roboti
- Judetul: Bacău
- Surse: GitHub - tds-robotics/Bimo-Companion: Robot companion de birou bazat pe AI, dezvoltat de echipa TDS Robotics. Bimo utilizează Computer Vision și senzori biometrici (BLE) pentru a monitoriza stresul și a oferi suport emoțional utilizatorului. Proiect sustenabil, construit pe Raspberry Pi 5 pentru procesare Edge. · GitHub
Descriere
BIMO este un proiect de robotică și inteligență artificială dezvoltat de echipa TDS Robotics. Companionul este construit pe Raspberry Pi și integrează modele AI, recunoaștere vocală, analiză contextuală și senzori pentru a identifica indicii asociate stresului și a oferi sprijin emoțional utilizatorului. Proiectul își propune să promoveze sănătatea mintală și să demonstreze modul în care tehnologia poate contribui la bunăstarea oamenilor prin interacțiuni naturale și proactive.
Tehnologii
BIMO este un companion inteligent bazat pe Raspberry Pi 5, proiectat pentru monitorizarea multi-senzorială și interacțiunea vocală în timp real. Sistemul integrează o cameră CSI, microfon USB, difuzor, display LCD, servomotoare și o brățară Xiaomi Mi Band 4, conectată prin Bluetooth Low Energy (BLE) folosind autentificare prin MAC și auth_key, pentru achiziția în timp real a datelor biometrice.
Software-ul este implementat în Python pe Raspberry Pi OS, utilizând o arhitectură modulară bazată pe multi-threading și asyncio, fiecare funcționalitate fiind executată într-un serviciu independent. Interfața vocală utilizează SpeechRecognition (recognize_google) pentru recunoașterea online a vorbirii, iar în cazul pierderii conexiunii la internet sistemul comută automat pe Faster-Whisper, asigurând funcționarea offline pentru comenzile esențiale și menținerea funcționalităților de bază. Detectarea cuvântului de activare este realizată prin openWakeWord, iar sinteza vocală prin gTTS.
Analiza vizuală utilizează OpenCV, Picamera2 și DeepFace pentru estimarea expresiilor faciale și identificarea unor indicii asociate stresului și oboselii. Datele biometrice sunt colectate prin protocolul Bluetooth Low Energy, folosind biblioteca Bleak pentru comunicarea cu brățara inteligentă.
Dialogul contextual este gestionat prin intermediul modelelor lingvistice OpenAI, iar interfața grafică este implementată în Pygame, sincronizând expresiile afișate pe display cu mișcările servomotoarelor și răspunsurile vocale.
BIMO realizează fuziunea informațiilor provenite din analiza facială, parametrii biometrici și interacțiunea vocală pentru estimarea contextului utilizatorului și adaptarea comportamentului sistemului. Arhitectura este proiectată astfel încât componentele critice să continue să funcționeze chiar și în absența conexiunii la internet, asigurând degradarea controlată a serviciilor și continuitatea interacțiunii.
Avantaje: arhitectură modulară și extensibilă, funcționare hibridă online/offline, comutare automată între motoarele de recunoaștere vocală, procesare concurentă în timp real, integrare AI multimodală (audio, video și date biometrice), consum redus de energie și posibilitatea extinderii cu noi senzori și modele AI.
Cerinte sistem
Sursa de alimentare de 12V
Conexiune la internet(pentru functionare asistent AI)-2.4Ghz
Sistem de operare linux
Brațară Xiaomi Mi Band 4
Realizatori
Dumitru-Teodor Mititelu
- Scoala: Colegiul Tehnic “Dimitrie Ghika”
- Clasa: 9
- Judet: Bacău
- Oras: Dărmănești
DARIUS HRISTEA
- Scoala: Liceul Tehnologic “Dimitrie Ghika”
- Clasa: 9
- Judet: Bacău
- Oras: Comanesti
Screenshots


