Informatii generale
- Categorie: Utilitar
- Judetul: Arad
- Surse: https://github.com/PopRazvan-cell/Blind-Sight
Descriere
BlindSight este o aplicație mobilă concepută pentru a ajuta persoanele nevăzătoare să se deplaseze mai ușor și în siguranță în mediul urban. Proiectul combină inteligența artificială, senzori fizici ultrasonici și interfețe accesibile pentru a oferi un sistem complet de orientare. Utilizatorul primește feedback audio și vibrații în timp real atunci când sunt detectate semafoare, treceri de pietoni sau obstacole în cale.
Scopul aplicației este de a crește autonomia și siguranța persoanelor nevăzătoare, oferindu-le informații esențiale despre mediul din jur în timp real.
Tehnologii
• Aplicația identifică obiecte importante din spațiul urban (semafoare (rosu /verde), treceri de pietoni, semne de autobuz, farmacii si semne pentru treceri de pietoni) folosind un model de Machine Learning, creat integral de membrii echipei.
• La detectarea unui obiect, aplicația redă fișiere audio preînregistrate care informează utilizatorul despre natura obiectului detectat.
• O curea cu senzori ultrasonici conectată prin Bluetooth la telefon detectează obstacole aflate la o distanță mai mică de 50 cm. În funcție de distanță, aplicația transmite utilizatorului o vibrație și un mesaj audio cu distanța detectată.
• Interfața aplicației a fost adaptată pentru utilizatori nevăzători, cu gesturi swipe pentru accesarea meniului sau a tutorialelor și feedback audio pentru toate acțiunile și butoanele.
• Modelul de detecție a fost antrenat pe un dataset propriu de ~7000 de imagini, organizate și etichetate în Roboflow, antrenate cu YOLO11l.
• Modelul este optimizat și integrat în aplicație sub formă de .tflite pentru performanță ridicată pe dispozitive mobile.
Tehnologii Folosite
Dezvoltare Aplicație:
• Android Studio – platformă principală de dezvoltare
• Java, Kotlin, XML – pentru interfață și logică
• C++ – pentru integrare hardware (Arduino)
Inteligență Artificială:
• Roboflow – pentru labeling imagini și creare dataset
• YOLO11l – pentru antrenarea modelului de detecție
• Python, VS Code, Google Collab – pentru procesare și antrenare modele
• TensorFlow Lite – conversie și rulare model pe telefon
Hardware:
• Arduino ESP32 – conectat la senzori ultrasonici și comunicare prin Bluetooth
• Arduino UNO – pentru simularea unui semafor inteligent
Alte unelte și resurse:
• GitHub – pentru versionare cod: BlindSight Repo
• Google Drive – pentru stocare dataset
• ChatGPT, Grok, YouTube, Kaggle – pentru documentare și suport AI
Cerinte sistem
Telefon mobil cu Android 12 sau mai nou.
Conexiune Bluetooth.
Camera integrata in telefon.
40MB spatiu de stocare.
4GB RAM.
Cortex-A53 CPU.
Realizatori
Razvan Pop
- Scoala: Colegiul National Vasile Goldis Arad
- Clasa: 9
- Judet: Arad
- Oras: Arad
Norbert Kovacs
- Scoala: Colegiul National “Vasile Goldis”
- Clasa: 9
- Judet: Arad
- Oras: Arad
Screenshots
