Informatii generale
- Categorie: Utilitar
- Judetul: Constanța
- Surse: GitHub - Al-del/InstaSight
Descriere
Navigarea în spații necunoscute reprezintă o provocare zilnică pentru milioanele de persoane cu deficiențe de vedere. În prezent, opțiunile lor se limitează la bățul alb - care necesită ani de antrenament și oferă o detecție limitată a obstacolelor - sau câinii ghizi, a căror pregătire durează luni și costă sute de dolari.
InstaSight vine să răspundă acestei nevoi critice prin transformarea smartphone-ului într-un ghid personal inteligent. Aplicația noastră utilizează tehnologii avansate pentru a oferi o experiență completă de navigare. Prin combinarea GPS-ului cu algoritmi de computer vision, InstaSight nu doar calculează ruta optimă, ci și detectează obstacolele în timp real. Camera dispozitivului transmite un flux video către un server self hosted, unde modelele YOLO și MiDAS analizează scenariul, identificând atât obiectele, cât și distanțele până la acestea.
Dar ce face InstaSight cu adevărat unic este modul în care transmite aceste informații utilizatorului. Sistemul include vibrații diferențiate pentru obstacole apropiate, sunet spațial pentru orientare și indicii vocale clare. Pentru o siguranță maximă, am integrat și un mecanism de monitorizare a nivelului de concentrare, care ajustează avertizările în funcție de starea utilizatorului.
Nu ne-am oprit însă aici. Am înțeles că independența adevărată vine și prin conexiuni umane. De aceea, InstaSight include un sistem social care permite persoanelor nevăzătoare să se conecteze cu asistenți, să partajeze locația în timp real și să primească ajutor imediat în caz de nevoie. Funcția de remindere adaugă un alt strat de utilitate, transformând telefonul într-un organizer personal accesibil.
Tehnologii
Aplicația a fost construită pe un stack modern Angular, cu TypeScript pentru logică robustă, SCSS pentru styling modular și HTML semantic. Am implementat Server-Side Rendering pentru a asigura încărcare rapidă și accesibilitate îmbunătățită. Partea de frontend a fost optimizată special pentru nevoile utilizatorilor cu deficiențe de vedere, incorporând un sistem de vibrații codificate după modelul Braille care transformă textul și indicațiile de navigare în feedback tactil intuitiv.
Interfața folosește contrast ridicat și elemente de dimensiuni mari pentru a fi accesibilă și persoanelor cu vedere parțială. Sistemul de autentificare se bazează pe Firebase Auth, cu datele utilizatorilor stocate securizat cu hashing. Pentru protecție suplimentară, am folosit tuneluri criptate prin Cloudflared și Ngrok care asigură comunicarea sigură între dispozitivele utilizatorilor și serverele noastre.
Backend-ul, scris în Python cu framework-ul Flask, gestionează procesarea video în timp real. Am ales PyTorch cu accelerare CUDA pentru inferențe rapide ale modelelor noastre de computer vision, combinate cu OpenCV și PIL pentru pre-procesarea imaginilor. Modelele YOLO și MiDAS au fost fine-tuned pe dataset-ul KITTI specializat pentru scenarii de navigație în exterior. Fluxul de date începe cu stream-ul video captat de camera dispozitivului și transmis prin WebRTC, un protocol P2P optimizat pentru transfer multimedia. Serverul analizează fiecare cadru, detectând obstacole cu YOLO și estimând distanțele cu MiDAS, apoi trimite înapoi instrucțiuni detaliate sub formă de vibrații codificate și feedback vocal prin API-ul TTS. Am integrat Leaflet pentru hărți interactive și Geolocation API pentru tracking precis, toate protejate prin reguli stricte de securitate în Firestore. Arhitectura modulară permite extinderea ușoară cu noi funcționalități, cum ar fi integrarea viitoare cu dispozitive wearable. Performanța este monitorizată constant, cu optimizări pentru reducerea latenței și consumului de baterie, făcând din InstaSight o soluție practică pentru utilizarea zilnică.
Cerinte sistem
Min 2GB RAM
5GB stocare pentru rularea aplicatiei
OS: Android, IOS, Windows / Linux( nu vor functiona vibratiile)
Conexiune internet
Acces la unul din aceste browsere: Safari, Firefox, Chrome
Realizatori
David Gheorghica IStrate
- Scoala: Colegiul National Mircea Cel Batran Constanta
- Clasa: 10
- Judet: Constanța
- Oras: Constanta
Screenshots
