Informatii generale
- Categorie: Utilitar
- Judetul: Teleorman
- Surse: GitHub - lucasmanea21/cognify
Descriere
Cognify este o solutie hardware-software ce permite, printre altele, controlul calculatorului doar cu ajutorul gandurilor, fara nevoia unui mouse / tastatura.
Folosind un 4-channel OpenBCI EEG headband cu Ganglion Board, laptopul primeste in timp real datele electrice (EEG) de la fiecare electrod si le decodeaza, cu ajutorul unui model ML. Astfel, daca utilizatorul se gandeste la miscarea mouse-ului in orice directie, programul interpreteaza si misca cursorul.
Features
Focus: programul afiseaza in timp real nivelul de concentrare, stres si atentie ale utilizatorului, si ofera insights. Userul poate porni un “focus session” si vedea apoi statistici pentru durata sesiunii (ex. nivelul de atentie in timpul programarii).
Mind Control: folosind modelul AI, programul primeste datele electrice de la creier in timp real, si, in functie de similaritatea cu acesta, permite mutarea cursorului, click, deschiderea taburilor laptopului, etc.
Custom Training: cu ajutorul aplicatiei, utilizatorul poate antrena modelul pentru a crea controale custom, precum schimbarea aplicatiilor, key combinations, etc.
Tehnologii
Aplicatie
- Electron.js pentru aplicatia nativa macOS
- React + Tailwind + jotai
Backend
Datele pentru antrenarea AI-ului sunt obtinute prin ajutorul GUI-ului de antrenament (modelul initial este antrenat doar pe inregistrarile mele), iar modelul este de tip Random Forest Classifier.
Pentru obtinerea datelor de antrenament, subiectul trebuie sa isi imagineze o actiune (mouse up, mouse down, click, etc.) in sesiuni de cate 10 secunde, cu 5 secunde de pauza, programul salvand datele pentru fiecare channel ca CSV.
In teorie, cu suficiente date de antrenament, modelul poate clasifica un range foarte mare de ganduri.
Tehnologii:
- Flask
- Supabase
- Scikit-learn, Matplotlib, Numpy, etc. pentru data processing, ML, data visuals, etc.
- pyautogui, pentru computer control
- Tkinter, pentru GUI
- Brainflow
- OpenBCI
- Postman, pentru testarea API-ului
Hardware
- OpenBCI 4-channel Headband Kit (4 electrozi + 2 ear strips)
- OpenBCI Ganglion Board
- 500mAH 3.7V Lipo Lithium battery + MicroLipo USB charger
Cerinte sistem
- laptop cu MacOS
Realizatori
Lucas Manea
- Scoala: Colegiul National “Alexandru Ioan Cuza”
- Clasa: 12
- Judet: Teleorman
- Oras: Alexandria
Screenshots
