[hearable watch-청각장애인용 스마트 워치]

1)한줄요약 : 머신러닝으로 소리가 발생했을 때 위험한 소리인지 분석하여 릴리패드로 진동과 LED로 종류를 알림.

 

2)본인 역할 : 임베디드 파트. 릴리패드와 센서들을 연결하고 소리신호를 wav파일로 바꿔서 서버로 전송

+세부내용: 릴리패드의 마이크 센서에서 일정 수준 이상의 소음 입력되면 먼저 LED로 크기를 나타내고,

유의미한 소리라고 판단하여 녹음이 시작되며 서버에서 인공지능으로 분석후 종류를 알려줌.

+양우희(머신러닝),강창훈(임베디드,자바),김혜빈(머신러닝)

 

3)본인이 사용한 스킬 : Arduino, C ,LIly pad

+팀원스킬: Machind Learning(MFCC,HMM)+Matlab, JAVA

 

4)힘들었던 점: 

1.회로가 작동하도록 설계 했는데 전체를 연결하면 진동 센서가 동작 안함. 

->먼저 절차적으로 꼬이는 것이 있는지 확인을 해보고, 두번쨰로 모듈별로 코드를 분리해서 돌려봄.

-> 각각 돌렸을 때  이상이 없자 소프트웨어가 아닌 하드웨어 관점으로 접근해 생각해보았고 전력초과라는 원인을 찾아서 트랜지스터(전력을 증폭시키는 반도체소자)를 추가해서 해결.(아두이노로 연습당시)

2.분석에 필요한 녹음길이가 아두이노 메모리를 초과-> 실시간 전송 대신 서버에 저장해둔 녹음 파일을 분석하여 결과값을 자바의 시리얼 통신을 통해, LED를 이진수로 출력을 하였음.

 

5)아쉬운 점: 완성도가 높지 않았다. 추후에 버전 업그레이드 함( 링크:  포트폴리오로 정리한 "청각장애인용 스마트앱")

+왜 그랬을까? 하드웨어 스펙에 대한 조사가 충분히 이루어지지 않았다. (메모리 용량때문에 전체 wav 파일 녹음 불가, 시리얼통신으로 대체)