HeyMySec

• GitHub Respository
• 음성으로 구글 캘린더에 스케쥴을 입력할 수 있는 어플리케이션 입니다.
• Flutter를 이용해서 개발했습니다.
• 안드로이드 버젼에 한해서 실행가능 합니다.
• 구글 로그인, 구글 캘린더 및 Gemini API를 이용합니다.

개발하게 된 계기

• 아래 글에 개발하게 된 이유가 설명되어 있습니다.
  • https://blog.naver.com/dolja21/223392231706
• 위와 같은 이유로 자연어 문장으로 이루어진 스케쥴 정보를 구글 캘린더에 정확하게 입력하는 앱을 구상하게 되었습니다.
• 처음에는 자연어 처리를 위한 AI 솔루션이 백엔드 서버로 존재하고, 앱에서는 파이어베이스 Realtime Database에 요청을 추가하면 백엔드 서버에서 배치작업으로 스케쥴 정보를 인식한 후 이를 다시 앱에 전달하는 방식으로 구현 했었습니다.
• 그런데 이 방식은 관리하는데 들어가는 비용측면, 그리고 여기에 사용한 슬롯필링, NER 등의 AI 모델의 정확성 문제로 인해서 지금의 방식으로 전환하였습니다.
• 지금은 위에서 구상했던 백엔드 서버가 해야 할 작업을 구글 Gemini(LLM) 서비스에 맡기고 있습니다.

실행하기 전에 필요한 것

• 구글 로그인 및 캘린더 API에 접근 가능한 계정 및 google-services.json
  • android/app 폴더에 복사해야 합니다.
• 구글 Gemini API 키 : main.dart 에서 이에 해당하는 부분에 키를 입력해야 합니다

실행화면

• 사용법은 간단합니다.
• 먼저 구글 계정으로 로그인 합니다.
  • 
• 권한 지정
  • 마이크 사용을 위한 권한을 허용해야 합니다.
  • 
• 음성 인식 시작
  • 녹음 버튼을 터치 해서 메시지를 남겨보세요
  • 
  • 멈춤 버튼을 터치 하여 메시지 녹음을 중단하고, 인식된 문장을 확인합니다.
  • 
  • 재녹음 하고 싶으면 다시 녹음 버튼을 터치하면 됩니다.
  • 
  • 그게 아니고 스케쥴 입력을 진행하고 싶으면 보내기 버튼을 터치합니다.
• 정보 확인
  • 스케쥴을 입력하기 전에, 마지막으로 자신이 요청한 정보가 맞는지 확인합니다.
  • 
  • 구글 캘린더에 들어가보면 스케쥴이 새로 만들어진 것을 확인할 수 있습니다.
  • 

사용된 기술

• 구글 로그인 및 캘린더 API
• 구글 Gemini API
• 구글 STT

앞으로의 계획

• UI/UX 개선
• STT 인식 정화도 개선
• 카테고리명 띄어쓰기 반영
• 스케쥴 수정 기능 추가

• 요즘 스마트폰 용량이 TB급으로 늘어나면서, 사진을 찍어놓고 PC에 옮기지 않는 분들이 많을겁니다.
• 사진 폴더에 파일이 많다보니 폴더 내부에 파일을 로딩할 때 시간이 오래걸리게 됩니다.
• 저 같은 경우에 유튜브에서 사용하기 위한 영상을 PC로 옮기려다 보니, 이럴 때 지연되는 시간이 아깝더라구요.
• 그래서 사진을 년/월/일 별로 폴더화 해서 저장해서 필요한 폴더만 PC로 옮기곤 합니다.
• 그런데 이것도 매번 수동으로 하려고 하니까 귀찮더군요, 그래서 폴더로 저장하는 것을 자동화 하는 앱을 만들어 봤어요.
• 하지만 PC에서 느려지는 문제는 당연히 스마트폰에서도 똑같이 발생하더군요
• 자동화해서 옮길 대상 폴더를 선택하는 다이얼로그도 결국 해당 폴더에 있는 파일 정보를 훑어야 표출할 수 있기 때문에, 결국 느려지는 문제는 계쇡되게 됩니다.
• 이 문제를 해결하기 위해서 여러 유형의 폴더선택 다이얼로그들을 찾아봤는데요…
  • directory.dart 에 존재하는 listSync 함수를 이용해서 파일 리스트를 가져오는 것만 있더군요.
  • 이 함수는 모든 정보를 가져올 때 까지 기다려야 하기 때문에, 폴더내에 파일이 많으면 느려지는 현상이 발생합니다.
  • 저는 listSync 함수가 아닌 list 함수를 이용해 봤어요.
  • list 함수는 stream을 이용하기 때문에, ListView.builder 와 연결해서 파일 정보를 가져올 때 마다 state를 수정하면서 갱신하면 됩니다. 이러면 지연 현상이 발생하지 않습니다.
• 주요 코드부는 아래와 같습니다.

dstream = directory!.list();
dstream.listen((item) {
  debugPrint(item.path);
  if (FileSystemEntity.isDirectorySync(item.path)) {
    setState(() {
      directories.add(item);
    });
  }
}, onDone: () {
  setState(() {
    debugPrint("Done Path Find");
    isDone = true;
  });
});

• 이때 다이얼로그를 구성하는 코드는 아래 레포지토리를 참고했어요.
  • Easy-Folder-Picker
  • InheritedWidget과 WidgetsBindingObserver를 이용한 디자인 패턴이 상당히 효과적이더라구요.
  • 물론 이 패키지도 listSync를 쓰기 때문에 지연현상은 발생합니다.
• 제가 만든 어플의 레포지토리는 아래 링크입니다.
  • PicFor

• 예전에 heic 파일 변환 관련한 코드를 이 블로그에 올린적이 있는데요.
  • https://reddol18.pe.kr/heic-to-jpg-python
• 정작 실제로 사용할 일이 생기니까, 실행파일로 만들어야 편하겠더라구요. 그래서 만들어 봤습니다. 소스코드도 함께 공개할게요. 사용방법은 아래와 같습니다.
  • h2j.exe --input HEIC_파일이_있는_폴더 --output 저장할_폴더 --mode jpg|png
  • output을 생략하면 input 폴더와 같은 폴더에 저장됩니다.
  • 변경대상 파일형식은 jpg와 png로 구분하며, 생략하면 jpg로 저장됩니다.
• 파일 다운로드
  • h2j.exe
• 코드는 아래와 같습니다.

import argparse

from PIL import Image
from pillow_heif import register_heif_opener
import os

def heic_to_jpg(input_folder, output_folder, ext):
    """
    HEIC 파일을 JPG 파일로 변환하는 함수

    Args:
      input_folder: HEIC 파일이 있는 폴더 경로
      output_folder: 변환된 JPG 파일을 저장할 폴더 경로
    """

    for root, _, files in os.walk(input_folder):
        for file in files:
            if file.endswith('.heic'):
                heic_path = os.path.join(root, file)
                jpg_path = os.path.join(output_folder, os.path.splitext(file)[0] + '.' + ext)

                try:
                    with Image.open(heic_path) as img:
                        if ext == "jpg":
                            img.save(jpg_path, 'JPEG')
                        elif ext == "png":
                            img.save(jpg_path, 'PNG')
                        print(f"Converted {heic_path} to {jpg_path}")
                except OSError as e:
                    print(f"Error converting {heic_path}: {e}")

parser = argparse.ArgumentParser()
parser.add_argument('--input', default='', help="input folder")
parser.add_argument('--output', default='', help="output folder")
parser.add_argument('--mode', default='jpg', help="output folder")
args = parser.parse_args()
register_heif_opener()
input_folder = args.input
output_folder = args.input if not args.output else args.output

if args.mode == "jpg" or args.mode == "png":
    heic_to_jpg(input_folder, output_folder, args.mode)