24.03.07

good notes 6로 열심히 끄적임

figjam으로 옮김

Controller

• Router

  <aside> 💡 Controller에 요청을 보낼 수 있는 통로 모듈

  </aside>

  • Task-manager에게 비디오 분석을 의뢰하는 api (User Task)
    • 이 요청을 통해 비디오 분석의 전체 과정을 시작할 수 있음
    • parameter video의 name을 query param으로 받음
    • return value task의 고유 uuid
  • Task-manager에게 비디오 분석을 의뢰하는 api (Batch Task)
    • 이 요청을 통해 여러 비디오 분석의 전체 과정을 시작할 수 있음
    • parameter Body로 video name의 list로 받아옴
    • return value task의 고유 uuid를 list
  • Task-manager에게 특정 User Task의 현재 진행 단계를 알려주는 api
    • 이 요청을 통해 비디오 분석이 어디까지 진행 되었는지 알 수 있음
    • parameter task uuid
    • return value task의 진행 단계
  • Task-manager에게 전체 Task의 현재 진행 단계를 알려주는 api
    • 이 요청을 통해 지금 진행중인 전체 Task들의 비디오 분석이 어디까지 진행 되었는지 알 수 있음
    • parameter null
    • return value task의 진행 단계 list

• Task-request

  <aside> 💡 Controller가 task-queue에 일을 요청하는 모듈 이 부분은 반드시 함수를 하나로 만들고 싶다. 이것이 객체지향적인 설계라고 생각하고, 이것이 서비스의 확장에 있어서 편리할 것 같기 때문이다.

  </aside>

  • Task-queue에 queue에 들어갈 정보를 가공해서 보내주는 함수

    • router, 혹은 task-manager에 의해 호출됨

    • parameter로 다음 진행해야할 file(video)name, step, task-flag(user/batch)가 주어짐

    • file(video)name은 한 개 이상 들어오므로 list로 받음

    • filename list의 0번 칸을 참조해서 가져오고, controller가 관리하는 task 중 해당 filename으로 되어있는 task가 존재하지 않는다면 uuid를 생성하고 task list에 insert 후 uuid를 가져옴. 존재한다면 바로 uuid를 가져옴

      → 아니면 step으로 구별해도 됨. 가장 처음 하는 step에서만 uuid가 존재하지 않도록 설계할 것이기 때문에.

    • 이 parameter들로 enqueue 함수 호출

• Task-manage

  <aside> 💡 Controller에서 현재 관리중인 task들의 상태와 정보를 관리하는 모듈

  </aside>

  • 특정 filename으로 된 task를 return하는 함수
  • 특정 uuid로 된 task를 return하는 함수
  • 전체 task를 return하는 함수
  • 새로운 task를 저장소에 추가하는 함수
    • 새로운 task에 대한 uuid도 발급을 여기서 한다.
  • 특정 uuid로 된 task의 내용을 변경하는 함수
  • 특정 uuid로 된 task의 다음 step을 요청하는 api
    • 이 요청으로 task를 다음 단계로 진행시킬 수 있음
    • 단, worker에서 전 step의 일이 성공했어야 함.
    • 지금 들어온 step을 기준으로 다음 단계를 음.. enum으로 설계를 하던지 아니면 조건문으로 처리하던지 하면 됨
    • 만약이 비디오 분석이 마지막 과정까지 완료가 되었다면 task response의 함수를 호출. WAS에 함수를 종료 되었음을 알림
    • parameter uuid, 전 step의 성공여부
    • return value task의 고유 uuid
  • 특정 uuid로 된 task를 저장소에서 제거하는 함수
    • 일이 종료되어 더 이상 task-manage가 관리할 필요가 없게 된 경우에는 삭제 정책을 이용해서 일정 기간이 지나면 삭제를 하게 한다.

• Task-response

  <aside> 💡 Controller에서 관리하던 task의 정보를 WAS에 알리는 모듈

  </aside>

  • WAS에 특정 filename or uuid의 task가 완료되었음 알리는 함수 (filename이 편리하긴 할 것 같음. 아니면 uuid 따로 또 저장해야 하니까)

  • task의 현재 상태를 task-manage로 부터 받아 router로 전달하는 함수

  • 전체 task의 현재 상태를 task-manage로 부터 받아 router로 전달하는 함수

    → 하다 보니까 굳이 단계를 나누어 둔 것 같기도 함. 단지 manage는 manage만 하게 하고 response는 response만 하게 하고 싶어서 이렇게 모듈화 했음.

Task-queue & Broker

• Queue-router

  <aside> 💡 controller로 부터 넘겨받은 task의 정보를 바탕으로 알맞은 queue에 enqueue를 진행하는 모듈 해당 부분은 어떤 전략으로 task를 queue에 넣는 지에 따라 더 복잡해질 수 있음. 이를 대비하기 위해 task-flag를 parameter로 미리 설정함

  </aside>

  • task를 enqueue하는 api
    • step에 맞게 올바른 queue에 task를 enqueue 해주는 api
    • parameter uuid, filename, step, task-flag
    • return value 굳이 하자면 지금 task의 uuid
  • task를 dequeue하는 함수
    • 특정 step의 task를 dequeue 해주는 함수
    • parameter로 어느 queue인지를 받음
    • enqueue했던 내용을 모두 함께 return

• Broker

  <aside> 💡 Task-queue에 저장된 task들과 load balancer 간의 task manage를 담당하는 모듈

  </aside>

  • status-controller: queue의 현재 상태를 변경하는 함수
    • 토글로 호출하면 값이 왔다 갔다 할 수 있게 설정 (사유: 굳이 함수를 두 개 만들기 귀찮으며 많이 흡사한 함수이기 때문에)
    • parameter로 어느 queue인지에 대한 정보를 받음
    • return 값으로 변경 후에 어떤 값이 되었는지를 반환
  • status-controller: worker의 현재 가용 상태를 변경하는 api
    • 이 함수는 토글로 호출하지 않음. 가용 상태를 무엇으로 변경할 지 인자로 받아옴
    • 사유는 이 함수는 가용 상태를 변경하는 것 뿐 아니라 dequeue를 계속 진행할 지 결정하는 역할도 하기 때문
    • parameter로 어느 queue인지에 대한 정보와 가용 상태에 대한 정보를 받음
    • return 값으로 변경 후에 어떤 값이 되었는지를 반환
  • broker-controller: LB에게 task를 넘길지 말지 결정하는 함수
    • status-controller에서 함수가 호출되면 반드시 broker-controller의 함수를 호출해야 함
    • parameter로 어느 queue(step)의 task인지를 받음
    • queue가 empty가 아니고, worker가 가용 상태일때, queue-router로부터 task를 dequeue해오고, load balancer의 api를 호출하여 task를 넘겨줌

Load-Balancer

<aside> 💡 이 부분을 좀 더 강화해야함. 부족한 부분이 많음.

</aside>

• LB-Broker controller: worker에 넘겨줄 task를 받아오는 api
  • 이 api가 LB-Worker controller를 다시 호출함
  • parameter uuid, filename, step, task-flag
• LB-Worker controller: 알맞는 machine에 worker에게 task를 수행하도록 지시하는 함수
• LB-Worker controller: worker health check