ComfyUI | Generate video, images, 3D, audio with AI
우선 모델이 필요합니다
모델들이 계속 개선되고 새로 출시되고 있기 때문에
ComfyUI Blog 나 기타 다른 커뮤등을 확인 하시면 좋습니다
그 다음은 워크플로가 필요 합니다
워크플로의 설정 된 단계별로 작업이 진행 되고 결과물이 출력 되는 거죠
모델에 따라 워크플로도 달라져야 하기 때문에
기본 워크플로에 FLUX 모델을 넣는다고 작동하지는 않습니다
FLUX 모델을 사용하려면 FLUX용 워크플로를 사용해야 하는 거죠
우선 모델을 다운로드 받는 방법은 앞서 이야기 드린 것처럼
허깅 페이스나 civitai 같은 사이트에서 다운로드를 하면 됩니다
그럼 워크플로는 어떻게 해야 할까요?
우선 워크플로를 처음 부터 만드는 방법이 있습니다
백지의 워크플로에 노드들을 하나씩 추가하는 방법이죠
워크플로의 빈 공간을 더블 클릭 하면 이런 노드 검색 창이 뜹니다
우 클릭을 하면 노드 추가 창이 뜨기도 합니다만 검색이 더 편하겠죠
우선 체크포인트 모델 로드 노드를 설치하기 위해 검색 창에 check 라고 입력 하면 위의 결과가 표시 됩니다
우측의 comfy core는 기본 노드라는 의미고요
언어를 한국어로 변경 하셨다면 기본 노드들은 한글명으로 표시 됩니다
모델 로드 – 샘플러 – 출력
이게 기본 뼈대죠
여기에 기본 노드들을 사용하기 위한 노드들을 추가해서 완성 하는 겁니다
프롬프트를 전달 할 수 있는 clip 관련 노드들이나
이미지를 참조할 수 있는 이미지 로드 노드 혹은 속도나 퀄리티를 올려주는 노드
출력 결과의 형태에 영향을 주는 로라 노드, 업스케일 노드 등등
이런 노드들이 모여서 하나의 워크플로가 되는 겁니다만
사실 아직은 깊게 생각하실 필요는 없습니다
그냥 이런 식이구나 라고 알고계시면 충분합니다
나중에 익숙해지면 워크플로를 봤을 때
아 이런 거구나 하고 알 수 있거든요
하나부터 열까지 직접 만들어서 사용하는 방법은 나중 일이고요
처음에는 워크플로를 가져다가 사용하게 됩니다
물론 가져온 워크플로를 수정하려면 대충이라도 어떻게 돌아가는지 알아야겠죠
우선 여러 커뮤니티를 통해 얻을 수 있습니다
웹사이트, 블로그, 유튜브 등등 comfyUI 강의나 소개하는 곳에 워크플로를 제공하는 경우가 많습니다
직접 만든 것도 있고 수정한 것도 있고 그냥 기본 워크플로 예제 상태로 공유하는 경우도 있죠
ComfyUI Blog 를 보시면 동영상 생성 모델인 Wan2.1-VACE 기본 지원과
음악 생성 모델 Ace-Step 워크플로를 개선 했다고 하네요
들어가서 내용을 쭉 보시다보면 워크플로 다운로드 버튼이 있습니다
여기서 워크플로를 다운 받으신 후
comfyUI에 드래그앤 드랍으로 넣어주시면 됩니다
워크플로는 이미지파일인 경우도 있고 json 파일인 경우도 있고 다양합니다
워크플로를 넣으면 이렇게 표시가 되죠
comfyUI에서 공식 지원하는 모델의 경우 바로 다운로드 할 수도 있습니다
따로 다른 경로에 모델을 저장 해놨다면 해당 메세지는 무시하고
그냥 로더 노드에서 선택만 다시 해주면 됩니다
인스톨 한 커스텀 노드가 없지만
Wan2.1-VACE 노드가 기본 노드에 포함이 돼있죠
이 모델이 처음에 나왔을 때는 깃헙의 커스텀 노드를 따로 설치 해줬어야 하는데 이제는 기본 지원이 되고 있습니다
참고로 워크플로를 열었는데 이렇게 표시되는 경우가 있습니다
빨갛게 표시 된 노드가 없다는 이야기 입니다
매니저 선택 후 가운데 위에서 두 번째에 있는 미설치 커스텀 노드 설치 버튼을 선택 합니다
이곳에 표시되는 커스텀 노드들을 전부 설치 해주시면 됩니다
간혹 매니저에서 설치가 안되는 커스텀 노드들도 존재합니다 이런 경우
깃헙에서 다운로드 후 수동으로 설치를 하거나
우측 하단 깃URL로 설치 버튼을 이용해 설치하시거나 하면 됩니다
latest 버전이 설치가 안되거나 문제가 있는 경우 nightly 버전을 설치 해보세요
이런 워크플로를 받으면 이렇게 워크플로 내부에 설명이 있습니다
모델 링크나 어디에 넣어야 될지 다 표시가 돼있죠
모델만 다운로드 받아서 위치에 잘 넣고 옵션들만 수정해서 바로 사용하면 되겠네요
링크의 기본 모델을 사용하셔도 되고
해당 모델을 커스텀한 모델을 사용해도 됩니다
신규 모델이 출시 되면 양자화나 경량화를 통해 개선 된 모델들이 나오기도 하더라고요
이 부분은 허깅페이스에서 검색을 해보시거나 커뮤니티에서 정보를 찾아 보시면 됩니다
주로 유튜브 같은 곳에서 소개를 하니
신규 모델 관련 영상이 올라오는 채널을 구독하시는 것도 방법 이겠죠
주의 하실 점은 스테이빌리티 매트릭스를 사용하는 경우 모델의 경로가 좀 다르다는 점 입니다
물론 comfyUI 패키지 폴더 안에 있는 모델 폴더에 넣어도 됩니다만
이렇게 넣으면 해당 comfyUI에서만 사용이 가능 합니다
SD 웹UI나 다른 comfyUI를 설치하면 모델을 중복으로 다운로드 받아야하는 거죠
모델 용량이 적은 게 아니니 하나로 관리하는 게 좋겠죠
워크플로는 커뮤니티에서 다운로드 받는 것 말고도 추가할 수 있는 방법이 있습니다
좌측 상단의 워크플로를 선택 하시면 템플릿 탐색 이라는 메뉴가 있습니다
기본 워크플로를 템플릿 형태로 제공하는 메뉴인데
업데이트가 되면서 종류가 많아졌습니다
목록 보기로 하면 어떤 워크플로인지 한눈에 볼 수 있으니 보고 필요한 워크플로를 선택 하기만 하면 됩니다
FLUX부터 Wan VACE 비디오 뿐만 아니라 LLM 관련 워크플로도 있죠
그 외에도 커스텀 노드를 설치하면 그 커스텀 노드 안에 워크플로가 들어있는 경우가 있습니다
위는 눈차크 노드의 워크플로 예제 입니다
커스텀 노드의 깃헙 페이지에서도 워크플로 예제를 확인 가능 합니다
comfyUI의 워크플로 템플릿 메뉴에서도 설치한 커스텀 노드에 존재하는 워크플로 예제를 불러올 수 있으니
편한 방법으로 사용 하시면 됩니다
체크포인트 모델 로드 노드의 경우 모델 부분을 클릭 하면 체크포인트 폴더에 들어있는 모델들이 전부 표시가 됩니다
노드를 선택하면 위에 아이콘이 다섯 개가 표시 되는데
좌측 부터 노드 실행, 색상 지정, 노드 우회, 고정, 삭제 입니다
노드를 선택하면 해당 노드와 연결 된 선이 흰색으로 표시 됩니다
뭐 사용법은 딱 보면 감이 오시겠지만 같은 이름의 점과 점을 드래그해서 이어주면 됩니다
출력 부분을 다른 노드의 입력 부분이 아닌 빈 공간에 연결하면 이런 메뉴가 표시 됩니다
빈 공간을 우클릭 했을 때 메뉴와 비슷하지만 VAE 출력에서 이어진 노드라
하단에 VAE 관련 노드들이 표시가 됩니다
노드 추가나 검색은 기존 옵션과 같습니다만 검색을 선택하면 VAE가 포함 된 결과가 검색 창에 표시 됩니다
Reroute 같은 경우 선택하면 이런 중계 지점이 생기게 되는데
Reroute 없이 두 노드 사이의 연결을 해제하면 선이 사라지게 되죠
가까이 있는 노드면 상관이 없지만 체크포인트 로드 노드와 VAE 디코드 노드 처럼 멀리 떨어져 있으면
선을 해제했다가 다시 연결했다가 하는 작업이 귀찮아 집니다
그럴 때 이런 식으로 사용 하는 겁니다
이 외에도 무선으로 연결 해주는 커스텀 노드도 있고 여러가지 편의성을 높여주는 노드들이 있으니 설치해서 사용하시면 될 거 같네요
영상으로 설명을 하면 금방 끝나는 부분들도 글로 적다보니 길어지네요
그래도 기초적인 부분만 설명하는 거라 이정도라고 봅니다
사실 comfyUI 설치하고 모델 다운 받아서 해당 폴더에 넣어주고 워크플로 불러와서 적용하면
comfyUI 사용법은 끝났다고 보셔도 됩니다
이제 유튜브나 블로그, 웹 커뮤니티 같은 곳 에서 가이드 글이나 설명 글 보고
따라하는 건 충분히 할 수 있을 거 같다고 생각합니다
이제 여기서 글을 더 적게 된다면 특정 모델이나 커스텀 노드 관련 글이 되겠지만
유튜브 같은 곳에 더 좋은 영상 가이드들이 많습니다
유튜브에서 comfyUI로만 검색 해보셔도 국내 해외 자료들이 엄청 많더라고요
가이드 영상 대부분이 최소 10분 이상 길면 30분 넘는 영상들도 많은데
글로 적기에는 좀 무리가 아닌가 싶네요
San AI 연구소 – SanAI Labs – YouTube
그나마 주로 시청하는 채널이 위의 두 채널입니다
AIPOQUE 채널은 저번에도 이야기 드렸지만
결과물을 상업용으로 사용해도 되겠다 싶을 정도의 퀄리티있는 가이드를 제공해주십니다
주로 FLUX를 이용하시는데 워크플로도 다 공개가 돼있습니다
최근 영상 보면 책 출판이랑 강좌도 개설 하셨다고 하더라고요
San AI 연구소 채널은 신규 모델에 관한 영상이 빠르게 올라 옵니다만
최근에 멤버 전용 영상에만 워크플로 구성에 중요한 부분을 포함 하는 방식으로 변경이 됐습니다
그래도 예전 영상들을 확인 하시거나 소식만 접하시고 다른 가이드를 찾아보셔도 충분합니다
아니면 멤버쉽 가입도 생각해볼 수 있겠죠 워크플로 공유는 멤버쉽 전용이더라고요
comfyUI로 해볼 수 있는 게 많으니까 한번 찍먹 해보세요
모델및 로라 테스트 이미지 몇 장
원본 이미지
