최고의 스테이블 디퓨전 프롬프트 만드는 법

스테이블 디퓨전, DALL-E, 미드저니와 같은 AI 이미지 생성기를 사용해 본 적이 있다면 프롬프트가 얼마나 중요한지 알 수 있을 것입니다. 잘 표현된 프롬프트는 아이디어를 멋진 이미지로 만들 수도 있고, 너무 많은 손가락이 나를 쳐다보는 기묘한 계곡의 괴물을 만들 수도 있습니다.

사람들은 2022년 스테이블 디퓨전이 출시된 이후 이상적인 결과를 얻기 위한 최선의 방법을 찾기 위해 노력해 왔으며, 앞으로 몇 년 동안 ‘프롬프트 스미싱’ 또는 ‘프롬프트 엔지니어링’이 될 것입니다. 특히 스테이블 디퓨전이 이미지를 생성하는 방법을 알려주는 체크포인트가 주기적으로 업데이트될 예정이기 때문에 더욱 그럴 가능성이 높습니다. 이상적인 프롬프트는 당분간은 움직이는 목표가 될 것입니다.

가능한 한 구체적이어야 합니다

스테이블 디퓨전은 특히 미드저니와 같은 것과 비교할 때 구체적인 프롬프트에서 번창하는 경향이 있습니다. 원하는 것을 정확히 말해야 합니다. 다음은 인터넷에서 가장 인기 있는 동물을 사용한 예시입니다: Cute cats.

“Cute cats”라는 프롬프트를 사용하여 Stable Diffusion에서 6개의 출력 이미지를 생성한 패널입니다.
프롬프트: “Cute cats”, 샘플러 = PLMS, CFG = 7, 샘플링 단계 = 50

좋습니다. 심연을 너무 오래 응시한 것처럼 보이는 가운데 상단의 불쌍한 녀석을 제외하면 꽤 귀엽습니다. 하지만 고양이가 섞인 고양이가 아닌 회색 고양이를 원한다면 어떨까요? 글쎄요, 그걸 지정해야 합니다. 대신 “Cute grey cats”를 프롬프트로 사용하세요.

“Cute grey cat”라는 프롬프트를 사용하여 스테이블 디퓨전에서 출력한 6개의 이미지 패널입니다.

이제 스테이블 디퓨전이 모든 회색 고양이를 반환합니다. 사진 속 고양이에 액세서리를 입히는 등 원하는 것에 대한 설명을 계속 추가할 수 있습니다.

이는 배경을 포함하여 스테이블 디퓨전으로 생성하려는 모든 것에 적용됩니다. 설명이 필요하며, 다양한 키워드 조합을 시도하면서 이미지가 어떻게 변하는지 기억해 두세요. 일부 단어와 문구는 다른 단어보다 이미지에 더 강하게 편향되는 경향이 있으므로 그에 따라 프롬프트를 조정해야 할 수도 있습니다.

특정 아트 스타일 또는 매체 이름 지정

구체성의 필요성은 원하는 이미지의 내용을 완전히 설명하는 것으로 끝나지 않습니다. 원하는 스타일을 지정할 수도 있고, 지정해야 합니다. 여기서는 “Cute grey cat”라는 프롬프트를 계속 사용하겠습니다. 귀여운 회색 고양이를 원하지만 아크릴 그림처럼 보이게 하고 싶다고 가정해 봅시다. 가장 먼저 해야 할 일은 프롬프트의 다음 키워드로 “acrylic painting”을 추가하여 다음과 같이 표시되도록 하는 것입니다: “Cute Grey Cat, acrylic painting..”

일반적으로 가장 적은 수의 키워드로 시작하여 원하는 것에 근접한 결과를 얻은 다음 원하는 미학에 가까워질수록 키워드를 더 추가하는 것이 가장 좋습니다.

스테이블 디퓨전은 연필 드로잉부터 클레이 모델, 언리얼 엔진의 3D 렌더링까지 수십 가지의 다양한 스타일을 인식합니다.

이 예시 프롬프트는 매우 간단하지만 수십 개의 키워드를 사용하여 결과를 미세 조정할 수 있습니다. 월마트에서 이상하고 사이키델릭한 색상의 점토 치킨 모델을 원한다면 모든 용어를 지정해야 합니다.

특정 아티스트 이름을 지정하여 스테이블 디퓨전 활용

스테이블 디퓨전은 특정 스타일이나 매체를 에뮬레이트하는 것 이상의 작업을 수행할 수 있으며, 원하는 경우 특정 아티스트를 모방할 수도 있습니다. 이 예에서는 파블로 피카소를 사용했습니다.

아직 사용하지 않았다면 프롬프트에 “(아티스트 이름)으로”를 추가해 보세요. 극적인 결과를 만들어내는 경향이 있습니다. 일반적으로는 어울리지 않을 것 같은 아티스트도 조합하는 것을 두려워하지 마세요. 종종 스테이블 디퓨전은 각자의 스타일을 흥미롭고 예측할 수 없는 방식으로 결합합니다.

Tip: 팁: 권장하는 Windows용 Stable Diffusion의 GUI 버전을 사용하는 경우, 프롬프트 창 오른쪽에 “롤” 버튼이 있어 무작위로 아티스트를 프롬프트에 던져줍니다. 새로운 스타일을 우연히 발견할 수 있는 좋은 방법입니다.

키워드에 가중치 부여하기

물론 프롬프트에 키워드를 꽉 채워 넣는 것만으로는 여기까지만 도달할 수 있습니다. 프롬프트에 적절한 키워드를 모두 넣었지만 그 비율이 적절하지 않다면 어떻게 될까요?

스테이블 디퓨전은 프롬프트 키워드에 가중치를 부여하는 기능을 지원합니다. 즉, 특정 키워드(또는 키워드)에만 주의를 기울이고 다른 키워드에는 덜 주의를 기울여야 한다는 것을 알 수 있습니다. 이 기능은 원하는 것과 비슷한 결과를 얻었지만 아직 원하는 결과를 얻지 못한 경우에 유용합니다.

명령줄 버전의 Stable Diffusion에서는 강조하고 싶은 단어 앞에 콜론 전체와 소수 숫자를 추가하기만 하면 됩니다. 십진수는 백분율이므로 1을 더해야 합니다.

“귀여운 회색 고양이” 프롬프트로 돌아가서, 이 프롬프트가 귀여운 고양이를 올바르게 생성했지만 출력 이미지 중 회색 고양이는 많지 않다고 가정해 봅시다. 프롬프트를 다음과 같이 수정할 수 있습니다: “cute, grey cat:0.7″로 수정하면  grey cat에 가장 많은 주의를 기울인 다음 그 차이를 “cute”에 자동으로 적용합니다. 예를 들어 ““Cute:0.10, Grey Cat:0.60, Unreal Engine rendering:0.30″과 같이 더 세밀한 제어를 원한다면 프롬프트의 각 단어에 가중치를 수동으로 할당할 수도 있습니다.

스테이블 디퓨전에 사용할 수 있는 대부분의 GUI는 명시적인 백분율을 입력할 필요 없이 가중치를 처리합니다. 일반적으로 프롬프트에서 용어 주위에 괄호를 추가하여 강조하고 괄호를 사용하여 용어의 중요도를 낮출 수 있습니다. 따라서 이전의 ““cute, grey cat”는 “cute, grey cat”와 같이 보일 수 있습니다.

다른 곳에서 영감 찾기

스테이블 디퓨전 및 기타 AI 아트 제너레이터의 인기가 폭발적으로 상승했습니다. 이런 종류의 AI 아트는 어디에서나 찾을 수 있습니다. 즉, 현재 인터넷에는 적어도 수백만 개의 사용자 생성 이미지가 떠돌고 있으며, 대부분의 경우 사람들이 결과를 얻기 위해 사용한 프롬프트를 포함하고 있습니다.

다음은 무엇을 만들고 싶은지 잘 모르겠다면 영감을 불러일으키는 데 도움이 되는 몇 가지 리소스입니다:

경고: 이 모든 자료는 후방주의 음란물일 가능성이 있습니다.

• Lexica — 스테이블 디퓨전을 사용해 생성된 이미지 저장소 및 해당 프롬프트. 키워드로 검색할 수 있습니다.
• Stable Diffusion Artist Style Studies —스테이블 디퓨전이 인식할 수 있는 아티스트의 전체 목록과 예술적 스타일에 대한 일반적인 설명이 포함되어 있습니다. 스테이블 디퓨전이 아티스트의 이름을 입력했을 때 얼마나 잘 반응하는지를 설명하는 순위 시스템이 있습니다.
• Stable Diffusion Modifier Studies — 아티스트 페이지와 마찬가지로 스테이블 디퓨전과 함께 사용할 수 있는 모디파이어 목록입니다.
• The AI Art Modifiers List — 프롬프트에 사용할 수 있는 가장 강력한 수정자 몇 가지와 그 기능을 보여주는 사진 갤러리입니다. 수정자 유형별로 정렬되어 있습니다.
• Top 500 Artists Represented in Stable Diffusion — 스테이블 디퓨전 트레이닝 세트에 어떤 이미지가 포함되었는지 정확히 알 수 있으므로 어떤 아티스트가 AI 트레이닝에 가장 많이 기여했는지 알 수 있습니다. 일반적으로 아티스트가 트레이닝 데이터에 더 많이 표현될수록 스테이블 디퓨전이 해당 아티스트의 이름을 키워드로 더 잘 반응합니다.
• The Stable Diffusion Subreddit — 스테이블 디퓨전 하위 레딧에는 새로운 프롬프트와 재미있는 발견이 끊임없이 올라오고 있습니다. 영감이나 통찰력을 찾고 계신다면 이만한 곳이 없을 겁니다.

기타 중요한 설정 조정

좋은 프롬프트는 스테이블 디퓨전 사용의 가장 어려운 부분이지만, 결과를 크게 바꿀 수 있는 몇 가지 다른 설정이 있습니다.

• CFG: 안정적인 확산이 프롬프트를 얼마나 강력하게 따르는지를 결정합니다. 수치가 높을수록 프롬프트를 더 많이 따르고, 수치가 낮을수록 AI에 더 많은 자유를 부여합니다. 먼저 이 값을 조정해 보세요.
• Sampling Method: 이미지를 노이즈에서 인식 가능한 모양으로 정제하는 방법. 다음 중 몇 가지를 사용해 보세요. Euler_a, k_LMS, PLMS가 많이 사용되는 것 같습니다.
• Sampling Steps: 최종 결과를 얻기 전에 이미지를 샘플링하는 횟수입니다. 30단계로 좋은 결과를 얻을 때도 있고 50단계나 80단계로 가야 할 때도 있습니다. 일반적으로 150단계 이상에서는 더 나은 결과를 얻지 못합니다. 적은 단계부터 시작해서 단계를 늘려보세요.

가장 좋아하는 양식화된 프롬프트 몇 가지

이 프롬프트는 매우 안정적으로 작동하는 경향이 있기 때문에 저희가 가장 좋아하는 프롬프트입니다. 원하는 주제와 몇 가지 수식어를 입력하기만 하면 됩니다. 다른 모든 안정적 확산 설정은 위의 프롬프트와 동일하게 유지되었습니다.

Note: 일반적으로 안정 확산은 일몰과 단풍을 매우 잘 표현합니다.

(Subject), 35mm, sharp

피사체를 선택하면 이 프롬프트가 사람, 동물 및 풍경의 사실적인 결과를 안정적으로 반환합니다.

Note: 이 예시 프롬프트에는 일몰 색상을 얻기 위한 “황금 시간”도 포함되어 있습니다.

(Subject), low poly 3d render, vibrant pastel colors, tilt shift, film grain

피사체를 입력하면 “아트 오브 랠리” 미학으로 표현할 수 있습니다.

(Subject), (Environmental Description), cinematic, dramatic, composition, sunny sky, brutalist, hyper realistic, epic scale, sense of awe, hypermaximalist, insane level of details, artstation HQ

피사체와 환경 설명을 입력하기만 하면 원하는 환경 효과가 적용된 멋진 도시 컨셉 아트 이미지를 제공합니다. 다음은 뉴욕시를 피사체로, 먼지 폭풍을 환경 설명으로 사용한 예시입니다:

무엇이든 커밋

커밋을 사용하면 안정적인 확산으로 훌륭한 결과물을 얻을 수 있습니다. 어디에서나 사용해 보세요.

스테이블 디퓨전은 왜 “모르도르의 커밋”을 이렇게 해석했을까요? 그리고 우리의 충실한 영웅 뒤에 서 있는 붉은 사악한 커밋은 누구일까요? 모르겠습니다.

프롬프트에서 핵심 용어가 될 수 있다고 생각되는 단어를 제거하는 것을 두려워하지 마세요. “화려한”과 같은 특정 단어는 정확한 의미가 없더라도 이미지의 모양에 큰 영향을 미칩니다. 스테이블 디퓨전을 더 오래 사용하면 특정 단어에 어떻게 반응하는지에 대한 감각을 키울 수 있으며, 좋은 프롬프트를 작성하는 것 자체가 하나의 예술이라는 것을 금방 알게 될 것입니다.