측정 방법

무엇을, 어떻게 재는가

AI 답변은 같은 질문에도 시점과 서비스에 따라 달라집니다. 그래서 한 번의 결과가 아니라 «어떤 조건에서 몇 번 중 몇 번»이었는지를 기록합니다. 아래가 그 기록 방식입니다.

1. 01

   질문 세트를 먼저 고정합니다

   측정은 질문을 정하는 데서 시작합니다. 고객이 실제로 쓸 법한 문장으로 만들고, 한번 정하면 그대로 둡니다. 질문 문구가 바뀌면 전후 비교가 성립하지 않기 때문입니다.

   질문은 성격이 다른 갈래로 나눠 둡니다. 회사 이름으로 묻는 질문과 하는 일로 묻는 질문은 다른 것을 재고, 답도 다르게 나옵니다.

   • 이름으로 묻기 — «○○라는 곳은 어떤 회사인가요?»
   • 하는 일로 묻기 — «△△ 하는 곳 추천해 주세요»
   • 조건을 붙여 묻기 — 지역·업종·상황을 넣은 문장
   • 사실 확인 — 주소·영업시간·서비스 범위처럼 틀리면 곤란한 항목
2. 02

   어느 서비스에, 어떤 상태로 물었는지 적습니다

   같은 질문이라도 어느 AI 서비스에 묻느냐에 따라 답이 달라집니다. 로그인 여부와 모델 종류에 따라서도 갈립니다. 그래서 서비스 이름만 적는 것으로는 부족하고, 어떤 상태에서 물었는지까지 남깁니다.

   예를 들어 2026년 9월에 같은 질문들을 두 서비스에 나눠 물었을 때, 업계 약어를 전혀 다른 분야의 제도로 읽어 엉뚱한 설명을 섞는 일이 한 서비스의 로그인 상태(계정 설정상 상위 모델)에서는 열두 번 중 네 번, 같은 서비스의 비로그인 상태에서는 여섯 번 중 한 번 나타났고, 다른 서비스의 비로그인 상태에서는 열여덟 번 중 한 번도 나타나지 않았습니다.

   여기서 눈여겨볼 것은 서비스 사이의 차이만이 아닙니다. 같은 서비스인데 로그인 여부로 결과가 갈렸습니다. 서비스 이름만 적고 로그인 상태를 뭉쳐 적었다면 이 차이는 통째로 사라졌을 것입니다.

   네이버 AI 브리핑은 로그인하지 않은 상태에서 같은 질문으로 검색해, 브리핑이 떴는지, 답에 이름이 나오는지, 출처에 고객 페이지가 있는지를 나눠 기록하고 화면을 저장합니다. 브리핑 안의 관련 문서 목록과 광고는 출처로 세지 않습니다.

   • 서비스 이름과 모델(같은 서비스도 모델에 따라 다릅니다)
   • 로그인 상태 — 로그인/비로그인은 다른 결과로 취급합니다
   • 웹 검색을 켠 상태인지
   • 물어본 날짜와 시각
   • 사람이 직접 물었는지, 프로그램으로 물었는지 — 수집 방식에 따라 답이 달라질 수 있습니다
3. 03

   한 번이 아니라 여러 번 묻습니다

   AI 답변에는 흔들림이 있습니다. 같은 질문을 같은 서비스에 다시 물어도 다른 답이 나올 수 있습니다. 한 번의 결과는 우연일 수 있으므로 같은 조건에서 반복해 묻고, 그 횟수를 함께 적습니다.

   반복 횟수는 많을수록 좋지만 시간과 비용이 듭니다. 그래서 «몇 번 물었는지»를 숨기지 않고 적어, 읽는 쪽이 그 숫자를 얼마나 믿을지 스스로 판단하게 합니다.

4. 04

   결과는 «몇 번 중 몇 번»으로 적습니다

   «나왔다 / 안 나왔다»로는 흔들림을 담지 못합니다. 그래서 여섯 번 중 두 번이면 그대로 «6번 중 2번»이라고 적습니다. 백분율 하나로 줄이면 몇 번 물었는지가 사라지므로, 분모를 남기는 표기를 씁니다.

   그리고 답을 받지 못한 경우와 물었더니 언급이 없던 경우를 나눠서 기록합니다. 이 둘을 하나로 합치면 실제보다 나쁘거나 좋게 보입니다. 확인하지 못한 것을 0으로 바꿔 적지 않습니다.

5. 05

   답변 원문과 참고 주소를 그대로 남깁니다

   요약만 남기면 나중에 다시 따져볼 수 없습니다. 답변 원문, 답에 붙은 참고 주소, 물어본 날짜를 저장해 두고, 다음 측정 때 같은 조건으로 다시 재서 비교합니다.

   조건을 바꿔야 했다면(서비스가 업데이트됐다거나 질문을 고쳐야 했다면) 그 사실과 시점을 결과와 함께 적습니다. 조건이 바뀐 것을 개선으로 읽으면 안 되기 때문입니다.

6. 06

   AI에서 온 방문·문의는 어떻게 세나요

   «AI 때문에 문의가 늘었는지»는 생각보다 정확히 세기 어렵습니다. 셀 수 있는 것, 적게 잡히는 것, 아예 못 세는 것이 섞여 있어서입니다. 그 경계를 먼저 밝히고 시작합니다.

   그래서 이 숫자는 «최소한 이만큼은 AI에서 왔다»는 하한으로 읽습니다. 늘었다고 해서 전부 AI 덕분이라고 말하지 않고, 줄었다고 해서 효과가 없다고도 말하지 않습니다.

   • 셀 수 있는 것 — AI 서비스 화면의 링크를 눌러 들어온 방문. 어디에서 왔는지가 기록에 남습니다.
   • 적게 잡히는 것 — 답만 읽고 나중에 검색해 들어오거나, 주소를 직접 입력해 들어온 방문. AI에서 시작됐어도 그 흔적이 남지 않습니다.
   • 못 세는 것 — AI가 답에서 회사를 소개했지만 방문으로 이어지지 않은 경우. 사람 눈에는 보여도 우리 기록에는 아무것도 남지 않습니다.
   • 기록으로 못 메우는 구간 — 문의하신 분께 «어떻게 알게 되셨는지» 직접 여쭤보는 것이 가장 정확합니다. 다만 이것은 자동으로 쌓이는 숫자가 아니라 사람이 그때그때 확인해야 하는 항목입니다.

측정은 변화를 확인하기 위한 것이지 결과를 약속하기 위한 것이 아닙니다. 같은 조건에서 전보다 어떻게 달라졌는지까지가 저희가 확인해 드릴 수 있는 범위이고, 특정 순위나 추천을 보장하지 않습니다.