Сауда залындағы кеңесшілерді толықтай алмастыратын киоскідегі AI-консультант

Сатушылар ауырады, үзіліске шығады, жұмыстан кетеді және ассортименттің 30%-ын білмейді. Sonotiv 24/7 жұмыс істейді, номенклатура мен технологиялық карталардың 100%-ын біледі. Оның міндеті — желілік персоналды толық алмастыру және рутинаны автоматтандыру. Сіз еңбекақы қорын қысқартып, кросс-сейл есебінен орташа чекті арттырасыз.

Бұл трафикке байланысты, бірақ есеп қарапайым: бір киоск кемінде 1,5 штат бірлігін (ауысымдық кестені ескере отырып) алмастырады. Сонымен қатар, консультантты күтпей кеткен клиенттен болатын жоғалған табыс жойылады. Әдетте ROI екінші жылы-ақ оң көрсеткішке шығады.

Арзан шешімдер — бұл ашық нейрожелілердің үстіндегі «қаптамалар» ғана. Олар баяу жұмыс істейді (жауап 30 секундқа дейін) және токен шығынымен сізді шығынға ұшыратады. Біз инженерлік шешім ұсынамыз: оңтайландырылған нейрожелілер ансамблі, кастомдық жабдық және 5 секундқа дейінгі жауап жылдамдығы (иә, біз жаңа индустриялық стандарт қалыптастырып жатырмыз).

Біз RAG-технологиясын (retrieval augmented generation) қолданамыз. Sonotiv тек сіздің білім қорыңызға, технологиялық карталарға және нұсқаулықтарға сүйене отырып жауап береді. Ол ойдан шығармайды, тек құжаттарыңыздан нақты деректерді табады. Егер нұсқаулықта «өнім X өнім Y-ге сәйкес келеді» деп жазылса, ол дәл соны айтады. Қалғанының бәріне бағдарламалық шектеу қойылған.

Ол негізінен сонымен айналысады. Агрессивті кросс-сейл алгоритмі жүйе логикасына тікелей енгізілуі мүмкін.

Біз жүйені контекст пен салалық сленгті (бьюти, құрылыс, техника және т.б.) түсінуге үйретеміз. Егер клиент «бетондағы тесікті немен жабуға болады?» десе, Sonotiv скотч емес, шпаклёвка қажет екенін түсінеді, нақтылау сұрақтарын қойып, тауарды экранға шығарады.

Жоқ. Біздің қатаң SLA — 4–5 секунд ішінде релевантты жауап. Біз барлық сұранысты ауыр модельге жібермейміз. Қарапайым сұрақтар бірден өңделеді, күрделілері — қуатты серверлер арқылы. Клиент арзан чат-боттардағыдай жарты минут күтпейді.

Иә, кез келгенімен. Интеграция және техникалық сүйемелдеу біздің қызметімізге кіреді.

Негізгі нұсқа — біздің қорғалған бұлт (бастапқы кезеңде тез әрі тиімді). Егер қауіпсіздік саясаты on-premise талап етсе, жүйені сіздің серверлеріңізде орналастыра аламыз, бірақ LLM үшін серверлік жабдықтың құны жоғары екенін ескеру қажет.

Сіздің деректеріңіз: каталогтар, нұсқаулықтар, регламенттері бар PDF, сайт. Датасеттерді қолмен белгілеудің қажеті жоқ — біз «шикі» құжаттарды өзіміз парсинг жасап, құрылымдай аламыз.

Жоқ, бұл — оркестратор (модельдер ансамблі). Біз «шикі» сұранысты LLM-ге тікелей жібермейміз. Архитектурада классификаторлар, нормализаторлар, ранкинг-модельдер және LLM бар.

Біз модельге бүкіл құжаттаманы бір промптта бермейміз. Оңтайландырылған чанкинг қолданамыз. Егер пайдаланушы нақты артикул туралы сұраса, тек релевантты материалдар мен метадеректерді (баға, қалдық) жүктейміз. Бұл «наивті RAG»-пен салыстырғанда инференс құнын бірнеше есе төмендетеді.

Біз Time to First Token (TTFT) көрсеткішін қысқартамыз: жиі сұраныстарды алдын ала кэштеу (Redis), жауапты стримингпен беру (пайдаланушы мәтінді генерация барысында көреді), промпттарды оңтайландыру (кіретін токен аз — генерация жылдамырақ). Біздің SLA — толық жауап 5 секундқа дейін. Егер жүйе генерация ұзаратынын түсінсе (күрделі есеп), назарды ұстап тұру үшін аралық статус береді («Есептеп жатырмын»).

Бұл RPS-ке (Requests Per Second) байланысты. Бір A100/H100 картасы жоғары concurrency-ді жалғыз өзі көтере алмайды — сұраныстар кезекке тұрып, latency минутқа дейін өседі. Жергілікті тұрақты жұмыс үшін GPU-инференсі бар кластер (кемінде 2× A6000 немесе баламалары) және жүктеме оркестраторы (vLLM немесе TGI сияқты) қажет. Егер өз ML-инфрақұрылымыңыз болмаса, біз өз бұлтымызды ұсына аламыз.

Жоқ, біз әр жаңа тауар үшін модельді fine-tuning жасамаймыз — бұл қымбат әрі ұзақ. Біз векторлық индексті жаңартамыз. ERP жүйесінде баға өзгерсе немесе жаңа тауар қосылса, парсеріміз векторлық дерекқордағы эмбеддингтерді жаңартады. Бот жаңа тауар туралы 5–10 минут ішінде, даунтаймсыз біледі.

Деректер алмасу үшін REST API / gRPC. Жауаптарды стримингпен беру үшін WebSockets. Біз XML/YML фидтерден, SQL-базалардан немесе сіздің PIM-жүйеңіздің API арқылы деректерді ала аламыз. Шығыста кассаңызға арналған құрылымдалған JSON бере аламыз (себетті қалыптастыру үшін).