Песочница: Boutique

Intent ID: 27

1) Загрузить файл и получить сырой OCR JSON

Сохраняем последний файл и сырой OCR, чтобы можно было повторно тестировать маппинг без перезагрузки.

Скачать последний файл (INVOICE_3000114388_2026-02-26_TDA.pdf)

2) Правила трансформации

Правила трансформации OCR-данных в целевую схему (включая валидацию).

Промпт LLM-подсказки

Ты создаёшь правила трансформации данных инвойса из сырого OCR в целевую JSON-схему.

Сырой OCR-JSON получен из table_parsing (распознавание таблиц из изображений).
Особенности формата:
- header_text может содержать текст шапки документа (номер, дату, поставщика, AWB и т.д.).
- metadata может быть пустым.
- table.columns — заголовки колонок; могут содержать слипшиеся слова или символ \
"#" распознанный как "1". Могут быть пустыми — тогда определи смысл колонок по данным.
- table.rows — массив строк; каждая строка = массив значений в порядке columns.
- totals_raw — итоговые значения с последней страницы (может быть пустым).
- sections и notes обычно пустые.

<сырой_ocr_json>
{raw_json}
</сырой_ocr_json>

<целевая_json_схема>
{target_schema}
</целевая_json_схема>

=== ШАГ 1: АНАЛИЗ ДАННЫХ (выполни перед генерацией правил) ===

Прежде чем писать правила, ответь себе на вопросы:

1. КОЛОНКИ: если table.columns пуст, определи смысл каждой колонки по данным. \
Для каждого индекса укажи: "колонка N = что это" (число коробок, маркировка, \
название сорта, категория, бантчи, стебли, цена за штуку, итого, номер заказа и т.д.).

2. ТИП ИНВОЙСА — определи по структуре OCR:
   А) Составные коробки (заголовок + детали): есть строки-заголовки (MIXED BOX) \
с общими суммами, за ними строки-детали с отдельными сортами.
   Б) Плоские: каждая строка = одна позиция = одна коробка. Нет MIXED BOX.
   Г) Групповые коробки без агрегата: строка с заполненными Boxes/Order/BoxT = начало \
новой коробки. Эта же строка = первый товар. Последующие строки с пустыми \
Boxes/Order/BoxT = товары в той же коробке. box_number наследуется от строки-заголовка.
   В) Секции по фермам: строки группируются по фермам/HAWB.
   Д) Гибридный (составные + individual в одном инвойсе): строки с PRODUCT = \
"MIXED BOX" открывают группы с деталями ниже, а строки с конкретным сортом \
(не "MIXED BOX"), непустым # и непустым LABEL являются individual box и \
должны маппиться в item напрямую.

3. ФИЗИЧЕСКИЕ КОРОБКИ: найди колонку с количеством физических коробок. \
Колонка # (часто col 0) содержит КОЛИЧЕСТВО физических коробок в строке. \
Значение может быть 1, 2, 6, 14 и т.д. Значение # в строке TOTALS = общее \
число коробок в инвойсе. ВАЖНО: items[].boxes = значение из этой колонки \
(НЕ хардкод 1). Не путай # с числом бантчей/сортов внутри коробки.

4. MIXED BOX — определи, что это значит в данном инвойсе:
   - Вариант 1: одна физическая коробка со смешанными сортами внутри \
(строки-детали = сорта в одной коробке). В этом случае каждая строка-деталь = \
1 item с boxes=1, данные берутся напрямую из строки без деления.
   - Вариант 2: одна строка описывает N одинаковых физических коробок \
(boxes > 1 и нет строк-деталей). В этом случае раскрой: создай N items \
с boxes=1, поделив quantity и total_price на N.
   Подсказка: если после деления quantity получаются дробные стебли (3.125, 1.786) — \
ты неправильно определил что делить. Стебли всегда целые или кратные размеру бантча.
   - Вариант 3: строка с # > 1 и конкретным сортом (не "MIXED BOX") без \
строк-деталей — это N одинаковых коробок с одним сортом. Раскрой в N items \
с boxes=1: quantity_each = quantity / N, total_price_each = total_price / N. \
Генерируй уникальный box_number для каждого раскрытого item.

=== ШАГ 2: БИЗНЕС-ПРАВИЛА ===

РАСКРЫТИЕ МУЛЬТИБОКСА (применяй только для варианта 2 из шага 1):
Если одна строка = N одинаковых физических коробок без строк-деталей — раскрой \
в N отдельных items[] с boxes=1.
Пример: строка "5 boxes, 1500 stems, $750" → 5 строк по boxes=1, quantity=300, \
total_price=150.
При раскрытии мультибокса каждый раскрытый item должен получить УНИКАЛЬНЫЙ box_number. \
Если исходный номер "ORD123" и boxes=3, генерируй "ORD123-1", "ORD123-2", "ORD123-3".
Если MIXED BOX = одна коробка с разными сортами (вариант 1) — НЕ раскрывать. \
Каждая строка-деталь уже описывает один сорт с готовыми quantity и total_price.

НОМЕР КОРОБКИ (box_number):
1. Если в таблице есть колонка Order/LABEL с уникальным номером — используй его.
2. Если уникального номера нет — генерируй: первые 3 буквы названия плантации \
и порядковый номер коробки (QUA1, QUA2, GUI1, BOT1 и т.д.).

ПОДСЧЁТ summary.total_boxes:
Приоритеты:
1. Строка TOTALS: значение в col 0 (#) = сумма физических коробок.
2. Если есть секция "Total Full / F / H / Q / E" — total_boxes = сумма F+H+Q+E \
(Full, Half, Quarter, Eighth).
3. Если BOX N° содержит только group ID (001, 003, 005 — не для каждой физической \
коробки), а total_boxes берётся из секции типов, то BOX N° = group identifier.

МАРКИРОВКА КОРОБКИ (box_marking):
Тип + размер коробки из колонки BOX/BoxT (напр. "HB 2 (120*35*35)", "HB XL 1", "QB"). \
Для строк-деталей бери box_marking из строки-заголовка их коробки.

ПОЛЕ plantation:
- Если есть колонка FARM — бери оттуда (без кодов типа PC602017194).
- Если нет колонки FARM — plantation = название поставщика из metadata или шапки инвойса.
- Mark Code / MARK — это НЕ плантация (часто это код клиента).

ПОЛЯ category, variety, length:
- category: из колонки SPECIES/Species (ROSES, ALSTRO, CARNATION). \
Если нет отдельной колонки — определи по описанию.
- variety: из колонки VARIETY/Description. Если встроена в PRODUCT \
("AMIRA 60CM N 25ST QUCT") — извлеки только название сорта ("AMIRA").
- length: из колонки LEN/Length/Lenght. Если встроена в название ("60CM") — \
извлеки число. Если несколько значений ("40CMN 25ST QUOT") — бери первое число перед CM.

=== ШАГ 3: САМОПРОВЕРКА ===

Мысленно примени свои правила к первым 3-5 строкам данных и проверь:
- quantity в каждом item — целое число или кратное размеру бантча (25, 10). \
Дробные стебли (3.125, 1.786, 14.06) — признак ошибки в правилах.
- unit_price — разумная цена за стебель ($0.20–$5.00 для цветов).
- sum(items[].quantity) ≈ totals.total_stems (если есть в данных).
- sum(items[].total_price) ≈ totals.total_amount (если есть в данных).
- sum(items[].boxes) должно совпадать со значением # в строке TOTALS (если есть в данных).
- count(unique items[].box_number) должен быть разумным (если boxes где-то > 1, \
count(unique box_number) обычно меньше items_count только после корректного раскрытия).
- Каждый item должен иметь непустой box_number.
Если проверка не сходится — пересмотри правила перед ответом.

=== ФОРМАТ ОТВЕТА ===

Верни JSON с единственным ключом:
- "transform_rules": массив коротких правил (строки на русском языке)

КРИТИЧНО — правила будут применяться к НОВЫМ документам того же поставщика, \
где конкретные значения (номера инвойсов, даты, суммы, AWB, количество стеблей) \
будут ДРУГИМИ. Поэтому:

ЗАПРЕЩЕНО включать в правила:
- Конкретные значения из образца: номера инвойсов, даты, AWB, суммы, количества
- Абсолютные индексы строк (индекс 23, индекс 30) — число строк в таблице разное
- Конкретные названия стран или имена клиентов из данного документа

ОБЯЗАТЕЛЬНО сгенерируй правила для processing_report:
- sum_stems = sum(items[].quantity)
- sum_amount = sum(items[].total_price)
- sum_boxes = количество УНИКАЛЬНЫХ непустых items[].box_number
- expected_stems = summary.total_stems
- expected_amount = summary.total_amount
- expected_boxes = summary.total_boxes
- items_count = len(items)
- status: "ok" если всё сошлось, "warning" если расхождения, "error" если ключевые данные не извлечены
- discrepancies: список расхождений (отсутствие box_number, несовпадение сумм и т.д.)
- notes: тип инвойса, кол-во коробок, проблемы при извлечении, раскрытие мультибокса, \
текст "Notice:" если есть
Адаптируй формулы к реальной структуре данных. Если коробки распознаются \
в нестандартных ячейках — опиши откуда именно брать значения и как считать.

ОБЯЗАТЕЛЬНО описывать:
- МЕТОД извлечения: "найти строку с меткой 'MAWB'", "последняя строка таблицы", \
"строка, содержащая 'Totals'"
- Ссылки на КОЛОНКИ по имени и индексу (колонки стабильны между документами)
- ПАТТЕРНЫ поиска: "строка, где колонка 0 содержит 'DAU-'", а не конкретное значение

Пример ПЛОХОГО правила: "summary.total_stems: значение 700 из строки индекс 30."
Пример ХОРОШЕГО правила: "summary.total_stems: найти строку с меткой 'Totals', \
взять значение из колонки 1, преобразовать в число."

Требования к правилам:
1. Ссылайся на названия колонок из table.columns (по индексу и по имени).
2. Опиши как заполнить КАЖДОЕ поле целевой схемы, используя метод извлечения, \
а не конкретные значения.
3. Укажи определённый тип инвойса (А/Б/В) и логику распознавания строк.
4. Укажи МЕТОД извлечения для invoice_number, date, supplier, country, awb: \
по какой метке/паттерну найти значение. Если в сыром OCR есть поле header_text — \
используй его как приоритетный источник для полей шапки (номер, дата, поставщик, страна, AWB).
5. Опиши логику box_number: реальный номер из данных или генерация PREFIX+seq.
6. Если применяется раскрытие мультибокса — опиши логику. \
Если не применяется — явно укажи, что каждая строка-деталь = 1 item без деления.
7. Числовые поля — числа, не строки. Убери "$", "EUR", запятые.
8. Правила валидации: sum(items[].total_price) ≈ summary.total_amount, \
sum(items[].quantity) ≈ summary.total_stems, \
count(unique items[].box_number) = summary.total_boxes.
9. Верни только валидный JSON.

Используется кнопкой «Подсказать rules».

Transform rules (JSON массив строк)

[
  "Тип инвойса: Б (плоский) - каждая строка таблицы с данными представляет одну позицию/коробку. Нет строк 'MIXED BOX' или группировок.",
  "Колонки таблицы (определены по первой строке данных): 0 - BOXES (количество физических коробок), 1 - ORDER (номер заказа/коробки), 2 - BOX TYPE (тип коробки), 3 - MARK (маркировка/код), 4 - BUN (количество банчей), 5 - DESCRIPTION (описание/сорт), 6 - LEN (длина), 7 - S/B (стебли на банч), 8 - T. STEMS (общее количество стеблей), 9 - U. PRICE (цена за стебель), 10 - TOTAL (общая сумма).",
  "invoice_number: извлечь из header_text по паттерну 'No. ' или 'INVOICE No. ', взять следующий за меткой числовой/буквенно-цифровой идентификатор.",
  "invoice_date: извлечь из header_text по паттерну 'DATE:' или 'Date:', взять следующую дату в формате YYYY-MM-DD.",
  "supplier: извлечь из header_text строку, следующую за 'COMMERCIAL INVOICE', до символа новой строки или адреса.",
  "country: извлечь из header_text по паттерну 'CTRY. DEST:' или 'Country:', взять следующее значение (название страны).",
  "awb: извлечь из header_text по паттерну 'M.A.W.B.:' или 'MAWB:', взять следующий буквенно-цифровой код.",
  "items: обрабатывать строки таблицы, начиная со второй (индекс 1), до строки, где колонка 3 содержит 'TOTALS'. Игнорировать строки, где колонка 0 пуста или содержит нечисловое значение (например, 'QB', 'TOTAL PIECES:').",
  "items[].box_number: взять значение из колонки 1 (ORDER). Если пусто, сгенерировать как первые 3 буквы supplier + порядковый номер позиции (напр., BOU1, BOU2).",
  "items[].box_marking: взять значение из колонки 2 (BOX TYPE).",
  "items[].boxes: взять значение из колонки 0 (BOXES), преобразовать в число. Если пусто или не число, использовать 1.",
  "items[].plantation: использовать значение supplier, так как колонки FARM нет.",
  "items[].category: определить из колонки 5 (DESCRIPTION) по ключевым словам (например, 'FORTUNE', 'RED PANTHER', 'HEARTS' - это сорта роз, категория 'ROSES'). Если не удается, оставить пустым.",
  "items[].variety: взять значение из колонки 5 (DESCRIPTION), убрать числовые значения и единицы измерения (например, 'FORTUNE', 'RED PANTHER').",
  "items[].length: взять значение из колонки 6 (LEN), преобразовать в строку. Если пусто, извлечь из колонки 5 по паттерну числа перед 'CM'.",
  "items[].quantity: взять значение из колонки 8 (T. STEMS), преобразовать в число.",
  "items[].unit_price: взять значение из колонки 9 (U. PRICE), преобразовать в число.",
  "items[].total_price: взять значение из колонки 10 (TOTAL), преобразовать в число.",
  "summary.total_boxes: найти строку, где колонка 3 содержит 'TOTALS', взять значение из колонки 0 (BOXES); если значение в колонке 0 отсутствует, нечисловое или не соответствует количеству физических коробок, вычислить как sum(items[].boxes).",
  "summary.total_fb: найти строку, где колонка 3 содержит 'TOTALS', взять значение из колонки 4 (BUN), интерпретировать как общее количество банчей (FB), преобразовать в число. Это поле хранится отдельно и НЕ используется для проверки количества коробок.",
  "summary.total_stems: найти строку, где колонка 3 содержит 'TOTALS', взять значение из колонки 8 (T. STEMS), преобразовать в число. Если не найдено, вычислить как sum(items[].quantity).",
  "summary.total_amount: найти строку, где колонка 3 содержит 'TOTALS', взять значение из колонки 10 (TOTAL), преобразовать в число. Если не найдено, вычислить как sum(items[].total_price).",
  "processing_report.items_count: вычислить как len(items).",
  "processing_report.sum_stems: вычислить как sum(items[].quantity).",
  "processing_report.sum_amount: вычислить как sum(items[].total_price).",
  "processing_report.sum_boxes: вычислить как sum(items[].boxes). НЕ использовать подсчёт уникальных box_number.",
  "processing_report.sum_fb: при наличии данных вычислить как sum по колонке 4 (BUN) по всем позициям; если данные недоступны, оставить пустым.",
  "processing_report.expected_stems: взять из summary.total_stems.",
  "processing_report.expected_amount: взять из summary.total_amount.",
  "processing_report.expected_boxes: взять из summary.total_boxes.",
  "processing_report.expected_fb: взять из summary.total_fb, если определено; иначе оставить пустым.",
  "processing_report.status: установить 'ok' если выполнены ВСЕ условия: sum_stems = expected_stems, sum_amount = expected_amount, sum_boxes = expected_boxes, (expected_fb пусто ИЛИ sum_fb = expected_fb), и все items имеют непустой box_number; иначе 'warning'.",
  "processing_report.discrepancies: добавить строки только для фактических несоответствий: если sum_stems != expected_stems, добавить 'total_stems mismatch'; если sum_amount != expected_amount, добавить 'total_amount mismatch'; если sum_boxes != expected_boxes, добавить 'total_boxes mismatch'; если expected_fb задано и sum_fb != expected_fb, добавить 'total_fb mismatch'; если любой item имеет пустой box_number, добавить 'missing box_number'. НЕ сравнивать sum_boxes с total_fb.",
  "processing_report.notes: указать тип инвойса (плоский), количество обработанных позиций, наличие расхождений, и текст 'Notice: ANY CREDIT OR QUALITY PROBLEMS...' из header_text, если присутствует."
]

Сырой OCR JSON (Pass 1)

{
  "awb": "14599817594",
  "items": [
    {
      "boxes": 1,
      "length": "50CM",
      "variety": "MADONNA",
      "category": "FLOWERS",
      "quantity": 25,
      "box_number": "1 - 1",
      "plantation": "BOUTIQUE FLOWERS SA",
      "unit_price": 0.4,
      "box_marking": "HB",
      "total_price": 10.0
    },
    {
      "boxes": 1,
      "length": "50CM",
      "variety": "EXPLORER",
      "category": "FLOWERS",
      "quantity": 150,
      "box_number": "1 - 1",
      "plantation": "BOUTIQUE FLOWERS SA",
      "unit_price": 0.29,
      "box_marking": "HB",
      "total_price": 43.5
    },
    {
      "boxes": 1,
      "length": "40CM",
      "variety": "COUNTRY BLUES",
      "category": "FLOWERS",
      "quantity": 25,
      "box_number": "1 - 1",
      "plantation": "BOUTIQUE FLOWERS SA",
      "unit_price": 0.4,
      "box_marking": "HB",
      "total_price": 10.0
    },
    {
      "boxes": 1,
      "length": "50CM",
      "variety": "FRUTTETO",
      "category": "FLOWERS",
      "quantity": 50,
      "box_number": "1 - 1",
      "plantation": "BOUTIQUE FLOWERS SA",
      "unit_price": 0.35,
      "box_marking": "HB",
      "total_price": 17.5
    }
  ],
  "country": "KAZAKHSTAN",
  "summary": {
    "total_boxes": null,
    "total_stems": 250,
    "total_amount": 81.0
  },
  "supplier": "BOUTIQUE FLOWERS SA",
  "invoice_date": "2026-02-26",
  "invoice_number": "3000114388",
  "processing_report": {
    "notes": "Тип инвойса: Групповые коробки без агрегата (тип В). Обнаружено 1 физическая коробка. Наследование значений применялось для строк-деталей. Notice: ANY CREDIT OR QUALITY PROBLEMS SHOULD BE SUPPORTED WITH PICTURES AND BE NOTIFIED 48 HOURS AFTER YOU\nRECEIVED THE PRODUCT, OTHERWISE WILL NOT BE ACCEPTED ANY CREDIT OR DISCCOUNT IN THE PAYMENT.",
    "status": "warning",
    "sum_boxes": 1,
    "sum_stems": 250,
    "sum_amount": 81.0,
    "items_count": 4,
    "discrepancies": [
      "Calculated total boxes (1) does not match expected total boxes (null)."
    ],
    "expected_boxes": null,
    "expected_stems": 250,
    "expected_amount": 81.0
  }
}

Результат (Pass 2)

Report: ok

items=4, boxes=4/4, stems=450/450, amount=485.0/485.0

notes: Тип инвойса: плоский, количество обработанных позиций: 4, наличие расхождений: нет. Notice: ANY CREDIT OR QUALITY PROBLEMS SHOULD BE SUPPORTED WITH PICTURES AND BE NOTIFIED 48 HOURS AFTER YOU RECEIVED THE PRODUCT, OTHERWISE WILL NOT BE ACCEPTED ANY CREDIT OR DISCCOUNT IN THE PAYMENT.

{
  "awb": "50119717854",
  "items": [
    {
      "boxes": 1,
      "length": "60",
      "variety": "FORTUNE",
      "category": "ROSES",
      "quantity": 100,
      "box_number": "1 - 1",
      "plantation": "BOUTIQUE FLOWERS SA",
      "unit_price": 1.1,
      "box_marking": "QB",
      "total_price": 110.0
    },
    {
      "boxes": 1,
      "length": "50",
      "variety": "RED PANTHER",
      "category": "ROSES",
      "quantity": 100,
      "box_number": "2 - 2",
      "plantation": "BOUTIQUE FLOWERS SA",
      "unit_price": 1.0,
      "box_marking": "QB",
      "total_price": 100.0
    },
    {
      "boxes": 1,
      "length": "60",
      "variety": "RED PANTHER",
      "category": "ROSES",
      "quantity": 150,
      "box_number": "3 - 3",
      "plantation": "BOUTIQUE FLOWERS SA",
      "unit_price": 1.1,
      "box_marking": "QB",
      "total_price": 165.0
    },
    {
      "boxes": 1,
      "length": "60",
      "variety": "HEARTS",
      "category": "ROSES",
      "quantity": 100,
      "box_number": "4 - 4",
      "plantation": "BOUTIQUE FLOWERS SA",
      "unit_price": 1.1,
      "box_marking": "QB",
      "total_price": 110.0
    }
  ],
  "country": "KAZAKHSTAN",
  "summary": {
    "total_boxes": 4,
    "total_stems": 450,
    "total_amount": 485.0
  },
  "supplier": "BOUTIQUE FLOWERS SA",
  "invoice_date": "2026-02-17",
  "invoice_number": "3000113954",
  "processing_report": {
    "notes": "Тип инвойса: плоский, количество обработанных позиций: 4, наличие расхождений: нет. Notice: ANY CREDIT OR QUALITY PROBLEMS SHOULD BE SUPPORTED WITH PICTURES AND BE NOTIFIED 48 HOURS AFTER YOU\nRECEIVED THE PRODUCT, OTHERWISE WILL NOT BE ACCEPTED ANY CREDIT OR DISCCOUNT IN THE PAYMENT.",
    "status": "ok",
    "sum_fb": 18,
    "sum_boxes": 4,
    "sum_stems": 450,
    "sum_amount": 485.0,
    "expected_fb": 18,
    "items_count": 4,
    "discrepancies": [],
    "expected_boxes": 4,
    "expected_stems": 450,
    "expected_amount": 485.0
  }
}

История (последние 20)

ID	Файл	Дата
74	INVOICE_3000113954_2026-02-17_TDA.pdf	2026-03-03 04:23:14.496243+00:00	Excel
73	INVOICE_3000113954_2026-02-17_TDA.pdf	2026-03-03 04:22:33.379377+00:00	Excel
72	INVOICE_3000113949_2026-02-17_BUKETOPT.pdf	2026-03-03 04:19:28.133698+00:00	Excel
69	INVOICE_3000113954_2026-02-17_TDA.pdf	2026-03-02 09:20:45.996017+00:00	Excel
58	INVOICE_3000114057_2026-02-19_TDA.pdf	2026-02-26 04:15:58.701688+00:00	Excel
27	INVOICE_3000114057_2026-02-19_TDA.pdf	2026-02-23 17:14:42.296265+00:00	Excel