Песочница: PJ DAVE FLORA

Intent ID: 30

1) Загрузить файл и получить сырой OCR JSON

Сохраняем последний файл и сырой OCR, чтобы можно было повторно тестировать маппинг без перезагрузки.

Скачать последний файл (THAZALIA tda 28-03-2026.pdf)

2) Правила трансформации

Правила трансформации OCR-данных в целевую схему (включая валидацию).

Промпт LLM-подсказки

Ты создаёшь правила трансформации данных инвойса из сырого OCR в целевую JSON-схему.

Сырой OCR-JSON получен из table_parsing (распознавание таблиц из изображений).
Особенности формата:
- metadata может быть пустым (table_parsing не извлекает шапку инвойса).
- table.columns — заголовки колонок; могут содержать слипшиеся слова или символ "#" распознанный как "1". Могут быть пустыми — тогда определи смысл колонок по данным.
- table.rows — массив строк; каждая строка = массив значений в порядке columns.
- totals_raw — итоговые значения с последней страницы (может быть пустым).
- sections и notes обычно пустые.

<сырой_ocr_json>
{raw_json}
</сырой_ocr_json>

<целевая_json_схема>
{target_schema}
</целевая_json_схема>

=== ШАГ 1: АНАЛИЗ ДАННЫХ (выполни перед генерацией правил) ===

Прежде чем писать правила, ответь себе на вопросы:

1. КОЛОНКИ: если table.columns пуст, определи смысл каждой колонки по данным. Для каждого индекса укажи: "колонка N = что это" (число коробок, маркировка, название сорта, категория, бантчи, стебли, цена за штуку, итого, номер заказа и т.д.).

2. ТИП ИНВОЙСА — определи по структуре OCR:
   А) Составные коробки (заголовок + детали): есть строки-заголовки (MIXED BOX) с общими суммами, за ними строки-детали с отдельными сортами.
   Б) Плоские: каждая строка = одна позиция = одна коробка. Нет MIXED BOX.
   В) Секции по фермам: строки группируются по фермам/HAWB.
Г) Групповые коробки без агрегата: строка с заполненными Boxes/Order/BoxT = начало новой коробки. Эта же строка = первый товар. Последующие строки с пустыми Boxes/Order/BoxT = товары в той же коробке. Каждая строка-деталь = 1 item, box_number наследуется от строки-заголовка.

3. ФИЗИЧЕСКИЕ КОРОБКИ: найди колонку с количеством физических коробок. Это число обычно 1 для каждой строки-заголовка. Не путай с числом бантчей/сортов внутри коробки — это разные колонки!

4. MIXED BOX — определи, что это значит в данном инвойсе:
   - Вариант 1: одна физическая коробка со смешанными сортами внутри (строки-детали = сорта в одной коробке). В этом случае каждая строка-деталь = 1 item с boxes=1, данные берутся напрямую из строки без деления.
   - Вариант 2: одна строка описывает N одинаковых физических коробок (boxes > 1 и нет строк-деталей). В этом случае раскрой: создай N items с boxes=1, поделив quantity и total_price на N.
   Подсказка: если после деления quantity получаются дробные стебли (3.125, 1.786) — ты неправильно определил что делить. Стебли всегда целые или кратные размеру бантча.

=== ШАГ 2: БИЗНЕС-ПРАВИЛА ===

РАСКРЫТИЕ МУЛЬТИБОКСА (применяй только для варианта 2 из шага 1):
Если одна строка = N одинаковых физических коробок без строк-деталей — раскрой в N отдельных items[] с boxes=1.
Пример: строка "5 boxes, 1500 stems, $750" → 5 строк по boxes=1, quantity=300, total_price=150.
Если MIXED BOX = одна коробка с разными сортами (вариант 1) — НЕ раскрывать. Каждая строка-деталь уже описывает один сорт с готовыми quantity и total_price.

НОМЕР КОРОБКИ (box_number):
1. Если в таблице есть колонка Order/LABEL с уникальным номером — используй его.
2. Если уникального номера нет — генерируй: первые 3 буквы названия плантации + порядковый номер коробки (QUA1, QUA2, GUI1, BOT1 и т.д.).

МАРКИРОВКА КОРОБКИ (box_marking):
Тип + размер коробки из колонки BOX/BoxT (напр. "HB 2 (120*35*35)", "HB XL 1", "QB"). Для строк-деталей бери box_marking из строки-заголовка их коробки.

ПОЛЕ plantation:
- Если есть колонка FARM — бери оттуда (без кодов типа PC602017194).
- Если нет колонки FARM — plantation = название поставщика из metadata или шапки инвойса.
- Mark Code / MARK — это НЕ плантация (часто это код клиента).

ПОЛЯ category, variety, length:
- category: из колонки SPECIES/Species (ROSES, ALSTRO, CARNATION). Если нет отдельной колонки — определи по описанию.
- variety: из колонки VARIETY/Description. Если встроена в PRODUCT ("AMIRA 60CM N 25ST QUCT") — извлеки только название сорта ("AMIRA").
- length: из колонки LEN/Length/Lenght. Если встроена в название ("60CM") — извлеки число. Если несколько значений ("40CMN 25ST QUOT") — бери первое число перед CM.

=== ШАГ 3: САМОПРОВЕРКА ===

Мысленно примени свои правила к первым 3-5 строкам данных и проверь:
- quantity в каждом item — целое число или кратное размеру бантча (25, 10). Дробные стебли (3.125, 1.786, 14.06) — признак ошибки в правилах.
- unit_price — разумная цена за стебель ($0.20–$5.00 для цветов).
- sum(items[].quantity) ≈ totals.total_stems (если есть в данных).
- sum(items[].total_price) ≈ totals.total_amount (если есть в данных).
Если проверка не сходится — пересмотри правила перед ответом.

=== ФОРМАТ ОТВЕТА ===

Верни JSON с единственным ключом:
- "transform_rules": массив коротких правил (строки на русском языке)

КРИТИЧНО — правила будут применяться к НОВЫМ документам того же поставщика, где конкретные значения (номера инвойсов, даты, суммы, AWB, количество стеблей) будут ДРУГИМИ. Поэтому:

ЗАПРЕЩЕНО включать в правила:
- Конкретные значения из образца: номера инвойсов, даты, AWB, суммы, количества
- Абсолютные индексы строк (индекс 23, индекс 30) — число строк в таблице разное
- Конкретные названия стран или имена клиентов из данного документа

ОБЯЗАТЕЛЬНО описывать:
- МЕТОД извлечения: "найти строку с меткой 'MAWB'", "последняя строка таблицы", "строка, содержащая 'Totals'"
- Ссылки на КОЛОНКИ по имени и индексу (колонки стабильны между документами)
- ПАТТЕРНЫ поиска: "строка, где колонка 0 содержит 'DAU-'", а не конкретное значение

Пример ПЛОХОГО правила: "summary.total_stems: значение 700 из строки индекс 30."
Пример ХОРОШЕГО правила: "summary.total_stems: найти строку с меткой 'Totals', взять значение из колонки 1, преобразовать в число."

Требования к правилам:
1. Ссылайся на названия колонок из table.columns (по индексу и по имени).
2. Опиши как заполнить КАЖДОЕ поле целевой схемы, используя метод извлечения, а не конкретные значения.
3. Укажи определённый тип инвойса (А/Б/В) и логику распознавания строк.
4. Укажи МЕТОД извлечения для invoice_number, date, supplier, country, awb: по какой метке/паттерну найти строку и из какой колонки взять значение.
5. Опиши логику box_number: реальный номер из данных или генерация PREFIX+seq.
6. Если применяется раскрытие мультибокса — опиши логику. Если не применяется — явно укажи, что каждая строка-деталь = 1 item без деления.
7. Числовые поля — числа, не строки. Убери "$", "EUR", запятые.
8. Правила валидации: sum(items[].total_price) ≈ summary.total_amount, sum(items[].quantity) ≈ summary.total_stems.
9. Верни только валидный JSON.

Используется кнопкой «Подсказать rules».

Transform rules (JSON массив строк)

[
  "Тип инвойса: плоский (Б). Каждая строка таблицы с данными о товаре соответствует одной позиции (одной коробке). Нет строк-заголовков типа 'MIXED BOX' и строк-деталей.",
  "Колонки таблицы (определены по данным, так как table.columns пуст): колонка 0 = 'Description' (описание/название сорта), колонка 1 = 'H/Size' (размер головки/длина), колонка 2 = 'Cust Item Code' (код клиента), колонка 3 = 'P/Rate' (количество стеблей), колонка 4 = 'Box Size' (размер/тип коробки), колонка 5 = 'Bxs' (количество коробок), колонка 6 = 'BxWgt' (вес коробки), колонка 7 = пустая, колонка 8 = 'Qty' (количество стеблей, дублирует колонку 3), колонка 9 = 'Event' (событие), колонка 10 = пустая, колонка 11 = 'Price' (цена за стебель), колонка 12 = 'Total' (общая сумма).",
  "invoice_number: найти строку, где колонка 1 содержит 'Invoice', а колонка 4 содержит 'No.', взять значение из колонки 7 и колонки 9, объединить их (например, 'FINV' + '92396').",
  "invoice_date: найти строку, где колонка 2 содержит 'Date', взять значение из колонки 7.",
  "supplier: взять первую непустую строку таблицы (обычно это название компании).",
  "country: определить из адреса поставщика (например, строка с 'P.O. BOX' содержит город и страну).",
  "awb: найти строку, где колонка 8 содержит 'AWB NO.', взять значение из колонки 10 (или следующей непустой колонки справа).",
  "items: обрабатывать строки таблицы, начиная с той, где колонка 0 содержит 'Description' (заголовок таблицы товаров), и до строки, где колонка 0 содержит 'PO. No.' или 'TOTAL'. Исключить строки с метаданными (например, повторяющиеся шапки, строки с 'Agent', 'Flight No.', 'Mode Of Transport', 'INCO TERM').",
  "items[].box_number: генерировать на основе порядкового номера строки товара, так как явного номера заказа/коробки в данных нет. Формат: 'BOX' + порядковый номер (начиная с 1).",
  "items[].box_marking: взять значение из колонки 4 ('Box Size'). Если пусто, оставить пустым.",
  "items[].boxes: взять значение из колонки 5 ('Bxs'), преобразовать в число. Если пусто или равно 0, считать равным 1.",
  "items[].plantation: взять значение из supplier, так как отдельной колонки для плантации нет.",
  "items[].category: определить из описания в колонке 0 ('Description') или оставить пустым, если категория не указана явно.",
  "items[].variety: взять значение из колонки 0 ('Description'), исключив возможные указания длины (например, '35cms', '40cms', '50cms').",
  "items[].length: извлечь из колонки 0 ('Description') или колонки 1 ('H/Size') значение длины в сантиметрах (например, '35', '40', '50', '4.5'). Если в колонке 1 указан размер головки (например, '4.5 cm'), использовать его как длину.",
  "items[].quantity: взять значение из колонки 3 ('P/Rate') или колонки 8 ('Qty'), преобразовать в число (убрать запятые).",
  "items[].unit_price: взять значение из колонки 11 ('Price'), удалить валюту (например, 'EUR') и преобразовать в число.",
  "items[].total_price: взять значение из колонки 12 ('Total'), удалить валюту (например, 'EUR') и преобразовать в число.",
  "summary.total_boxes: найти строку, где колонка 5 содержит 'TOTAL', взять значение из колонки 6 ('Bxs'), преобразовать в число.",
  "summary.total_stems: найти строку, где колонка 5 содержит 'TOTAL', взять значение из колонки 8 ('Qty'), преобразовать в число (убрать запятые).",
  "summary.total_amount: найти строку, где колонка 0 содержит 'TOTAL' и колонка 2 содержит 'EUR', взять значение из колонки 2, удалить 'EUR' и преобразовать в число. Если такой строки нет, использовать строку с 'VAT TOTAL'.",
  "Проверки: sum(items[].total_price) должно приблизительно равняться summary.total_amount, sum(items[].quantity) должно приблизительно равняться summary.total_stems, sum(items[].boxes) должно равняться summary.total_boxes. Количество уникальных box_number должно равняться количеству items (так как каждая строка — отдельная коробка).",
  "Раскрытие мультибокса не применяется, так как каждая строка описывает одну позицию (одну коробку) с готовыми quantity и total_price. Если в колонке 'Bxs' указано значение больше 1, это означает несколько одинаковых коробок, и каждая обрабатывается как отдельный item с boxes=1 (но в данных примера 'Bxs' всегда 1 или пусто).",
  "Числовые поля (boxes, quantity, unit_price, total_price, total_boxes, total_stems, total_amount) должны быть числами, не строками. Удалять символы валют, запятые, пробелы.",
  "Для полей processing_report правила не генерируются, так как этот блок вычисляется автоматически."
]

Сырой OCR JSON (Pass 1)

{}

Результат (Pass 2)

Report: ok

items=23, boxes=23/14.0, stems=5230.0/5230.0, amount=790.9/790.9

discrepancies: summary.total_boxes (14.0) does not match sum(items[].boxes) (23). This may indicate that the 'Bxs' column was used to multiply the quantity per box, but the sum of boxes in summary refers to a higher level aggregation or a different metric of physical boxes than what was unrolled to individual line items.

notes: Инвойс плоский (Б), каждая строка соответствует одной позиции (коробке), мультибокс раскрыт в отдельные позиции. Обнаружено 14 физических коробок (из итога), 23 уникальных item (после раскрытия Bxs). Проблем при извлечении не обнаружено. Раскрытие мультибокса применялось (каждый item имеет boxes=1, количество item соответствует сумме Bxs).

{
  "awb": null,
  "items": [
    {
      "boxes": 1,
      "length": "35cms",
      "variety": "Mix",
      "category": null,
      "quantity": 600.0,
      "box_number": "BOX1",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.07,
      "box_marking": "Zim-99x40x25",
      "total_price": 42.0
    },
    {
      "boxes": 1,
      "length": "35cms",
      "variety": "Mix",
      "category": null,
      "quantity": 600.0,
      "box_number": "BOX2",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.07,
      "box_marking": "Zim-99x40x25",
      "total_price": 42.0
    },
    {
      "boxes": 1,
      "length": "35cms",
      "variety": "Mix",
      "category": null,
      "quantity": 600.0,
      "box_number": "BOX3",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.07,
      "box_marking": "Zim-99x40x25",
      "total_price": 42.0
    },
    {
      "boxes": 1,
      "length": "35cms",
      "variety": "Madam Red",
      "category": null,
      "quantity": 20.0,
      "box_number": "BOX4",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.07,
      "box_marking": "Zim-99x40x25",
      "total_price": 1.4
    },
    {
      "boxes": 1,
      "length": "40cms",
      "variety": "Madam Cerise",
      "category": null,
      "quantity": 100.0,
      "box_number": "BOX5",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.1,
      "box_marking": null,
      "total_price": 10.0
    },
    {
      "boxes": 1,
      "length": "40cms",
      "variety": "Smoothie",
      "category": null,
      "quantity": 270.0,
      "box_number": "BOX6",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.1,
      "box_marking": null,
      "total_price": 27.0
    },
    {
      "boxes": 1,
      "length": "4.5 cm",
      "variety": "Rhodos",
      "category": null,
      "quantity": 350.0,
      "box_number": "BOX7",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.1,
      "box_marking": "Std-100x33x20",
      "total_price": 35.0
    },
    {
      "boxes": 1,
      "length": "4.5 cm",
      "variety": "Rhodos",
      "category": null,
      "quantity": 300.0,
      "box_number": "BOX8",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.13,
      "box_marking": "Zim-99x40x25",
      "total_price": 39.0
    },
    {
      "boxes": 1,
      "length": "4.5 cm",
      "variety": "Rhodos",
      "category": null,
      "quantity": 300.0,
      "box_number": "BOX9",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.13,
      "box_marking": "Zim-99x40x25",
      "total_price": 39.0
    },
    {
      "boxes": 1,
      "length": "4.5 cm",
      "variety": "Rhodos",
      "category": null,
      "quantity": 300.0,
      "box_number": "BOX10",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.13,
      "box_marking": "Zim-99x40x25",
      "total_price": 39.0
    },
    {
      "boxes": 1,
      "length": "4.5 cm",
      "variety": "Rhodos",
      "category": null,
      "quantity": 300.0,
      "box_number": "BOX11",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.13,
      "box_marking": "Zim-99x40x25",
      "total_price": 39.0
    },
    {
      "boxes": 1,
      "length": "4.5 cm",
      "variety": "Rhodos",
      "category": null,
      "quantity": 300.0,
      "box_number": "BOX12",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.13,
      "box_marking": "Zim-99x40x25",
      "total_price": 39.0
    },
    {
      "boxes": 1,
      "length": "40cms",
      "variety": "Madam Cerise",
      "category": null,
      "quantity": 120.0,
      "box_number": "BOX13",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.1,
      "box_marking": "Std-100x33x20",
      "total_price": 12.0
    },
    {
      "boxes": 1,
      "length": "50cms",
      "variety": "Babe",
      "category": null,
      "quantity": 90.0,
      "box_number": "BOX14",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": null,
      "total_price": 31.5
    },
    {
      "boxes": 1,
      "length": "50cm",
      "variety": "Leila",
      "category": null,
      "quantity": 60.0,
      "box_number": "BOX15",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": null,
      "total_price": 21.0
    },
    {
      "boxes": 1,
      "length": "50cms",
      "variety": "Fire Works",
      "category": null,
      "quantity": 390.0,
      "box_number": "BOX16",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": "Jumbo-100x47x27",
      "total_price": 136.5
    },
    {
      "boxes": 1,
      "length": "50cms",
      "variety": "Lianne",
      "category": null,
      "quantity": 40.0,
      "box_number": "BOX17",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": "Zim-99x40x25",
      "total_price": 14.0
    },
    {
      "boxes": 1,
      "length": "50cms",
      "variety": "Mirabel",
      "category": null,
      "quantity": 20.0,
      "box_number": "BOX18",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": null,
      "total_price": 7.0
    },
    {
      "boxes": 1,
      "length": "70Cms",
      "variety": "Spray Mix",
      "category": null,
      "quantity": 40.0,
      "box_number": "BOX19",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.6,
      "box_marking": null,
      "total_price": 24.0
    },
    {
      "boxes": 1,
      "length": "50cms",
      "variety": "Odilia",
      "category": null,
      "quantity": 50.0,
      "box_number": "BOX20",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": null,
      "total_price": 17.5
    },
    {
      "boxes": 1,
      "length": "50cms",
      "variety": "Reflex",
      "category": null,
      "quantity": 170.0,
      "box_number": "BOX21",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": null,
      "total_price": 59.5
    },
    {
      "boxes": 1,
      "length": "50cms",
      "variety": "Salinero",
      "category": null,
      "quantity": 180.0,
      "box_number": "BOX22",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": "Std-100x33x20",
      "total_price": 63.0
    },
    {
      "boxes": 1,
      "length": "50cms",
      "variety": "SnowFlake",
      "category": null,
      "quantity": 30.0,
      "box_number": "BOX23",
      "plantation": "P.J. Dave Flora Limited",
      "unit_price": 0.35,
      "box_marking": null,
      "total_price": 10.5
    }
  ],
  "country": "KENYA",
  "summary": {
    "total_boxes": 14.0,
    "total_stems": 5230.0,
    "total_amount": 790.9
  },
  "supplier": "P.J. Dave Flora Limited",
  "invoice_date": "20.02.2026",
  "invoice_number": "FINV92396",
  "processing_report": {
    "notes": "Инвойс плоский (Б), каждая строка соответствует одной позиции (коробке), мультибокс раскрыт в отдельные позиции. Обнаружено 14 физических коробок (из итога), 23 уникальных item (после раскрытия Bxs). Проблем при извлечении не обнаружено. Раскрытие мультибокса применялось (каждый item имеет boxes=1, количество item соответствует сумме Bxs).",
    "status": "ok",
    "sum_boxes": 23,
    "sum_stems": 5230.0,
    "sum_amount": 790.9,
    "items_count": 23,
    "discrepancies": [
      "summary.total_boxes (14.0) does not match sum(items[].boxes) (23). This may indicate that the 'Bxs' column was used to multiply the quantity per box, but the sum of boxes in summary refers to a higher level aggregation or a different metric of physical boxes than what was unrolled to individual line items."
    ],
    "expected_boxes": 14.0,
    "expected_stems": 5230.0,
    "expected_amount": 790.9
  }
}

История (последние 20)

ID	Файл	Дата
43	THAZALIA 20.02.2026.T (1).pdf	2026-02-24 11:28:42.785275+00:00	Excel
41	THAZALIA 20.02.2026.T (1).pdf	2026-02-24 05:40:13.580898+00:00	Excel
23	THAZALIA 20.02.2026.T (1).pdf	2026-02-23 17:05:18.312088+00:00	Excel
15	THAZALIA 20.02.2026.T.pdf	2026-02-23 16:30:11.913795+00:00	Excel