.. _gsauto_ug_test_data: Тестовые данные =============== .. versionadded:: 1.2.1 Глава описывает, как тест получает собственные записи в базе данных и почему он их не удаляет. Принцип работы сервиса тестовых данных описан в спецификации :ref:`gsauto_testdata`. .. note:: Сервис тестовых данных входит в модуль ``gs-automation-service`` для собственных тестов сервера приложений и работает только с выборкой, у которой ``onRefresh`` переписан под отбор записей по маркеру. В тестах прикладных решений собственные записи создаются операцией прикладного кода, см. :ref:`gsauto_ug_parallel_execution`. Api, Avi и Avm в главе - файлы прикладного кода сущности по глоссарию (:term:`Api`, :term:`Avi`, :term:`Avm`). Например, Api сущности ``Gs3_HugeSelection`` - класс ``Gs3_HugeSelectionApi``. Нужны ли тесту записи в базе ---------------------------- Большинству тестов записи в базе не нужны. Если тест только читает, сортирует, фильтрует или прокручивает список, набор записей строит сам запрос выборки тестового приложения, без таблицы. Такие записи живут в выборке, в базу не попадают, удалять их не нужно, а параллельные прогоны не мешают друг другу. .. code-block:: scala :caption: Записи выборки без таблицы override protected def onRefresh: Recs = { s"""select n as id, | lpad(cast(n as text), 3, '0') as sCode, | 'Значение ' || lpad(cast(n as text), 3, '0') as sValue |from generate_series(1, 300) as n |order by sCode """.stripMargin } Записи в базе нужны, когда тест проверяет сохранение, изменение записи в обход выборки, блокировки или работу нескольких сессий. Тогда записи создаёт сервис тестовых данных :java:type:`TestDataService `. Что делает сервис ----------------- 1. Выдаёт новый маркер для переменной выборки и атрибута маркера с указанными именами (:java:meth:`create `). 2. Регистрирует удаление записей сущности в системном задании очистки ``CleanupJob`` (системное имя задания очистки таблиц в менеджере заданий ``Btk_JobGroup``) и создаёт записи jexl-скриптом, маркер доступен скрипту в переменной ``marker`` (:java:meth:`createData `). Регистрация выполняется внутри метода перед скриптом, отдельно её вызывать не нужно. 3. Показывает в выборке только записи с этим маркером (:java:meth:`showData `). Тест записи не удаляет. Их удаляет задание очистки, когда записи становятся старше суток. .. _gsauto_ug_test_data_selection: Подготовка выборки ------------------ Сервис работает с выборкой, в которой сделаны изменения из списка ниже. Каждое изменение показано на примере в разделе :ref:`gsauto_ug_test_data_example`. Обязательные изменения: 1. Выбрать атрибут маркера - строковый атрибут сущности, значение которого задаёт скрипт создания и в который помещается маркер из 32 символов вместе с собственной частью значения. 2. Завести новое представление для автотестов в выборке самой сущности, то есть в выборке, имя которой совпадает с именем сущности и её :term:`Api` (``Gs3_HugeSelectionAvi`` и ``Gs3_HugeSelectionApi``). Представление объявляется в :term:`Avm` выборки и в её :term:`Avi`. Существующие представления не меняются. 3. Объявить в представлении строковую переменную для маркера (``addVar`` в ``onLoadMeta``). Имя переменной выбирается свободно и передаётся сервису при создании, в примере это ``sTestDataMarker``. 4. Переопределить запрос представления (``onRefresh``): - отбирать только записи, значение атрибута маркера которых начинается с маркера из переменной; - без маркера или с маркером, не прошедшим проверку шаблоном, возвращать пустой набор, а не всю таблицу; - проверять маркер шаблоном перед подстановкой в текст запроса; - возвращать те же колонки, что и стандартный запрос выборки, включая служебные ``id``, ``idClass``, ``gid``. 5. Проверить операции, которые представление наследует. Операции, которые создают записи в обход Api или меняют всю таблицу, тест не вызывает. 6. Операции представления, которые создают или меняют записи для теста, берут маркер из той же переменной и создают записи через Api сущности. Необязательные изменения: - показывать атрибут маркера без маркера, тогда тест сравнивает значения, не зная маркера; - ограничить число читаемых записей, если таблица сущности общая с другими проверками и может быть большой. Для тестов в проекте ``library-test`` дополнительно нужны пункт главного меню, открывающий представление, и мета-описание выборки (см. :ref:`gsauto_ug_test_data_example`). Скрипт создания записей ----------------------- Скрипт создаёт записи через Api сущности и сохраняет их вызовом ``commit()``. Через Api заполняется дата создания ``dCreateDate_dz``, по которой задание очистки отбирает устаревшие записи. Запись, вставленная запросом в обход Api, без даты создания не удалится. Маркер в переменной ``marker`` оканчивается дефисом, например ``gsauto-20261016T101223-1a2b3c4d-``. Скрипт приписывает собственную часть значения сразу после маркера, без своего разделителя, и запись получает код ``gsauto-20261016T101223-1a2b3c4d-001``. Маркер записывается в один атрибут сущности, тот же, что передаётся сервису при создании. Как выбрать атрибут, описано в спецификации :ref:`gsauto_testdata`. .. code-block:: none :caption: jexl-скрипт создания 300 записей var code; var rop; for (var i : 1 .. 300) { code = lpad('' + i, 3, '0'); rop = Gs3_HugeSelectionApi.insert(); Gs3_HugeSelectionApi.setsCode(rop, marker + code); Gs3_HugeSelectionApi.setNumber(rop, new('java.math.BigDecimal', 301 - i)); Gs3_HugeSelectionApi.setVarchar(rop, 'Значение ' + code); } commit(); .. attention:: В jexl значения типов ``NString``, ``NLong``, ``NNumber``, ``JObject`` и ``JArray`` приходят как ``String``, ``Long``, ``BigDecimal``, ``HashMap`` и ``ArrayList``. Арифметика jexl сужает результат до целого, если в выражении участвует целое число. Поэтому значение для атрибута ``NNumber`` передаётся явно созданным ``BigDecimal``. .. _gsauto_ug_test_data_example: Пример адаптации существующей выборки ------------------------------------- Пример показывает, как выборка ``Gs3_HugeSelection`` тестового приложения получила представление ``List_GsAutoData`` для данных автотестов. Выборка простая, в ней одна таблица без вложенных выборок и связей. Но в ней есть подводные камни, которые встречаются и в прикладных выборках: - таблица общая с нагрузочными проверками и может содержать миллионы записей; - атрибут, подходящий для маркера, - код записи, и тест проверяет коды; - список выборки уже содержит операции, которые меняют всю таблицу в обход Api. Шаги 1-6 совпадают по номерам со списком изменений в разделе :ref:`gsauto_ug_test_data_selection`, шаг 7 нужен для тестов в ``library-test``. Исходное состояние `````````````````` Сущность ``Gs3_HugeSelection`` хранит записи с кодом ``sCode``, числом ``Number``, строкой ``Varchar`` и несколькими атрибутами других типов. Выборка ``Gs3_HugeSelectionAvi`` содержит список ``List``, который показывает все записи таблицы, и две операции списка: - "Сгенерировать строки" (``generate``) вставляет записи запросом ``insert`` в обход Api; - "Удалить все строки" (``deleteAll``) удаляет все записи таблицы. Шаг 1. Атрибут маркера `````````````````````` Подходит только ``sCode``: - ``Number`` - число, маркер в него не записать; - ``Varchar`` - строка, но тест проверяет её значение, и маркер в нём пришлось бы отрезать в каждой проверке; - ``sCode`` - строка длиной 254 символа, значение задаёт скрипт создания, а не приложение. Маркер из 32 символов и собственная часть кода ``001`` в нём помещаются. Шаг 2. Новое представление в выборке сущности ````````````````````````````````````````````` Представление объявляется в ``Gs3_HugeSelection.avm.xml``, а не в отдельной выборке автотестов ``Gs3_QaGsAuto_*``. Сервис вычисляет сущность по имени выборки и вызывает её Api ``Gs3_HugeSelectionApi``. В выборке с другим именем он вычислит не ту сущность. .. code-block:: xml :caption: Gs3_HugeSelection.avm.xml В Avi-классе представление заводится отдельным трейтом от списка ``List``. Сам ``List`` не меняется, потому что им пользуются нагрузочные проверки, которым нужны все записи таблицы. .. code-block:: scala :caption: Gs3_HugeSelectionAvi.scala, фабрика и трейт представления def list_GsAutoData(): List_GsAutoData = { new List_GsAutoData { override def meta: TypeTag = this } } trait List_GsAutoData extends List { // шаги 3-6 } Шаг 3. Переменная маркера ````````````````````````` .. code-block:: scala private val MarkerVar = "sTestDataMarker" private val MarkerPattern = "gsauto-[A-Za-z0-9-]+-".r override protected def onLoadMeta(): Unit = { super.onLoadMeta() addVar(MarkerVar, None.ns, FieldType.ftString) } Переменная живёт в экземпляре выборки. Форма, открытая заново, получает пустую переменную, и маркер в неё присваивает :java:meth:`showData `. Шаг 4. Запрос представления ``````````````````````````` .. code-block:: scala private val RecordCount = 300 override protected def onRefresh: Recs = { val marker = getSelfVar(MarkerVar).asString() val isMarkerValid = marker != null && MarkerPattern.matches(marker) val condition = if (isMarkerValid) s"t.sCode like '$marker%'" else "1 = 0" val codeStart = if (isMarkerValid) marker.length + 1 else 1 s"""select t.id, | t.idClass, | t.gid, | substr(t.sCode, $codeStart) as sCode, | t.Number, | t.Varchar, | t.Date, | t.Long, | t.Text, | t.Jsonb, | t.Clob, | t.Blob |from Gs3_HugeSelection t |where $condition |order by t.sCode |limit $RecordCount """.stripMargin } Подводные камни запроса: - Без маркера условие ``1 = 0``, а не отсутствие условия. Иначе форма, открытая до ``showData``, загрузит в грид всю таблицу из миллионов записей. - Маркер подставляется в текст запроса, поэтому сначала проверяется шаблоном. Значение, не похожее на маркер, обрабатывается как его отсутствие. - Код показывается без маркера. ``substr`` отрезает ровно длину маркера, и тест видит ``001``, а не ``gsauto-20261016T101223-1a2b3c4d-001``. - Сортировка идёт по полному значению ``t.sCode``. Маркер у всех записей теста одинаковый, поэтому порядок совпадает с порядком по коду без маркера. - ``limit`` нужен из-за размера таблицы. Если маркер ошибочен или под тот же префикс попадут чужие записи, в грид не загрузится вся таблица. Тест создаёт ровно ``RecordCount`` записей, поэтому ограничение их не скрывает. - Запрос возвращает служебные ``id``, ``idClass``, ``gid`` и все атрибуты, как стандартный запрос выборки. Представление отличается от списка только отбором записей. Шаг 5. Унаследованные операции `````````````````````````````` ``List_GsAutoData`` наследует от ``List`` операции ``generate`` и ``deleteAll``, и обе для данных автотестов опасны: - ``generate`` вставляет записи запросом в обход Api. У таких записей нет ни маркера, ни даты создания ``dCreateDate_dz``, представление их не показывает, а задание очистки не удаляет. - ``deleteAll`` удаляет всю таблицу, в том числе записи параллельных прогонов и нагрузочных проверок. Тест эти операции не вызывает. Если тесту нужно изменить данные, для этого заводится своя операция (шаг 6). Шаг 6. Операции, которые меняют данные теста ```````````````````````````````````````````` Операция берёт маркер из той же переменной, проверяет его тем же шаблоном и создаёт запись через Api. Тогда у записи есть дата создания, и задание очистки её удалит. ``mergeItems``, в отличие от ``onRefresh``, не выполняет SQL-запрос, а принимает готовые данные. Поэтому запись передаётся объектом case class с полями по именам колонок представления, а маркер отрезается от кода при сборке объекта так же, как это делает запрос представления. .. warning:: SQL-запрос, переданный в ``mergeItems``, данных не даёт, и операция падает с ошибкой "Неверное имя колонки: 'ID'". .. code-block:: scala @Oper(caption = "qa_mergeNewRecord", active = true, visibleOnContextMenu = Visibilities.Invisible, visibleOnToolbar = Visibilities.Invisible, visibleOnMainMenu = Visibilities.Invisible, order = 903) def qa_mergeNewRecord(): Unit = { val marker = getSelfVar(MarkerVar).asString() require(marker != null && MarkerPattern.matches(marker), s"Недопустимый маркер автотеста '$marker'.") val code = marker + "000" val rop = Gs3_HugeSelectionApi().insert() Gs3_HugeSelectionApi().setsCode(rop, code) Gs3_HugeSelectionApi().setNumber(rop, 0.nr) Gs3_HugeSelectionApi().setVarchar(rop, "Значение 000") session.commit() val aro = rop.copyAro() selection.mergeItems(Recs(Traversable( MergedRow(aro.id, aro.idClass, aro.gid, code.substring(marker.length), aro.Number, aro.Varchar)))) } case class MergedRow(var id: NLong, var idClass: NLong, var gid: NGid, var sCode: NString, var Number: NNumber, var Varchar: NString) Операция, которая меняет записи запросом ``update``, допустима, потому что дата создания у записи уже есть. Условие запроса включает маркер, чтобы не задеть записи других прогонов. Шаг 7. Пункт главного меню и мета-описание `````````````````````````````````````````` Шаги ``library-test`` открывают представление из главного меню, поэтому в ``Gs3_QAApplicationAvi`` заводится пункт главного меню. .. code-block:: scala @Oper(caption = "Высокая ёмкость: фиксированный режим, записи в БД", headOperation = "mm_grid_data_modes", imageIndex = 67, order = 45) def mm_grid_data_modes_fixed_data(): Unit = { Gs3_HugeSelectionAvi.list_GsAutoData().newForm().open() } Мета-описание выборки ``Gs3_HugeSelection`` в ``library-test`` описывает представление перечислением ``DataMenuView``, которое реализует ``TestDataRepresentation``. Перечисление задаёт атрибут маркера ``sCode``, переменную ``sTestDataMarker`` и скрипт создания из раздела "Скрипт создания записей". Пример - в разделе ниже. Использование в тестах library-test ----------------------------------- В проекте тестов ``library-test`` представление с данными описывается в мета-описании выборки и реализует интерфейс ``TestDataRepresentation``, который задаёт атрибут маркера, переменную выборки для маркера и скрипт создания. Шаг ``MainMenuSteps.openRepresentationWithData`` открывает представление, регистрирует удаление, создаёт данные с новым маркером и показывает их. .. code-block:: java :caption: Представление с данными в мета-описании выборки public enum DataMenuView implements TestDataRepresentation { FIXED_DATA("List_GsAutoData", "MM_GRID_DATA_MODES_FIXED_DATA"); // ... @Override public String cleanupAttribute() { return "sCode"; } @Override public String markerVar() { return "sTestDataMarker"; } @Override public String createDataScript() { return "..."; } } .. code-block:: java :caption: Тест с данными @BeforeEach public void beforeEach() { formSteps = MainMenuSteps.of(application).openRepresentationWithData(FIXED_DATA); gridSteps = formSteps.grid(); } @AfterEach public void afterEach() { ApplicationSteps.of(client).closeOpenedForms(); } Если тест меняет записи, шаг вызывается в ``@BeforeEach``, и каждый тестовый метод получает свои записи с новым маркером. Удаление данных и регистрация очистки в тесте не пишутся. Использование сервиса напрямую ------------------------------ В собственном проекте тестов сервис вызывается в контексте выборки сущности в открытой форме. Сущность сервис вычисляет по имени выборки. .. code-block:: java :caption: Создание данных без шагов library-test Selection selection = form.mainSelection(); TestDataService testData = TestDataService.create("sTestDataMarker", "sCode"); testData.createData(selection, createScript); testData.showData(selection); ``createData`` сам регистрирует удаление записей сущности перед скриптом. Настройку очистки он создаёт только при первом создании данных сущности, если её ещё нет в базе, а в пределах процесса тестов проверяет её один раз на сущность. Проверка удаления на стенде --------------------------- Настройки очистки видны в карточке задания "Очистка таблиц" (``CleanupJob`` - системное имя задания очистки таблиц в менеджере заданий ``Btk_JobGroup``) на вкладке "Настройка очистки", строки ``gsauto:<сущность>``. Результат запусков задания - на вкладке "Журнал". .. note:: Задание выполняет внешний планировщик Quartz. Если он не запущен, разовый запуск задания "Выполнить задачу" остаётся без состояния, а данные не удаляются. .. seealso:: - Спецификация: :ref:`gsauto_testdata` - API: :java:type:`ru.bitec.gs.automation.service.testdata.TestDataService` - Руководство пользователя: :ref:`gsauto_ug_parallel_execution`