Statistical properties of some data compression procedures

Abstract

В работе изучаются статистические свойства статистических тестов «Book Stack» и «Order», предложенных Б. Я. Рябко, А.И. Пестуновым и В.А. Монаревым (Пробл. передачи. инф., т. 40, вып. 1, 2004 и Журн. Выч. Математики и Выч.Физ., т.44, вып. 5, 2004). Оба теста основаны на одноименных преобразованиях. «Book Stack»-преобразование было предложено Б.Я. Рябко (Пробл. передачи. инф., т. 16, вып. 4, 1980) в качестве процедуры сжатия информации. Оба теста предназначены для проверки гипотезы H0 о том, что «входная» повторная выборка соответствует дискретному равномерному распределению с известным носителем. При этом предлагается проверять эту гипотезу не для «входной» выборки, а для новой, полученной с помощью соотв. преобразования. Тем самым возникает естественная задача сравнения результатов применения одного и того же статистического теста к «входной» и «выходной» выборкам. При выполнении нулевой гипотезы эти процедуры являются эквивалентными, однако при отклонениях от H0 это, вообще говоря, не так. Результаты сравнения критериев, конечно, зависят от класса рассматриваемых альтернатив. Для «Book Stack»-теста в работе рассматривается альтернатива, состоящая в том, что исходная повторная выборка соответствует эргодической однородной марковской цепи со стационарным равномерным распределением и матрицей переходных вероятностей, имеющей след, отличный от 1. Показано, что против такой альтернативы критерий χ2, примененный к «входной» выборке, не является состоятельным, в то время как такой же критерий, примененный к «выходной» выборке, является состоятельным. Для «Order»-теста показано, что для любого критерия для проверки гипотезы H0, статистика которого зависит только от частот выборки и инвариантна относительно их перестановки, статистики при применении к «входной» и «выходной» выборке совпадают.

The work is devoted to statistical properties of the “Book Stack” and “Order” statistical tests which were proposed by B. Ryabko, A.Pestunov and V.Monarev (Probl. Inf. Trans, v.40, 1, 2004 and Journal of Comp.Maths and Comp.Physics, v.44, 5, 2004). Both tests are based on the transformations of the same name. In B. Ryabko (Probl. Inf. Trans, v.16, 4, 1980) the “Book Stack”-transformation is used as the method of data compression. Both tests are used to check the null hypothesis that the “input’’ pure random sample is taken from the discrete uniform distribution with the given support. The idea is to check this hypothesis with the help of the ``output’’ sample which is obtained by the corresponding transformation. Thus there arises the natural problem to compare the results of the same criterion for “input’’ and “output’’ samples. Under the null hypothesis these procedures are equivalent, but if null hypothesis fails, the results are generally different. Of course, these results depend on the class of alternatives. For “Book Stack” test the alternative considered in the work is that the “input’’ pure random sample is a finite part of a trajectory of ergodic homogeneous markov chain with uniform stationary distribution and with trace of the transition matrix not equal to 1. It is shown that χ2 criterion applied to the “input’’ sample is not consistent while the same criterion applied to the “output’’ sample is consistent. For “Order” test it is shown that for any criterion for null hypothesis, such that its statistics depends only on the frequencies of the sample and is invariant of the permutations of these frequencies, the statistics for “input” and “output” sample are identical.