Optimal experiment planning for exponential regression

Abstract

В данной работе рассматривается нелинейная экспоненциальная регрессионная функция. Ставится задача нахождения локально оптимального плана из множества планирования. Оценка вектора параметров по методу наименьших квадратов в классической схеме регрессии является состоятельной. Последовательность распределений случайных векторов сходится к нормальному распределению с нулевым вектором средних и ковариационной матрицей, связанной с информационной матрицей Фишера. В связи с этим могут быть выбраны те же критерии оптимальности плана, что и для линейной регрессии. В частности, хорошо известен критерий D-оптимальности, который приводит к задаче максимизации определителя информационной матрицы. Однако в нелинейном случае информационная матрица зависит от вектора истинных значений параметров. Поэтому максимизация определителя информационной матрицы осуществляется при фиксированном значении вектора параметров. В этом случае найденный оптимальный план называется локально оптимальным планом. Для максимизации определителя информационной матрицы применяются два метода: случайный поиск глобального экстремума с “памятью” на основе моделирования нормально распределенных случайных векторов и метод Метрополиса-Хастингса (позволяет семплировать любую функцию распределения, основан на создании цепи Маркова).

The paper focuses on nonlinear exponential regression function. The problem is posed to find locally optimal plan in the design set. In classical regression model, least squares estimator of parameter vector is consistent. In addition, the sequence of distributions of random vectors converges to a normal distribution with zero mean vector and dispersion matrix expressed in terms of Fisher’s information matrix. On this basis, one can use the design optimality criteria similar to those for linear regression. In particular, a popular criterion is D-optimality, which seeks to maximize the determinant of the information matrix. However, in nonlinear case the information matrix depends on the vector of true parameter values. Therefore, the maximization of information matrix determinant is carried out at fixed value of vector. In this case the optimal plan obtained is called locally optimal one. To maximize the information matrix determinant two methods are used: global random search with “memory” is applied (this method is based on modeling of normally distributed random vectors) and the Metropolis–Hastings algorithm (this is a Markov chain Monte Carlo method for obtaining a sequence of random samples from a probability distribution for which direct sampling is difficult).