论文读书笔记-Approximate Dynamic Programming for Storage Problems

 

 

标题：Approximate Dynamic Programming for Storage Problems

和上次读过的那篇论文一样，这篇论文也是从ICML上面下载的，公式较多，读起来也感到很吃力。尽管标题写的是近似动态规划解决存储问题，却并不像背包问题那样易懂，好在大致思想都是一致的（后一个状态的情况取决于前一个状态），在这篇论文中反映的就是那几个递推式。

下面摘抄几点（还是有很多地方没能看懂）：

1、  storage problems

A special subclass of multistage stochastic optimization problems

存储问题也就是多级随机优化问题下的一个子类，这类问题中常见的是判断对一种资源（能源，财产，股票等）该如何持有，以便为现在带来一个稳定的收入或者在以后得到不确定的回报。在每一个时间段内，决策者都需要在当前消耗资源得到的回报与把资源储存起来在未来得到的回报之间进行权衡。

针对这种问题的解决，通常情况下是建立一棵树列举所有情况（可以预料到树的高度将会以指数形式增加），本文作者提出用近似动态规划的算法: We simulate only T time periods in advance and nonparametrically approximate shape restricted value functions. With the approximations, the problem is then solved via backward recursion.也就是只超前预测T个时间段，得到不带参数的近似受限估值函数，当有了近似后，问题可以通过反向递归求解。

2、  multistage stochasitc optimization and storage

A single stage stochastic optimization problem:



其中x是连续决策变量，f是通用函数，S(ξ)是限制集。由single stage就可以引出T-stage stochastic optimization problem:

 



考虑到上述这个T-stage的式子过于复杂，可以简化为下面这个式子：



针对存储问题，一个很明显的特点是 value functions between times t-1 and t are tied together only by a storage variable, Rt, which denotes the amount of a resource in storage at time t.所以式子可以进一步简化为:

3、  day ahead wind commintment

这是本文中作者举的一个例子，作者也正是采用近似动态规划算法对这个例子进行了求解。这里不想对此加以详细描述，只是大致说下：

风能发电场能够产生能源，管理者为了能够保证利益最大化要进行决策，这些决策依赖于以下几个因素（其实也就是需要满足的条件）：

Place a bid(未来24小时电力市场上的价格)

Generate power(24个小时内产生的风能)

Distribute power to satisfy commitment(得到的风能可以拿到电力市场上进行交易承诺，或者是存储，再或者就是白白浪费。同时承诺的量可以来自于当天的风能，或者来自之前存储的风能，再或者来自从其他地方购买的能源-风能不济时只能购买别的能源填补缺口)

Get revenue(利益来自于承诺的量和价格的乘积)

具体参数如下：



然后我们针对该问题列出storage problem求解公式：



 

在解决上述问题时，需要做一些改动。



做了以上改动后，我们可以把式子变成如下形式(是第2点中的通式非针对本例)：

4、  Dirichlet Process Mixture Models

上面例子中求解公式有一个ωn(s1,s2)的参数，论文后面介绍这个参数如何求出。这里完全看不懂，只做摘抄了。

A Dirichlet process mixture model places a prior over the number of observed components, their parameters, and the associations between observed data and components.
得到的式子如下：



其中p是一个权重函数，Cj是一个划分集合（generated by K(p) unique parameter values,），Zi代表的就是数据。
 
小结：这篇论文和上篇论文写作思路差不多，也是讲把一个算法应用到具体问题中进行求解。尽管没能完全看懂，但还是有不少收获，尤其是风能发电场的那个例子，作者先指出约束条件和目的，然后定义其中包含的一系列变量，最后列式求解，思路极其清晰。显然针对大部分问题，都可以通过这种方法转换为一个数学问题，虽然无法保证一定能解出结果，但这已经是很不错的了。最后，感谢冯阳童鞋帮忙打印论文。