The state s t ∈ S \mathbf{s}_t \in \mathcal{S} st∈S: the driver observes at timestep t t t consists of the position, orientations, and velocities of itself and surrounding vehicles
The action a t ∈ A \mathbf{a}_t \in \mathcal{A} at∈A the driver takes is composed of speed and steering controls of the ego vehicle.
Assuming a discrete-time setup and a finite length L L L. a trajectory ζ = [ s 1 , a 1 , s 2 , a 2 , . . . , s L , a L ] \zeta=[\mathbf{s}_1, \mathbf{a}_1,\mathbf{s}_2, \mathbf{a}_2,...,\mathbf{s}_L, \mathbf{a}_L] ζ=[s1,a1,s2,a2,...,sL,aL] is yielded by organizing the state and action in each timestep within the decision horizon.
The trajectory includes multiple vehicles in the driving scene since we consider interactions between agents.
状态 s t \mathbf{s}_t st只是可以直接从传感器获得的物理或部分观察结果。
我们假设一个基于selected features的加权和的线性结构的reward function
在一个指定的状态 s t \mathbf{s}_t st的reward function r ( s t ) r(\mathbf{s}_t) r(st) 被定义为
r ( s t ) = θ T f ( s t ) (1) r(\mathbf{s}_t)=\theta^T\mathbf{f}(\mathbf{s}_t) \tag{1} r(st)=θTf(st)(1)
其中， θ = [ θ 1 , θ 2 , . . . , θ K ] \mathbf{\theta}=[\theta_1, \theta_2,...,\theta_K] θ=[θ1,θ2,...,θK]是 K − K- K−维的权重向量， f ( s t ) = [ f 1 ( s t ) , f 2 ( s t ) , . . . , f K ( s t ) ] \mathbf{f(\mathbf{s}_t)}=[f_1(\mathbf{s}_t), f_2(\mathbf{s}_t),...,f_K(\mathbf{s}_t)] f(st)=[f1(st),f2(st),...,fK(st)]是提取的刻画状态 s t \mathbf{s}_t st的feature vector
因此，一条轨迹 R ( ζ ) R(\zeta) R(ζ)的reward表示为：
R ( ζ ) = ∑ t r ( s t ) = θ T f ζ = θ T ∑ s t ∈ ζ f ( s t ) \R(\zeta)=\sum_{t}r(\mathbf{s}_t)=\mathbf{\theta}^T\mathbf{f}_{\zeta}=\mathbf{\theta}^T\sum_{\mathbf{s}_t\in \zeta}\mathbf{f}(\mathbf{s}_t) R(ζ)=t∑r(st)=θTfζ=θTst∈ζ∑f(st)
其中， f ζ \mathbf{f}_{\zeta} fζ表示在轨迹 ζ \zeta ζ上的accumulative features
给定一个包含 N N N条轨迹的人类驾驶数据 D = { ζ 1 , ζ 2 , . . . , ζ N } \mathcal{D}=\{\zeta_1, \zeta_2, ..., \zeta_{N}\} D={ζ1,ζ2,...,ζN}
如何获得reward的权重 θ \mathbf{\theta} θ，使得可以生成一个匹配人类演示轨迹的driving policy
对于横向 y y y坐标，我们需要指定目标位置、速度和加速度，与初始状态一起形成总共六个边界条件，这需要一个五次多项式函数。 对于纵向 x x x轴，只需要目标速度和加速度，因此四次多项式函数可以满足平滑性要求。
计算五秒的轨迹，每0.1秒作为一个时间间隔
我们可以通过在目标空间 Φ = { v x e , a x e , y e , v y e , a y e } \Phi=\{v_{xe}, a_{xe}, y_{e},v_{ye},a_{ye}\} Φ={vxe,axe,ye,vye,aye}采样目标状态从而生成多条多项式轨迹，使得其能够覆盖所有可能的行为。
注：
自行车模型（Bicycle Model）的建立基于如下假设：
Travel Efficiency: 此功能旨在反映人类尽快到达目的地的愿望，其定义为车辆的速度：
Comfort:乘坐舒适度是人类驾驶员更喜欢的另一个因素，衡量舒适度的指标是纵向加速度
a
x
a_x
ax 、横向加速度
a
y
a_y
ay和纵向加加速度
j
x
j_x
jx ：
Risk Aversion: 人类驾驶员倾向于与周围的车辆保持安全距离，这个距离因人类驾驶员而异，这反映了他们不同程度的感知风险。 我们将前车的风险水平定义为与从本车到前车的时距相关的指数函数，假设匀速运动：
Interaction:
## 代码细节
1. action = (lateral_position, target_speed, 5)
[1] Driving Behavior Modeling Using Naturalistic Human Driving Data With Inverse Reinforcement Learning （时间原因没有去找ref，这是文章名称）
