leaky relu 参数选择,leakyrelu函数中alpha参数

　　克拉斯中有leaky_relu的实现100 .leaky _ relu已集成到线性单元函数中。

　　参考官方文档：

　　3359张量流动。Google.cn/API _ docs/python/TF/keras/后端/relu？hl=en

　　argumentsxatensororvariable。ascalar，slopeofnegativesection(默认值=0。).max _ value float。饱和度阈值如果是阿尔法0,则为leaky_relu。

　　查看源代码，Keras.backbend也是通过调用tensorflow.python.ops库神经网络的leaky_relu函数实现的。

　　defrelu(x，alpha=0.max_value=None，threshold=0): conditedlinearunit。withdefaultvalues，itretuu f)x)=x for ` threshold=x max _ value `，f(x )=alpha * (x-threshold)否则。` ) ).max _ value:float。饱和阈值。阈值3360浮动。阈值向量=0 .ifmax _ valueisnoneandthred alpha=alpha)#此处调用了leaky _ reluifthreelu=0:negative _ part=nn。relu(-xthreshold)else:negative _ p active computesxforxthresholde0x=x * math _ ops。cast(math _ ops。larger(x，threshold)，floatx()elif max _ value thencanusen。rel U6 nativetforperformancex=nn。rel U6(x)clip _ max=false else 3360 x=nn。relu)x))r(max _ value，x . dtype。base _ base alpha=_ to _ tensor(alpha，x.dtype.base)