※未解決問題に移したところ、星野さんからアドバイスをいただきました。
感謝！！

(1) f(x, y) = S = (\(\frac{1}{4}\))\(\sqrt{\quad}\)(a(a-2x)(a-2y)(2x+2y-a)).
(a-2x)(a-2y)(2x+2y-a)≧0, x ＞ 0, y ＞ 0, x + y ＜ aであるから
xy 平面上で (\(\frac{a}{2}\),0), (0, \(\frac{a}{2}\)), (\(\frac{a}{2}\), \(\frac{a}{2}\)) を頂点とする直角三角形
の周及び内部 (但し頂点を除く)(図は省略)。

(2) 境界上で f(x, y) = 0 は自明。

(3) 都合によって g(x, y) = 16\(S^{2}\)/a の最大値を求めれば良い
(こっちの方が遙かに簡単になる)。
\(g_{x}\) = ∂g/∂x = -2(a-2y)(2x+2y-a) + 2(a-2x)(a-2y)
= 2(a-2y)(-4x-2y+2a) = -4(a-2y)(2x+y-a).
同様に
\(g_{y}\) = -4(a-2x)(x+2y-a).
ここで
\(g_{x}\) = 0 と置くと y = \(\frac{a}{2}\) 又は 2x + y - a = 0.
\(g_{y}\) = 0 と置くと x = \(\frac{a}{2}\) 又は x + 2y - a = 0.
S ≧ 0 で境界上で S = 0 だから, 最大値は内部でとられるので
可能性のあるのは
2x + y - a = 0,
x + 2y - a = 0.
連立方程式として解くと
x = y = \(\frac{a}{3}\). (このとき z = \(\frac{a}{3}\) 即ち正三角形)

(4)非負値しか採らない連続函数で, 境界での値が 0 且つ領域内に極値が
一つしかないのでそれが最大であることは自明であろうが念の為に
Hessian を計算しよう。

Hessian は g_(xx)g_(yy) - g_(xy\()^{2}\).
g_(xx) = -8(a-2y), g_(yy) = -8(a-2x),
g_(xy) = 4(4x + 4y - 3a).
従って x = y = \(\frac{a}{3}\) の時 Hessian は
(-8\(\frac{a}{3}\))(-8\(\frac{a}{3}\)) - (-4\(\frac{a}{3}\)\()^{2}\) = 48\(a^{2}\) / 9 ＞ 0.
従って極大, よって最大である。

つまり周の長さが一定で面積を考えると, 正三角形のとき最大を取る。