(1) ∫_0^(π/2) x sin x co\(s^{2}\) x dx
= (-\(\frac{1}{3}\))∫_0^(π/2) x d(co\(s^{3}\) x)
= (-\(\frac{1}{3}\))([x co\(s^{3}\) x]_0^(π/2) - ∫_0^(π/2) co\(s^{3}\) x dx)
= (\(\frac{1}{3}\))∫_0^(π/2) co\(s^{3}\) x dx
= (\(\frac{1}{3}\))×(\(\frac{2}{3}\)) = \(\frac{2}{9}\).

(2) 先ず 0 ＜ x ＜ 1 で
1 > \(x^{2}\) > \(x^{4}\) > 0 だから
0 ＜ 1 - \(x^{2}\) ＜ 1 - \(x^{4}\)
0 ＜ \(\sqrt{\quad}\)(1 - \(x^{2}\)) ＜ \(\sqrt{\quad}\)(1 - \(x^{4}\))
∫_\(0^{1}\) \(\sqrt{\quad}\)(1 - \(x^{2}\)) dx ＜ ∫_\(0^{1}\) \(\sqrt{\quad}\)(1 - \(x^{4}\)) dx
左辺で x = sin t と変換すると
左辺 = ∫_\(0^{1}\) co\(s^{2}\) t dt = π/4.
従って
π/4 ＜ ∫_\(0^{1}\) \(\sqrt{\quad}\)(1 - \(x^{4}\)) dx.

一般の二項定理により 0 ＜ x ＜ 1 で
\(\sqrt{\quad}\)(1 - \(x^{4}\)) = 1 - \(x^{4}\)/2 - \(x^{8}\)/8 - …
だから特に
\(\sqrt{\quad}\)(1 - \(x^{4}\)) ＜ 1 - \(x^{4}\)/2
従って
∫_\(0^{1}\) \(\sqrt{\quad}\)(1 - \(x^{4}\)) dx ＜ ∫_\(0^{1}\) (1 - \(x^{4}\)/2)dx
　　　　　　　　　　　= [x - \(x^{5}\)/10]_\(0^{1}\)
　　　　　　　　　　　= 1- \(\frac{1}{10}\)
　　　　　　　　　　　= \(\frac{9}{10}\)
　　　　　　　　　　　＜ 2\(\sqrt{\quad}\)\(\frac{2}{3}\).

[ここの証明はもっといい方法があるやもしれない]

以上より
π/4 ＜ ∫_\(0^{1}\) \(\sqrt{\quad}\)(1 - \(x^{4}\)) dx ＜ 2\(\sqrt{\quad}\)\(\frac{2}{3}\).

(3)
u = \(x^{2}\) - \(y^{2}\)
v = xy
と置く
d\(\frac{u}{d}\)x = 2x, d\(\frac{u}{d}\)y = -2y,
d\(\frac{v}{d}\)x = y, d\(\frac{v}{d}\)y = x
だから
dudv = 2(\(x^{2}\) + \(y^{2}\))dxdy.
従って
∫_D (\(x^{2}\) + \(y^{2}\))dxdy = (\(\frac{1}{2}\))∫_\(1^{9}\) du ∫_\(2^{4}\) dv
= (\(\frac{1}{2}\))×(9 - 1)×(4 - 2) = 8.

お返事いただいたんですけど、

（3）を詳しく教えてほしいです。
u = \(x^{2}\) - \(y^{2}\)
v = xy
と置いて
d\(\frac{u}{d}\)x = 2x, d\(\frac{u}{d}\)y = -2y,
d\(\frac{v}{d}\)x = y, d\(\frac{v}{d}\)y = x
まで理解しました。

この後、
dudv = 2(\(x^{2}\) + \(y^{2}\))dxdy.
になるのが分かりません。

お願いします。

どうやら, 多変数函数の積分に於ける変数変換というものを
あなたはご存じないようです。

u = \(x^{2}\) - \(y^{2}\)
v = xy
と置く
d\(\frac{u}{d}\)x = 2x, d\(\frac{u}{d}\)y = -2y,
d\(\frac{v}{d}\)x = y, d\(\frac{v}{d}\)y = x
だから
dudv = 2(\(x^{2}\) + \(y^{2}\))dxdy.

というのは次の原理に基づいています。

[二変数函数の積分の変数変換]
∫f(x, y)dxdy = ∫f(x(u, v), y(u, v))|d\(\frac{x}{d}\)u・d\(\frac{y}{d}\)v - d\(\frac{x}{d}\)v・d\(\frac{y}{d}\)u|dudv
ここで, 行列式 d\(\frac{x}{d}\)u・d\(\frac{y}{d}\)v - d\(\frac{x}{d}\)v・d\(\frac{y}{d}\)u を
Jacobian (ヤコビアン) と言います。
詳しくは
http://www.toyama-mpu.ac.j\(\frac{p}{l}\)\(\frac{a}{m}\)at\(\frac{h}{k}\)youza\(\frac{i}{2}\)-var-change/
をご覧ください。

一応, 上記の問題では変換の方向が逆になっているので
書き直しておきますと
∫f(u, v)dudv = ∫f(u(x, y), v(x, y))|d\(\frac{u}{d}\)x・d\(\frac{v}{d}\)y - d\(\frac{u}{d}\)y・d\(\frac{v}{d}\)x|dxdy
です。