こんばんは。条件を素直に式にして行けば
自然と解ける問題です。定式化に慣れるのが大事ですね。
では、解答です。

　球の中心を点Ｐ（a,b,c）と置く。
ＡＰ＝ＢＰ＝ｒより

\(a^{2}\)+\(b^{2}\)＋(c-1\()^{2}\)＝\(a^{2}\)+(b-1\()^{2}\)＋(c-2\()^{2}\)＝\(r^{2}\)、、、（1）

また球が点Ｃでxy平面に接することより、
ＰＣがxy平面に垂直なことを考えれば
接点ＣはＣ(a,b,0)と書けて、かつ

\(c^{2}\)=\(r^{2}\)、、、（2）


さて、(1)の左側の等式よりb+c＝2
これと（2）より

\(a^{2}\)+(c-1\()^{2}\)＋(c-2\()^{2}\)＝\(c^{2}\)
整理して
\(a^{2}\)+(c-1)(c-5)＝0、、、（3）

ここで\(a^{2}\)≧０を考えれば、
(c-1)(c-5)≦０、つまり1≦c≦5が必要。

そして、この範囲のｃに対し
(3)を満たすａが常に存在することは明らか。

だから、求めるrの範囲は 1≦r≦5 である。


次に、点Ｃ(a,b,0)の軌跡を知るため、
aとbの関係式を求める。

(1)と(2)よりｃを消去して整理すると
\(a^{2}\)+＋(b+1\()^{2}\)＝4が得られる。
また（1）と、前問の答えより-3≦b≦1である

よって接点Ｃ(a,b,0）はxy平面上に、
中心（0,-1,0）半径２の円を描く。
これが求める軌跡Ｆである。

さて、△ＡＢＣの面積sを考えるため、
点Ｃと直線ＡＢの距離をｄと置く。
２s＝|ＡＢ|ｄ＝(\(\sqrt{\quad}\)２)dである。
一方、ＡＢ上の点Ｑは、tを実数として
Ｑ（0,t,t+1）とパラメータ表示できる。
よって
|ＣＱ|^2＝\(a^{2}\)+(t-b\()^{2}\)+(t+1\()^{2}\)
＝\(a^{2}\)+2｛\(t^{2}\)+(1-b)t+\(b^{2}\)+1｝
＝\(a^{2}\)+2｛t+(1-b)/2｝^2+(1+b\()^{2}\)/2
となり、これはt=(b-1)/2で、最小値\(a^{2}\)+(1+b\()^{2}\)/2をとる。
この最小値がすなわち、\(d^{2}\)である。
これと\(a^{2}\)+＋(b+1\()^{2}\)＝4を考え合わせれば

\(d^{2}\)＝(\(a^{2}\)/2)＋２　となる。

これは明らかに、a＝0で最小値２を取る。
この時sも最小となり、求める最小値はs＝１となる。

訂正します。

S の中心は (a, b, r) と書けるので, S の方程式は
(x - a\()^{2}\) + (y - b\()^{2}\) + (z - r\()^{2}\) = \(r^{2}\).
A, B を通るので
\(a^{2}\) + \(b^{2}\) + (1 - r\()^{2}\) = \(r^{2}\) … (a)
\(a^{2}\) + (1 - b\()^{2}\) + (2 - r\()^{2}\) = \(r^{2}\) … (b)
(1)
先ず (a) より r = (\(a^{2}\) + \(b^{2}\) + 1)/2 ≧ \(\frac{1}{2}\).
(b) より r = (\(a^{2}\) + (1 - b\()^{2}\) + 4)/4 ≧ 1.
従って r ≧ 1.

(2) (a), (b) から
\(a^{2}\) + \(b^{2}\) + 1 = 2r.
\(a^{2}\) + (1 - b\()^{2}\) + 4r.
これらから r を消去して
\(a^{2}\) + (b + 1\()^{2}\) = 4.
これが F の方程式。 つまり xy 平面上の (0, -1, 0) を中心とする, 半径 2 の円。
C(2cos θ, 2sin θ - 1, 0) と置く。
AC = (2cos θ, 2sin θ - 1, -1),
BC = (2cos θ, 2sin θ - 2, -2)
で
|AC|^2|BC|^2 - (AC・BC\()^{2}\)
= 4(2 - si\(n^{2}\) θ)
で, これの最大値は sin θ = 0 の時である。
従って, 面積の最大値は
(\(\sqrt{\quad}\)(|AC|^2|BC|^2 - (AC・BC\()^{2}\)))/2 = \(\sqrt{\quad}\)2.

（※管理人談：phaosさんお久しぶりです。このページをコツコツと続けています。
　　　　　　　来年の３月で無事定年退職です。このサイトをいつまで続けて良い
　　　　　　　のか分かりませんが、もう少しは続くでしょう。今後ともアドバイス
　　　　　　　をお願いします。）