(3)
二項定理を使って解きます。

単位行列E=
1 0 0
0 1 0
0 0 1
行列XをX=
0 0 0
a 0 0
b -a 0
とおくと、A=X+Eとなります。

任意の自然数mに対して
\(E^{m}\)=
1 0 0
0 1 0
0 0 1

\(X^{2}\)=
0 0 0
0 0 0
-\(a^{2}\) 0 0

\(X^{3}\)=
0 0 0
0 0 0
0 0 0

したがって、4以上の整数kに対して、\(X^{k}\)=
0 0 0
0 0 0
0 0 0
となることを利用する。

\(A^{n}\)=(E+X\()^{n}\)=Σ_(i=0\()^{n}\){(n_\(C_{i}\))\(X^{i}\)}=E+nX+n(n-1)/2*\(X^{2}\)=
0 0 0
na 0 0
-{n(n-1)/2}\(a^{2}\) -na 0

完全解答とまではいきませんが・・・

（１）
行列の計算はいいでしょうか？

１ ０ ０

２ａ １ ０

－ａ^2＋２ｂ －２ａ １

となるようです。

（２）
（１）の結果にもう一度行列Ａをかけましょう。
これは自分でやってみてください。

（３）
ここではきっと、３行１列に出てくるａ^2の係数をｎで表すことに悩んだ
のではないかと思います。
Ａ^3を（２）で求めていますが
Ａ^5くらいまで計算しないと見えてこないかもしれません。
３行１列にでてくるａ^2の係数は
０，－１，－３，－６，－１０・・・・ですから
（１／２）ｎ（１－ｎ）です。
（階差数列が等差数列ですね。）
ここまで推定できたら
おっしゃるとおり数学的帰納法で証明できます。
（計算力の勝負になりますね）
なお、証明して確かめていませんのでお許しを。

１ ０ ０

ｎａ １ ０

(\(\frac{1}{2}\))n(1-n)\(a^{2}\)+nb －ｎａ １

となるようです。