う～ん･･････。
コレも『解ける』って目安があって出題してんのかしら?
大体の『概要』ってのは把握しましたけど、結論から言うと、相当な『線形代数』
とか『級数』の『知識と計算力』が無いと解けませんよ、コレ。多分。単純な『積
分』の問題では無いと思います。
ってなワケで僕はそこまで計算力も無いですし、数学自体も不得手なんで、あくま
で『概要のみ』で書いていきます。

まずは『部分積分』の公式から改めて。u,vを共にxの関数として、

･∫u'vdx＝uv－∫uv'dx

ってのは(僕の時代では)高校3年で習う割と『当たり前の』式です。
さて、実はこのトキuとvをそれぞれ『どの関数に当てはめるのか?』ってのは単に
『任意』です。って事は原則的に僕等が『勝手に』選んでイイものです。『積分に
成功したパターン』がいわゆる『セオリー化』してるワケですよね。
問題の式

･∫\(x^{2}\)*(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)dx

を見ると計算としては2つの方向性しかありません。

①\(x^{2}\)を微分して(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)を積分するパターン。
②\(x^{2}\)を積分して(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)を微分するパターン。

まず①のパターンから見て行きましょう。と言うのも\(x^{2}\)ってのは微分して行くと
『消えて』しまうので、オーソドックスな意味としては『セオリー』になってるから
です。
ここで便宜上、(\(D^{k}\))uを関数uをk回微分したモノとします。そこでワザと

･(\(D^{3}\))u＝(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)

と置いてみて、『この関数表示のまま』扱ってみようと思います。と言うのも問題の
関数ってのが『どう言ったカタチをしてるのか?』と言う概要を知るのには都合が
イイからです。
ここで、

･F(x)＝∫\(x^{2}\)*(\(D^{3}\))udx

とすると、『部分積分の公式』を実行して、

･F(x)＝\(x^{2}\)*(\(D^{2}\))u－2∫x*(\(D^{2}\))udx
　　 ＝\(x^{2}\)*(\(D^{2}\))u－2{x*Du－∫Dudx}
　　 ＝\(x^{2}\)*(\(D^{2}\))u－2x*Du＋2∫Dudx
＝\(x^{2}\)*(\(D^{2}\))u－2x*Du＋2u＋C(積分定数)

となります。って事は単純に

･(\(D^{3}\))u＝(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)

を積分せよ、って問題に置き換えられるので、この関数を積分する事だけに全力を
注げば良い。･･･ハズなんですが、見たカンジコレはちょっと積分出来そうに無い
ですね(苦笑)。いや、ひょっとしたら積分出来るのかもしれません。『俺はコレ積分
出来るぞ』って猛者募集中(笑)。(もしくは“積分不可能”を証明するのでのイイの
かもしれません)
回答の書き方をして『ズル』すると、

『関数(\(D^{3}\))u＝(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)をk階積分可能な関数と仮定するトキ、

･∫\(x^{2}\)*(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)dx＝\(x^{2}\)*(\(D^{2}\))u－2x*Du＋2u＋C(積分定数)

となる。』

とか書いて誤魔化してしまうのも『数学的』で宜しいかもしれません(笑)。

じゃ次に②のパターンを考えてみます。①で見たように関数(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)を積分
するのは容易そうではありません。従って(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)を微分する方向で考えて
みる。しかしながら\(x^{2}\)はk階積分可能な関数なんで、『ああ、コレは級数になりそ
うだな』って予測が付きます。
よってまず①にならって『関数F(x)』の概要がどうなりそうか、それを見る事から始
めましょう。
ここでは取りあえず

･v＝(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)

とでも置いてみる。そして『この表記のまま』部分積分を実行してみます。

･∫\(x^{2}\)*vdx＝(\(\frac{1}{3}\))(\(x^{3}\))v－(\(\frac{1}{3}\))∫(\(x^{3}\))Dvdx
＝(\(\frac{1}{3}\))(\(x^{3}\))v－(\(\frac{1}{3}\)){(\(\frac{1}{4}\))(\(x^{4}\))Dv－(\(\frac{1}{4}\))∫(\(x^{4}\))(\(D^{2}\))vdx}
＝(\(\frac{1}{3}\))(\(x^{3}\))v－(\(\frac{1}{3}\))(\(\frac{1}{4}\))(\(x^{4}\))Dv＋(\(\frac{1}{3}\))(\(\frac{1}{4}\))∫(\(x^{4}\))(\(D^{2}\))vdx
＝(\(\frac{1}{3}\))(\(x^{3}\))v－(\(\frac{1}{3}\))(\(\frac{1}{4}\))(\(x^{4}\))Dv＋(\(\frac{1}{3}\))(\(\frac{1}{4}\)){(\(\frac{1}{5}\))(\(x^{5}\))(\(D^{2}\))
　　　－(\(\frac{1}{5}\))∫(\(x^{5}\))(\(D^{3}\))vdx}
＝(\(\frac{1}{3}\))(\(x^{3}\))v－(\(\frac{1}{3}\))(\(\frac{1}{4}\))(\(x^{4}\))Dv＋(\(\frac{1}{3}\))(\(\frac{1}{4}\))(\(\frac{1}{5}\))(\(x^{5}\))(\(D^{2}\))
　　　－(\(\frac{1}{3}\))(\(\frac{1}{4}\))(\(\frac{1}{5}\))∫(\(x^{5}\))(\(D^{3}\))vdx

とかまあなって行きますが、大体ここまで来ると『規則性』ってのが見えてくると
思います。つまりこの積分はΣをi＝0からi＝kまでの総和として、k→∞とすると、

･∫\(x^{2}\)*vdx＝Σ{(－1\()^{i}\)}*(2!/(i＋3)!}*{x^(i＋3)}*(\(D^{i}\))v

となります。つまり①と違うのは、

･(\(D^{i}\))v＝???

と言う『(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)のi階微分の一般式を求めよ』って問題に帰結します。
つまり(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)の微分に『規則性』があれば問題は解けるワケです。まあ
①よりは『見通しだけは』良さそうですね(笑)。
ところで『(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)のi階微分の一般式を求めよ』ってのも実は大変なん
です(苦笑)。そこで次の様に置いてみます。

･v^(n＋1)＝\(\frac{a}{x}\)+b

ここで『合成関数の微分公式』に当てはめて微分すると、

･(n＋1)\(v^{n}\)*d\(\frac{v}{d}\)x＝－a/(\(x^{2}\))･･･①

しつこく『このまま』微分します(笑)。

･(n＋1)n{v^(n－1)}Dv＋(n＋1)(\(w^{n}\))(\(D^{2}\))v＝2a/(\(x^{3}\))･･･②

またもや微分します。

･(n＋1)n(n－1){v^(n－2)}Dv＋2(n＋1)n{v^(n－1)(\(D^{2}\))v＋(n＋1)\(u^{n}\)(\(D^{3}\))v
　＝－6a/(\(x^{4}\))･･･③

もいっちょ微分します(笑)。

･(n＋1)n(n－1)(n－2){v^(n－3)}Dv＋3(n＋1)n(n－1){v^(n－2)(\(D^{2}\))v
　　＋3(n＋1)n{v^(n－1)}(\(D^{3}\))v＋(n＋1)\(u^{n}\)(\(D^{4}\))v
　＝－24a/(\(x^{4}\))･･･④

いい加減にしときますか(笑)。何となく『規則性』はありそうですよね。
さて、例えば①～④まで連立させて『(\(D^{4}\))vを求めよ』って言われれば、これは解
けるんです。単純に言うと、いつもお世話になってる『クラメールの公式』を使え
ば(計算はメンド臭いにしても)ズバリ出てきます。
というコトはこれ等の連立方程式は何らかの正方行列A(しかもある種の対角行列)と
列ベクトルX(Dv,(\(D^{2}\))v,(\(D^{3}\))v,(\(D^{4}\))v,･･････(\(D^{i}\))v)の積で書き表せるワケです。

･AX＝P (Pも列ベクトル)

そうすると行列Aの成分a_(ij)が何なのか分かればイイんですよね。そうすると一般
の(\(D^{i}\))vが予測出来る。まあ、この辺りまでは把握しました。これ以上は･･･(苦笑)。
計算力無いモンで(笑)。
少々ヒントを言うと、(\(D^{i}\))vの『数字の係数』は『二項定理』つまり『パスカルの
3角形』に準じています。まあ、この辺りは『線形微分方程式の性質』から見ると
予測は付きやすいとは思います。ってなワケで『残るは』一般の『行列成分』を定式
化出来れば、vのi階微分のカタチが予測出来るハズです。まあ、頑張って下さい
(笑)。(もしくは他の数学的に僕よりも遥かに優秀な回答者のお方が定式化してくだ
さるかもしれません)

余談ですが、もし

･∫x^(－2)*(\(\frac{a}{x}\)+b)^(\(\frac{1}{n}\)+1)dx

だったら簡単に積分出来ます。よって普通だったらこれは単なる『ミスプリント』な
んですがね(笑)。

昨日あそこまで書いておいて

『行列Aの成分a_(ij)は計算がメンド臭い』

ってんで投げましたが(笑)、一応計算してみました(笑)。ちょっと悔しかったモンで(笑)。

さて、昨日の式①～④までの『数字の係数だけ』から着目してみます。『数字だけ』の
行列を設定してみると、次の様な対角行列になってます。

(1 0 0 0)
(1 1 0 0)
(1 2 1 0)
･(1 3 3 1)

もしv^(n＋1)＝\(\frac{a}{x}\)＋bのまま『5階』微分すれば、『数字の係数』は『2項定理』(パス
カルの三角形)に従う、ってのだけは分かってます。仮に5行5列の行列だったら次の様
になるワケです。

(1 0 0 0 0)
(1 1 0 0 0)
(1 2 1 0 0)
(1 3 3 1 0)
･(1 4 6 4 1)

ここで『v^(n＋1)をi階微分したトキのj項目の数字の係数は何だ?』＝成分a_(ij)の数
字の係数の一般式は?』ってのはi－1からj－1を取り出した『組み合わせ』になりま
す。と言うのも、

(1 0 0 0 0)←1階微分だけど(a＋b\()^{0}\)を展開したトキの各項の数字係数と同じ
(1 1 0 0 0)←2階微分だけど(a＋b\()^{1}\)を展開したトキの各項の数字係数と同じ
(1 2 1 0 0)←3階微分だけど(a＋b\()^{2}\)を展開したトキの各項の数字係数と同じ
(1 3 3 1 0)←4階微分だけど(a＋b\()^{3}\)を展開したトキの数字係数と同じ
･(1 4 6 4 1)←5階微分だけど(a＋b\()^{4}\)を展開したトキの数字係数と同じ

なんで、k階微分した場合、その各項の数字の係数は(a＋b)^(k－1)の数字の係数に従
うんです。
つまり成分a_(ij)の数字の係数は

･成分a_(ij)の数字の係数＝(i－1)!/{(j－1)!(i－j)!}
　　　　　　　　　　　 ＝(i－1)_C_(j－1)

となってます。行列に当てはめて検算してみて下さい。

次にnとv絡みの成分ですが・・・コレはイイでしょう。ちょっとコンピューター上の
表記で検算するのは大変なんで端折りますが(笑)、次のようになります。

･成分a_(ij)のnとv絡みの部分＝{(n＋1)!/(n－i＋j)!}*v^(n－i＋j)

これも検算して確かめて見て下さい。なんせ自称『計算力が無い』モンで(笑)。
よって行列の成分a_(ij)は

･a_(ij)＝(i－1)_C_(j－1)*{(n＋1)!/(n－i＋j)!}*v^(n－i＋j)

となります。
つまり『v^(n＋1)をi階微分した式の第j項』ってのは、1≦j≦iとして

･(i－1)_C_(j－1)*{(n＋1)!/(n－i＋j)!}*v^(n－i＋j)*(\(D^{j}\))v

と書き表せます。
1≦i≦k、と1≦j≦kなので、Σをj＝1からj＝iまでの和とすると、v^(n＋1)をi階微
分したその『線形結合』の式は

･Σ(i－1)_C_(j－1)*{(n＋1)!/(n－i＋j)!}*v^(n－i＋j)*(\(D^{j}\))v
＝{(－1\()^{i}\)}*(i＋1)!/x^(i＋2)

となるハズです。はあ、大変だった(苦笑)。
まだk階微分の『一般式』までたどり着いてませんが(笑)、普通ここまで示せば満点
でしょ(笑)。そう思いたいです(笑)。
余談ですが、行列Aはk行k列の『正方行列』(しかも対角行列)なんで、行列式Aは
この場合

･detA＝{(n＋1\()^{k}\)}*v^(kn)

となるようです。これも確認してみてください。