一般解込みで解く場合…、
煩雑な計算だけ、前準備として計算しておきます。

1. ∫sinx・e^(-x)dx
　∫sinx・e^(-x)dx
　= -sinx・e^(-x) + ∫cosx・e^(-x)dx　　…(1)
　= -sinx・e^(-x) - cosx・e^(-x) - ∫sinx・e^(-x)dx　…(2)

　(2)より
　2∫sinx・e^(-x)dx = -sinx・e^(-x)-cosx・e^(-x)

　これより
　∫sinx・e^(-x)dx = -\(\frac{1}{2}\)・(sinx+cosx)e^(-x) + C　…(3)

2. ∫cosx・e^(-x)dx
　(1)より、
　∫cosx・e^(-x)dx = sinx・e^(-x) +∫sinx・e^(-x)dx

　(3)とあわせて、
　∫cosx・e^(-x)dx = \(\frac{1}{2}\)・(sinx-cosx)・e^(-x) + C　…(4)


3. ∫x・sinx・e^(-x)dx
　∫x・sinx・e^(-x)dx
　= -\(\frac{1}{2}\)・x(sinx+cosx)・e^(-x) + \(\frac{1}{2}\)・∫(sinx+cosx)・e^(-x) dx

　(3),(4)を適用して
　∫x・sinx・e^(-x)dx
　= -\(\frac{1}{2}\)・x(sinx+cosx)・e^(-x)
　　　　+ \(\frac{1}{4}\)・( -(sinx+cosx)+(sinx-cosx) )・e^(-x) + C
　= -\(\frac{1}{2}\)・(xsinx+xcosx+cosx)・e^(-x) + C　…(5)

4. ∫x・cosx・e^(-x)dx
　∫x・cosx・e^(-x)dx
　= \(\frac{1}{2}\)・x(sinx-cosx)・e^(-x) - \(\frac{1}{2}\)・∫(sinx-cosx)・e^(-x) dx

　(3),(4)を適用して
　∫x・sinx・e^(-x)dx
　= \(\frac{1}{2}\)・x(sinx-cosx)・e^(-x)
　　　　- \(\frac{1}{4}\)・( -(sinx+cosx)-(sinx-cosx) )・e^(-x) + C
　= \(\frac{1}{2}\)・(xsinx-xcosx+sinx)・e^(-x) + C

y''-2y'+y=0 の解の一つは y=\(e^{x}\)
今、y=u・\(e^{x}\) と置く時、与方程式は、

　(u・\(e^{x}\))''-2(u・\(e^{x}\))'+u・\(e^{x}\)=xsinx
　( u''+2u'+u-2(u'+u)+u )\(e^{x}\)=xsinx
　u''・\(e^{x}\)=xsinx
　u''=x・sinx・e^(-x)

よって、
　u' = ∫x・sinx・e^(-x) dx = -\(\frac{1}{2}\)・(xsinx+xcosx+cosx)・e^(-x) + C

C=-2aと置くと、
　u
　= -\(\frac{1}{2}\)・∫( (xsinx+xcosx+cosx)・e^(-x)-2a )dx
　= -\(\frac{1}{2}\)・( -\(\frac{1}{2}\)・(xsinx+xcosx+cosx)・e^(-x)
　　　　+ \(\frac{1}{2}\)・(xsinx-xcosx+sinx)・e^(-x)
　　　　　　+ \(\frac{1}{2}\)・(sinx-cosx)・e^(-x) -2ax ) + b
　= -\(\frac{1}{2}\)・( -(xcosx+cosx-sinx)・e^(-x) -2ax ) + b
　= \(\frac{1}{2}\)・(xcosx+cosx-sinx)・e^(-x) + ax + b

よって、
　y= u・\(e^{x}\) =\(\frac{1}{2}\)・(xcosx+cosx-sinx)+(ax+b)\(e^{x}\)

特殊解に絞って解く場合…
　特殊解 y=Axcosx+Bxsinx+Ccosx+Dsinx が存在すると仮定する。
　その時、
　　y'=Bxcosx-Axsinx+(A+D)cosx+(B-C)sinx
　　y''=-Axcosx-Bxsinx+(2B-C)cosx-(2A+D)sinx

　与方程式に代入すると、
　　-2Bxcosx+2Axsinx-2(A-B+D)cosx-2(A+B-C)sinx=xsinx
　よって、
　　-2B=0, 2A=1, A-B+D=0, A+B-C=0 の時、与方程式を満たす
　これを解いて
　　A=\(\frac{1}{2}\), B=0, C=\(\frac{1}{2}\), D=-\(\frac{1}{2}\)
　ゆえに、
　　y=\(\frac{1}{2}\)・(xcosx+cosx-sinx)
　は、与方程式の解である。

後は一般解 (ax+b)\(e^{x}\) を足してあげれば終わり。