2ab－3b-3a＜０を積の形に変形するには
（2a－○)(b－△）－○*△＜０
（2abをまずカッコに入れる。記号はそれぞれ数字）
と考えれば納まるでしょう。
○＝３、△＝\(\frac{３}{２}\)はすぐに見つかると思うので
（2a－３)(b－\(\frac{３}{２}\)）－\(\frac{９}{２}\)＜０
よって（2a－３)(b－\(\frac{３}{２}\)）＜\(\frac{９}{２}\)
両辺２倍して（2a－３)(2b－３）＜９
としてみてはどうでしょうか。

前後の解答がよくわかりませんが
ここから整数a、bの候補をさがすのかな？