こんにちは。テキストファイルはどれかのApplicationを使用して開かなくてはならないので、EnumWindowsで廻してGetWindowTextLength or GetWindowText でタイトルバーの文字をチェックするなんてのはどうですか。開いているApplicationにファイル名がのっていることが条件ですが。