Test etmek istedigim bir android uygulamam olsa. Ekran goruntusunu bir sekilde bilgisayara aktarsam. Opencv benim icin fareyi kullanarak menulerde gezinip menuler uzerinde goruntu isleme yaparak uygulamayi test edebilir mi? Mesela bir butona bastim veya cekistirdim saga sola gelecek menuyu biliyorum diyelim buna gore Opencv bana cikan ekranda bekledigim sonucun olup olmadigini soyleyebilir mi?
Merhaba, gelecek ekran hakkında ki referans bilgi resim mi olucak? yoksa başka bir şekilde mi?
Gelecek ekranda olmasi gereken bazi yazilar olacak. Aslinda bunlara bakarak karar verip baska menulerede dallanacak.
Bir zamanlar forumda Robot yazilim konusu acmistim. Simdilerde bir kac tane robot yazilimim var ve bilgisayara bazi programlari kendi kendine kullandiriyorum.
OepnCV bilmedigim icin bir sey diyemeyecegim. Benimkisini Delphi ile yazdim.
Mantik su sekilde;
Ekranda tiklanacak buton koordinatlarini ve takip edilecek textlerin koordinatlarini yazilima tanitiyorum. (Bunun icin de bir programin ogrenme modu var)
Yazilim keyboard ve klavyeyi kendi yonetebiliyor. Yani klavyeden veri girebiliyor yada mousu bir koordinata surekleyip tiklama yapabiliyor. Ekran goruntusunu ise Snapshot ile lazim oldukca aliyorum.
Mesela bir butonu tiklatiyorum ardindan ekranin degismesini bekliyorum. Ekran degisti ise ilgili text alaninda istedigim text olustumu kontrol ediyorum. (Burda gercek anlamda text kontrolu degil 5.10 tane pixelin istedigim degeri alip olmadigini kontrole diyorum)
Bu sayede makine bir takim isleri hatasiz sekilde benim adima kullaniyor ve bu esnada baska islerle ilgilenme sansim oluyor.
Evet hocam yapabilirsiniz bunun için opencv ve ocr(görüntüdeki yazılımı text formatına çeviren) lazım. Bunda yazının yerini tam olarak biliyorsanız kolay değilse bile ocr yazılımı size bütün yazıları çıkartır siz seçme yaparsınız.
mümkün.
Template Matching ile menuyü bulabilir, OCR ile menü bileşenlerini tespit edebilirsiniz.
Peki, OCR ekranin herhangi bir yerindeki metni okuyabiliyormu yoksa illaki Opencv nin ana penceresinin icinde bir yerde mi olmali? Aslinda ayni soru fare icinde gecerli. Herhangi bir koordinata git tikla diyebiliyor muyum?
Windows api fonksiyonları ile fare ekranda istenilen yere gider. Benzer şekilde gelen sistem mesajlarından ilgili id li olanları dinleyerek farenin nerede olduğu, hangi tuşa tıklandığı vb. okuyabilirsiniz.
Opencv Ona gönderdiğiniz resimdeki bütün karakterleri okuyor ve texte çevirip size veriyor.
Opencv yi vusial studio c++ ile kullanabiliyorum. En azindan ornek uygulama sorunsuz derlendi calisiyor. Bakalim neler olacak. Tesekkurler sevgili forumdaslar. :)
Alıntı yapılan: OptimusPrime - 04 Aralık 2019, 18:54:17Peki, OCR ekranin herhangi bir yerindeki metni okuyabiliyormu yoksa illaki Opencv nin ana penceresinin icinde bir yerde mi olmali? Aslinda ayni soru fare icinde gecerli. Herhangi bir koordinata git tikla diyebiliyor muyum?
herhangi bir fotodan bir bölüm, yada herhangi bir stream den (kamera yada video) bir bölümü belirleyebiliyorsunuz.