Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti

TAŞDEMİR, Kasım; SENCAR, Hüsrev Taha

Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti

Yürütücü

Hüsrev Taha SENCAR (TOBB EKONOMİ VE TEKNOLOJİ ÜNİVERSİTESİ, MÜHENDİSLİK FAKÜLTESİ)

Araştırmacı(lar)

Kasım TAŞDEMİR (TOBB EKONOMİ VE TEKNOLOJİ ÜNİVERSİTESİ, MÜHENDİSLİK FAKÜLTESİ)

1 0

Proje Grubu: EEEAG Sayfa Sayısı: 70 Proje No: 116E273 Proje Bitiş Tarihi: 01.11.2019 Metin Dili: Türkçe İndeks Tarihi: 01-11-2020

Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti

Öz:

Görüntüleme Sensörü Isık Tepki Farklılıgı (PRNU) kamera sensörlerinin üretimi sırasında olusan farklılıklardan kaynaklanan, sensöre özgü bir gürültüdür. PRNU gürültüsü bir kamera ile çekilen tüm fotograf ve videolara aktarıldıgından bir tür kamera kimligi olarak düsünülebilir. Fotograflardan PRNU gürültüsünün elde edilmesi ve kaynak kameranın dogrulanması, üzerinde çokça çalısılmıs bir konudur. Ancak, bu yetkinliklerin video verilerine aynı etkinlikle aktarılması henüz mümkün olmamıstır. Bu durum temelde video çekimi sırasında kameraların uyguladıgı üç temel islemin PRNU gürültüsü üzerindeki bozucu etkilerinden kaynaklanmaktadır. Bunlar: video kodlama, boyutlandırma ve stabilizasyon islemleridir. Yapılan çalısmalarla bu islemlerin kamera kaynagı eslestirmeye etkisi detaylı bir sekilde incelenmis ve bu etkileri ortadan kaldırmaya veya azaltmaya yönelik yeni yöntemler önerilmistir. Bu problemlerden ilki olan video kodlama islemi iki temel yönden kamera kimligi tespitini zorlastırmaktadır. Bunlar kodlama sırasında uygulana döngü filtresi ve nicemlemeye iliskindir. Yapılan arastırmalar ile döngü filtresinin video kod çözümü asamasında büyük oranda elimine edilebilecegi belirlenmistir. Videonun sıkıstırma oranını belirleyen nicemleme degiskeni ile video çerçevesinin sahip oldugu gürültünün güvenilirligi arasında mevcut olan iliski analiz edilmis ve bu iliski kullanılarak videonun her makro blogunun agırlıklandırılması önerilmistir. Bu iki yöntem, 21 farklı Android telefondan olusturulan veri kümesi üzerinde test edilmis ve basarımı çok sıkıstırılmıs videolar için yaklasık 5 kat artırdıgı gösterilmistir. Ayrıca açık bir veri kümesinde yapılan testlerde bu iyilesme dogrulanmıs ve yöntemlerin kamera kimligi elde etmek için gerekli süreyi düsürdügü de gözlemlenmistir. Videoda çözümlenmesi gereken bir diger problem farklı çözünürlüklere sahip videolar ve/veya fotograflar arasındaki dogru boyutlama oranının tespit edilmesidir. Bu amaçla Android tabanlı akıllı telefonlardan yarı-otomatik veri toplamayı olanaklı kılan bir kamera uygulaması tasarlamıstır. Bu uygulama kullanılarak 21 farklı telefon kamerasına ait, desteklenen tüm çözünürlüklerde çekilmis video ve fotograf içeren zengin bir veri kümesi olusturulmustur. Bu verilen üzerinde yapılan testler ile farklı çözünürlüge sahip video ile video, fotograf ile fotograf, ve video ile fotograf arasında dogru boyutlandırma isleminin nasıl yapılacagı ile ilgili yöntemler önerilmistir. Ek olarak elde edilen sonuçlar fotograflar için 1/6?dan büyük, videolarda ise 1/10?dan büyük boyutlandırma oranları için kamera kimligi dogrulaması yapılabildigi gösterilmistir. Videodan kamera kimligi çıkarmada en önemli problem ise video stabilizasyonudur. Bu islem temel olarak video çekimi sırasında kameranın istenmeyen hareketlerinden kaynaklanan görüntü bozukluklarını düzeltmek için görüntülere bölgesel geometrik dönüsümler uygulanmasını içermektedir. Kamera kaynagının basarıyla eslenmesi bu dönüsümlerin belirlenmesi ve orijinal görüntülerin geri elde edilmesini gerektirmektedir. Bu amaçla stabilizasyon dönüsümlerini efektif bir sekilde arayarak yanlıs pozitif eslesmeleri eleyebilen özgün bir yöntem önerilmistir. Stabilize videolar içeren açık bir veri kümesinde yapılan testler ile var olan yöntemler kullanılarak eslestirilemeyen videoların %64?ünün kaynaklarının, hiçbir yanlıs pozitif esleme olmaksızın, tespit edilebilecegi gösterilmistir.

Anahtar Kelime: kaynak dogrulama stabilizasyon nicemleme döngü filtresi h264/5 ısık tepki farklılıgı gürültüsü

Erişim Türü: Erişime Açık

Altinisik, E., Tasdemir, K., Sencar, H. T. 2018. "Extracting Prnu Noise from H. 264 Coded Videos", 26th European Signal Processing Conference (EUSIPCO), 1367-1371.
1- Mitigation of H.264 and H.265 Video Compression for Reliable PRNU Estimation (Makale - Diger Hakemli Makale),
Altinisik, E., Tasdemir, K., Sencar, H. T. 2019. "Mitigation of H.264 and H.265 Video Compression for Reliable PRNU Estimation", IEEE Transactions on Information Forensics and Security, 15, 1557-1571.
2- EXTRACTING PRNU NOISE FROM H.264 CODED VIDEOS (Bildiri - Uluslararası Bildiri - Sözlü Sunum),
Bayram, S., Sencar, H. T., Memon, N., Avcibas I. 2005. "Source camera identification based on CFA interpolation", IEEE International Conference on Image Processing, Cilt 3. - s. III--69.
3- Tackling In-Camera Downsizing for Reliable Camera ID Verifi-cation (Bildiri - Uluslararası Bildiri - Sözlü Sunum),
Bell, S., Troccoli, A. and Pulli, K., Nvidia Corp, 2018. "Real-time video stabilization for mobile devices based on on-board motion sensing", U.S. Patent 10,027,893.
Bondi, L., Bestagini, P., Perez-Gonzalez, F., Tubaro, S. 2018. "Improving prnu compression through preprocessing, quantization, and coding", IEEE Transactions on Information Forensics and Security, 14(3), 608-620.
Chen, M., Fridrich, J., Goljan, M., Lukás, J. 2008. "Determining image origin and integrity using sensor noise", IEEE Transactions on information forensics and security, 3(1), 74-90.
Chen, M., Fridrich, J., Goljan, M., Lukáš, J. 2007. "Source digital camcorder identification using sensor photo response non-uniformity" International Society for Optics and Photonics Security, steganography, and watermarking of multimedia contents IX, 6505, 65051G.
Chen, M., Fridrich, J., Goljan, M. 2007. "Digital imaging sensor identification (further study)", International Society for Optics and Photonics Security, steganography, and watermarking of multimedia contents IX, 6505, 65050P.
Chen, S., Pande, A., Zeng, K., Mohapatra, P. 2014. "Live video forensics: Source identification in lossy wireless networks", IEEE Transactions on Information Forensics and Security, 10(1), 28-39.
Chuang, W.H., Su, H., Wu, M. 2011. "Exploring compression effects for improved source camera identification using strongly compressed video." 18th IEEE International Conference on Image Processing, 1953-1956.
Golik, B., Wueller, D. 2007. "Measurement method for image stabilizing systems", International Society for Optics and Photonics Digital Photography III, 6502, 65020O.
Goljan, M. 2018. "Blind detection of image rotation and angle estimation", Electronic Imaging, 7, 158-1.
Goljan, M., 2008. "Digital camera identification from images–estimating false acceptance probability", Springer International workshop on digital watermarking, 454-468.
Goljan, M., Fridrich, J., 2008. "Camera identification from cropped and scaled images", International Society for Optics and Photonics Security, Forensics, Steganography, and Watermarking of Multimedia Contents X, 6819, 68190E.
Gove, R.J., Texas Instruments Inc, 1999. "Video stabilization system and method", U.S. Patent 5,973,733.
Grundmann, M., Kwatra, V., Essa, I. 2011. "Auto-directed video stabilization with robust l1 optimal camera paths" IEEE CVPR, 225-232.
Grundmann, M., Kwatra, V., Essa, I., Google LLC, 2018. "Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization", U.S. Patent 9,374,532.
Hyun, D.K., Choi, C.H., Lee, H.K. 2012. "Camcorder identification for heavily compressed low resolution videos", Springer Computer Science and Convergence, 695-701).
Iuliani, M., Fontani, M., Shullani, D., Piva, A. 2019. "Hybrid reference-based video source identification", Sensors, 19(3), 649.
Karaküҫük, A., Dirik, A.E., Sencar, H.T., Memon, N.D. 2015. "Recent advances in counter PRNU based source attribution and beyond", International Society for Optics and Photonics Media Watermarking, Security, and Forensics, 9409, 94090N.
Kharrazi, M., Sencar, H.T., Memon, N. 2004. "Blind source camera identification", IEEE International Conference on Image Processing, 1, 709-712.
Kopf, J., 2016. 360 video stabilization. ACM Transactions on Graphics (TOG), 35 (6), 1-9.
Kumar, B.V., Hassebrook, L. 1990. "Performance measures for correlation filters", Applied optics, 29(20), 2997-3006.
Li, J., Xu, T., Zhang, K. 2016. Real-time feature-based video stabilization on FPGA. IEEE Transactions on Circuits and Systems for Video Technology, 27(4), 907-919.
List, P., Joch, A., Lainema, J., Bjontegaard, G., Karczewicz, M., 2003. "Adaptive deblocking filter", IEEE transactions on circuits and systems for video technology, 13(7), 614-619.
Litvin, A., Konrad, J., Karl, W.C., 2003. "Probabilistic video stabilization using Kalman filtering and mosaicing", International Society for Optics and Photonics Image and Video Communications and Processing, 5022, 663-674.
Liu, F., Gleicher, M., Jin, H., Agarwala, A. 2009. "Content-preserving warps for 3D video stabilization", ACM Transactions on Graphics (TOG), 28(3),1-9.
Liu, S., Yuan, L., Tan, P., Sun, J. 2014. "Steadyflow: Spatially smooth optical flow for video stabilization", IEEE Conference on Computer Vision and Pattern Recognition, 4209-4216.
Lucas, B.D., Kanade, T., 1981. An iterative image registration technique with an application to stereo vision.
Lukas, J., Fridrich, J., Goljan, M. 2006. "Digital camera identification from sensor pattern noise", IEEE Transactions on Information Forensics and Security, 1(2), 205-214.
Mahalanobis, A., Kumar, B.V., Casasent, D. 1987. "Minimum average correlation energy filters", Applied Optics, 26(17), 3633-3640.
Mandelli, S., Bestagini, P., Verdoliva, L., Tubaro, S. 2019. "Facing device attribution problem for stabilized video sequences", IEEE Transactions on Information Forensics and Security, 15, 14-27.
Matsushita, Y., Ofek, E., Ge, W., Tang, X., Shum, H.Y. 2006. "Full-frame video stabilization with motion inpainting", IEEE Transactions on pattern analysis and Machine Intelligence, 28(7), 1150-1163.
McCloskey, S. 2008. "Confidence weighting for sensor fingerprinting", IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,1-6.
Pande, A., Chen, S., Mohapatra, P., Pande, G. 2014. "Architecture for blocking detection in wireless video source authentication", 27th IEEE International Conference on VLSI Design and 2014 13th International Conference on Embedded Systems, 294-299.
Schroeder, D., El Essaili, A., Steinbach, E., Staehle, D., Shehada, M., 2013, December. Lowcomplexity no-reference PSNR estimation for H. 264/AVC encoded video", 20th IEEE International packet video workshop, 1-6.
Shullani, D., Fontani, M., Iuliani, M., Al Shaya, O., Piva, A. 2017. "Vision: a video and image dataset for source identification", EURASIP Journal on Information Security, 2017(1), 15.
Sikora, T. 1997. "The MPEG-4 video standard verification model", IEEE Transactions on circuits and systems for video technology, 7(1), 19-31.
Tandoğan, S.E., Altınışık, E., Sarimurat, S., Sencar, H.T. 2019. "Tackling in-camera downsizing for reliable camera id verification", Electronic Imaging, 2019(5), pp.545-1.
Sullivan, G.J., Ohm, J.R., Han, W.J., Wiegand, T. 2012. "Overview of the high efficiency video coding (HEVC) standard", IEEE Transactions on circuits and systems for video technology, 22(12), 1649-1668.
Taspinar, S., Mohanty, M., Memon, N. 2019. "Source camera attribution of multi-format devices", arXiv preprint arXiv:1904.01533.
Taspinar, S., Mohanty, M., Memon, N. 2016. "Source camera attribution using stabilized video", IEEE International Workshop on Information Forensics and Security (WIFS), 1-6.
Thivent, D.J., Williams, G.E., Zhou, J., Baer, R.L., Toft, R., Beysserie, S.X., Apple Inc, 2017. "Combined optical and electronic image stabilization", U.S. Patent 9,596,411. Tomasi, C. and Kanade, T. 1991. "Detection and tracking of point features", Tech. Rep. CMUCS- 91-132, Carnegie Mellon University.
Van Houten, W., Geradts, Z., 2009. "Source video camera identification for multiply compressed videos originating from YouTube", Digital Investigation, 6(1-2), 48-60.
Van Lanh, T., Chong, K.S., Emmanuel, S., Kankanhalli, M.S. 2007. "A survey on digital camera image forensic methods", IEEE international conference on multimedia and expo, 16-19.
Wallace, G.K. 1992. "The JPEG still picture compression standard", IEEE transactions on consumer electronics, 38(1), xviii-xxxiv.
Wang, Z., Zhang, L., Huang, H. 2018. "High-quality real-time video stabilization using trajectory smoothing and mesh-based warping", IEEE Access, 6, 25157-25166.
Wiegand, T., Sullivan, G.J., Bjontegaard, G., Luthra, A., 2003. "Overview of the H. 264/AVC video coding standard", IEEE Transactions on circuits and systems for video technology, 13(7), 560-576.
Xu, J., Chang, H.W., Yang, S., Wang, M. 2012. "Fast feature-based video stabilization without accumulative global motion estimation", IEEE Transactions on Consumer Electronics, 58(3), 993-999.

APA	SENCAR H, TAŞDEMİR K (2019). Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. , 1 - 70.
Chicago	SENCAR Hüsrev Taha,TAŞDEMİR Kasım Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. (2019): 1 - 70.
MLA	SENCAR Hüsrev Taha,TAŞDEMİR Kasım Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. , 2019, ss.1 - 70.
AMA	SENCAR H,TAŞDEMİR K Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. . 2019; 1 - 70.
Vancouver	SENCAR H,TAŞDEMİR K Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. . 2019; 1 - 70.
IEEE	SENCAR H,TAŞDEMİR K "Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti." , ss.1 - 70, 2019.
ISNAD	SENCAR, Hüsrev Taha - TAŞDEMİR, Kasım. "Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti". (2019), 1-70.

APA	SENCAR H, TAŞDEMİR K (2019). Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. , 1 - 70.
Chicago	SENCAR Hüsrev Taha,TAŞDEMİR Kasım Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. (2019): 1 - 70.
MLA	SENCAR Hüsrev Taha,TAŞDEMİR Kasım Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. , 2019, ss.1 - 70.
AMA	SENCAR H,TAŞDEMİR K Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. . 2019; 1 - 70.
Vancouver	SENCAR H,TAŞDEMİR K Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti. . 2019; 1 - 70.
IEEE	SENCAR H,TAŞDEMİR K "Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti." , ss.1 - 70, 2019.
ISNAD	SENCAR, Hüsrev Taha - TAŞDEMİR, Kasım. "Videolardan Kamera Kimliği Belirlenmesi Ve Büyük Video Veri Kümelerinde Kaynak Kamera Tespiti". (2019), 1-70.