Video kodlamanın anlamı
Orijinal video verileri için geniş depolama alanı, 1080P 7 s'lik bir video 817 MB gerektirir
Orijinal video veri iletimi büyük bir bant genişliğine sahiptir ve yukarıdaki 11 s'lik videoyu 7 Mbps bant genişliğiyle iletmek 10 dakika sürer.
H.264 kodlama ve sıkıştırmadan sonra, video boyutu yalnızca 708 k'dir ve 10 Mbps bant genişliği yalnızca 500 ms'ye ihtiyaç duyar, bu da gerçek zamanlı aktarım ihtiyaçlarını karşılayabilir. Bu nedenle, video alma sensöründen toplanan orijinal videonun video kodlu olması gerekir.
Temel
Öyleyse neden büyük bir orijinal video çok küçük bir videoya kodlanabilir? Bunun içindeki teknoloji nedir? Teknolojiden bahsetmeden önce sürekli resimler olan video kavramını oluşturmalıyız.
Temel fikir, gereksiz bilgileri kaldırmaktır:
Uzamsal artıklık: bir resmin bitişik pikselleri arasında güçlü bir korelasyon vardır
Geçici artıklık: bir video dizisindeki bitişik resimler arasındaki benzer içerik
Kodlama fazlalığı: farklı piksel değerlerinin farklı olasılıkları vardır
Görsel fazlalık: insan görsel sistemi belirli detaylara duyarlı değildir
Bilgi fazlalığı: düzenlilik yapısı, ön bilgi ve arka plan bilgisinden elde edilebilir
Video, aslında sürekli ve hızlı bir şekilde oynatılan bir dizi resimdir, bu nedenle bir videoyu sıkıştırmanın en kolay yolu, her bir resim karesini sıkıştırmaktır. Örneğin, eski MJPEG kodlaması videodaki her bir resim karesini sıkıştırmaktır. Bu kodlama yöntemi Kodlama için uzamsal örnek tahmini kullanan yalnızca çerçeve içi kodlama vardır. Görüntü metaforu, her kareyi bir resim olarak ele almak ve resmi sıkıştırmak için JPEG kodlama formatını kullanmaktır. Bu tür bir kodlama, yalnızca bir resimdeki fazlalık bilgilerin sıkıştırılmasını dikkate alır.
Bununla birlikte, çerçeveler arasındaki zaman korelasyonu nedeniyle, çerçeveler arası kodlamayı kullanabilen bazı gelişmiş kodlayıcılar geliştirilmiştir. Basitçe ifade etmek gerekirse, çerçeve üzerindeki belirli alanlar arama algoritması ile seçilir ve ardından mevcut çerçeve hesaplanır Bu, ön ve arka referans çerçeveleri arasındaki vektör farkı ile bir kodlama şeklidir. Şekil 2'deki aşağıdaki ardışık iki kareden, kayakçının ileriye doğru kaydığını, ancak gerçekte kar sahnesinin geriye doğru kaydığını ve P çerçevesine referans verildiğini görebiliriz Çerçeveler (I veya diğer P çerçeveleri), boyut olarak kodlanabilir. kodlamadan sonra çok küçük ve sıkıştırma oranı çok yüksek.
hakkında referans bağlantısı çerçeve http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Bazı öğrenciler bu iki resmin nereden geldiğiyle ilgilenebilir. İşte elde edilecek iki FFmpeg komutu satırı. FFmpeg hakkında daha fazla ayrıntı için lütfen aşağıdaki bölümlere bakın:
İlk satır, hareketli bir vektör içeren bir video oluşturur
İkinci satır, her kareyi bir resim olarak çıkarır
Komutu kullan
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Uzamsal artıklık ve geçici artıklık sıkıştırmasına ek olarak, esas olarak kodlama sıkıştırma ve görsel sıkıştırma vardır. Aşağıda bir kodlayıcının ana akış şeması verilmiştir:
Şekil 3 ve Şekil 4 iki işlemdir. Şekil 3, çerçeve içi kodlamadır ve Şekil 4, çerçeveler arası kodlamadır. Şekilden görülen temel fark, ilk adımın farklı olmasıdır. Aslında bu iki süreç de birleştirilmiştir. Genel olarak konuşursak, I çerçeve ve P çerçeve sırasıyla çerçeve içi kodlamayı ve çerçeveler arası kodlamayı kullanır.
Kodlayıcı seçimi
Kodlayıcının ilkesini ve temel sürecini çözdüm. Kodlayıcı, onlarca yıllık geliştirme deneyimine sahiptir. Yalnızca çerçeve içi kodlamayı desteklemekten günümüzde H.265 ve VP9 tarafından temsil edilen yeni nesil kodlayıcılara doğru gelişmiştir. Şu anda, bazı yaygın kodlayıcılar analiz ediliyor ve sizi kodlayıcı dünyasını keşfetmeye götüreceğiz.
H.264
Giriş
H.264 / AVC projesi bir video standardı oluşturmayı amaçlamaktadır. Eski standartla karşılaştırıldığında, çok fazla tasarım karmaşıklığı eklemeden daha düşük bant genişliğinde (başka bir deyişle, MPEG-2, H.263 veya MPEG-4 Part 2 veya daha az bant genişliğinin yalnızca yarısı) yüksek kaliteli video sağlayabilir. elde etmek imkansız veya uygulama maliyeti çok yüksek. Diğer bir amaç, yüksek ve düşük bant genişliği, yüksek ve düşük video çözünürlükleri, yayın, DVD depolama, RTP / IP ağları ve ITU-T multimedya telefon sistemi dahil olmak üzere çeşitli uygulamalarda, ağlarda ve sistemlerde kullanılmak üzere yeterli esnekliği sağlamaktır.
H.264 / AVC bir dizi yeni özellik içerir, bu da onu yalnızca önceki kodeklerden daha verimli kılmakla kalmaz, aynı zamanda çeşitli ağ ortamlarındaki uygulamalarda da kullanılabilir. Bu teknik temel, H.264'ü YouTube dahil çevrimiçi video şirketleri tarafından kullanılan ana codec haline getirir, ancak onu kullanmak çok kolay bir iş değildir. Teorik olarak, H.264 kullanmak çok para gerektirir. Patent ücretleri.
Patent lisansı
MPEG-2'nin birinci ve ikinci bölümleri ve MPEG-4'ün ikinci bölümü gibi, H.264 / AVC kullanan ürün üreticileri ve hizmet sağlayıcılarının patent sahiplerine patent lisans ücreti ödemeleri gerekir. Bu patent lisanslarının ana kaynağı MPEG-LA LLC adlı özel bir kuruluştur. Bu organizasyonun MPEG Standardizasyon Organizasyonu ile hiçbir ilgisi yoktur, ancak bu organizasyon aynı zamanda MPEG-2 Part One System, Part Two Video ve MPEG-4 Part One'ı da yönetir. İki parçalı video ve diğer teknoloji patent lisansları.
Diğer patent lisanslarının, MPEG-2 AAC ve MPEG-4 Audio gibi ses sıkıştırma standartları için patent lisanslarını da yöneten VIA Licensing adlı başka bir özel kuruluşa başvurması gerekir.
H.264'ün açık kaynak uygulaması
openh264, Cisco tarafından uygulanan açık kaynaklı bir H.264 kodlama programıdır. H.264 yüksek patent ücreti gerektirmesine rağmen, patent ücreti üzerinde yıllık bir sınır vardır. Cisco, OpenH264 için yıllık patent ücretini ödedikten sonra, OpenH264 aslında ücretsizdir. Serbestçe kullanın.
x264, GPL altında lisanslanan ücretsiz bir video kodlama yazılımıdır. X264'ün ana işlevi, kod çözücü olarak değil, H.264 / MPEG-4 AVC video kodlamasını gerçekleştirmektir.
Karşılaştırma için maliyet sorunu hariç:
Openh264'ün CPU kullanımı x264'tekinden çok daha düşüktür
openh264 yalnızca temel profili destekler, x264 daha fazla profili destekler
HEVC / H.265
Giriş
Yüksek Verimli Video Kodlama (HEVC), ITU-T H.265 / MPEG-264 AVC standardının halefi olarak kabul edilen bir video sıkıştırma standardıdır (H.4 olarak da adlandırılır). 2004 yılında, ISO / IEC Hareketli Resim Uzmanları Grubu (MPEG) ve ITU-T Video Kodlama Uzmanları Grubu (VCEG), ISO / IEC 23008-2 MPEG-H Bölüm 2 veya ITU-T H.265 olarak gelişmeye başladı. HEVC / H.265 video sıkıştırma standardının ilk sürümü 13 Nisan 2013 tarihinde Uluslararası Telekomünikasyon Birliği'nin (ITU-T) resmi standardı olarak kabul edildi. HEVC'nin yalnızca video kalitesini iyileştirdiği değil, aynı zamanda iki katına çıktığı da kabul edilir. H.264 / MPEG-4 AVC sıkıştırma oranı (aynı görüntü kalitesi altında bit hızında% 50 azalmaya eşdeğerdir) ve 4K çözünürlüğü ve hatta ultra yüksek çözünürlüklü TV'yi (UHDTV) destekleyebilir, en yüksek çözünürlük 8192 × 4320'ye (8K çözünürlük) ulaşın.
Patent lisansı
HEVC, Apple, YouTube, Netflix, Facebook ve Amazon dahil olmak üzere H.265 teknolojisini kullanan tüm içerik üreticilerinin, içerik gelirlerinin% 0.5'ini teknoloji kullanım ücreti olarak ödemesini gerektirir. Tüm akışlı medya pazarı her yıl yaklaşık 100 milyar ABD dolarına ulaşıyor ve devam ediyor Büyümede,% 0.5'lik vergi kesinlikle çok büyük bir ücret. Ayrıca, TV üreticilerinin birim başına 1.5 ABD doları, mobil cihaz üreticilerinin ise birim başına 0.8 ABD doları patent ücreti ödemesi gereken ekipman üreticilerini bırakmadılar. Blu-ray cihaz oynatıcıları, oyun konsolları ve video kaydediciler gibi her biri 1.1 dolar ödemesi gereken üreticilerin gitmesine bile izin vermediler.
H.265 / HEVC'nin açık kaynak uygulaması
libde265 HEVC, açık kaynak lisansı GNU Lesser General Public License (LGPL) altında struktur şirketi tarafından sağlanır ve izleyiciler, daha düşük internet hızlarında en yüksek kalitede görüntülerin keyfini çıkarabilir. H.264 standardına dayalı önceki kod çözücülerle karşılaştırıldığında libde265 HEVC kod çözücü, tam HD içeriğinizi izleyicinin iki katına kadar getirebilir veya akış için gereken bant genişliğini% 50 oranında azaltabilir.
x265, MulticoreWare tarafından geliştirilmiştir ve GPL sözleşmesi kapsamında açık kaynaklıdır.
VP8
Giriş
VP8, önce On2 Technologies tarafından geliştirilen ve ardından Google tarafından yayınlanan bir açık video sıkıştırma formatıdır. Aynı zamanda Google, BSD lisans koşulları şeklinde piyasaya sürülen VP8 kodlu uygulama kitaplığı olan libvpx'i de çıkardı ve ardından patenti kullanma hakkını ekledi. Bazı tartışmalardan sonra, VP8'in yetkisi nihayet açık kaynak yetkilendirme olarak onaylandı.
Şu anda, VP8'i destekleyen web tarayıcıları Opera, Firefox ve Chrome'dur.
Patent lisansı
Mart 2013'te Google, MPEG LA ve 11 patent sahibiyle, Google'ın VP8'i ve önceki VPx'i ve patentleri ihlal edebilecek diğer kodlamaları almasına izin vermek için bir anlaşmaya vardı. Aynı zamanda Google, ilgili patentleri VP8 kullanıcılarına ücretsiz olarak yeniden yetkilendirebilir. , Bu anlaşma aynı zamanda yeni nesil VPx kodlaması için de uygundur. Şimdiye kadar MPEG LA, VP8 patent merkezileştirilmiş lisans birliğinin kurulmasından vazgeçti ve VP8 kullanıcıları, olası patent ihlali telif ücretleri konusunda endişelenmeden bu kodu ücretsiz olarak kullanabilecekler.
VP8'in açık kaynak uygulaması
Libvpx, VP8'in tek açık kaynak uygulamasıdır. On2 Technologies tarafından geliştirilmiştir. Google onu aldıktan sonra kaynak kodunu açtı. Lisans çok gevşektir ve serbestçe kullanılabilir.
VP9
Giriş
VP9'un geliştirilmesi 2011'in üçüncü çeyreğinde başladı. Hedef, dosya boyutunu aynı görüntü kalitesi altında VP50 kodlamaya kıyasla% 8 azaltmaktır. Diğer bir hedef, kodlama verimliliğinde HEVC kodlamasını aşmaktır.
13 Aralık 2012'de Chromium tarayıcısı, VP9 kodlaması için destek ekledi. Chrome tarayıcısı, 9 Şubat 21'te VP2013 kodlu video oynatmayı desteklemeye başladı.
Google, Chrome tarayıcısının varsayılan olarak VP9 kodunu yönlendireceği 17 Haziran 2013 tarihinde VP9 kodunun geliştirilmesini tamamlayacağını duyurdu. 18 Mart 2014'te Mozilla, Firefox tarayıcısına VP9 desteği ekledi.
3 Nisan 2015'te Google, 1.4.0 bit ve 10 bit derinliği, 12: 4: 2 ve 2: 4: 4 kroma örnekleme ve VP4 çok çekirdekli kodlama / kod çözme desteği ekleyen libvpx9'ı yayınladı.
Patent lisansı
VP9 açık formatlı, telifsiz bir video kodlama formatıdır.
VP9'in açık kaynak uygulaması
libvpx, Google tarafından geliştirilen ve sürdürülen VP9'un tek açık kaynak uygulamasıdır. Kodların bazıları VP8 ve VP9 tarafından paylaşılır ve geri kalanı sırasıyla VP8 ve VP9'un kodek uygulamalarıdır.
VP9 ile H.264 ve HEVC'nin karşılaştırılması
HEVC ve H.264'ün farklı çözünürlüklerde karşılaştırılması
H.264 / MPEG-4 ile karşılaştırıldığında, HEVC'nin ortalama bit hızı düşüşü:
Bit hızının% 60'tan fazla düştüğü görülebilir.
HEVC (H.265), VP9 ve H.264 için bit hızı tasarrufunda daha büyük bir avantaja sahiptir ve aynı PSNR altında sırasıyla% 48.3 ve% 75.8 tasarruf sağlar
H.264, kodlama süresinde büyük bir avantaja sahiptir. VP9 ve HEVC (H.265) ile karşılaştırıldığında HEVC, VP6'un 9 katı ve VP9, H.40'ün yaklaşık 264 katıdır.
