Ses ve video geliştirme ve öğrenme

İlk önce birinin ses ve videoda sıfır temele sahip olduğunu ve dijital sinyal işleme ile ilgili herhangi bir bilgiyi hiç öğrenmediğini varsayıyoruz. Matematiksel temel temelde lise düzeyindedir, ancak C/C++ geliştirmesine aşinadır, en azından belirli bir platform altında IDE derleme ve hata ayıklama konusunda bilgi sahibidir.

Temel olarak ffmpeg'in video bölümüne ve webRTC'nin ses bölümüne bakarak iki açık kaynak projesi ffmpeg ve webRTC'ye odaklanın.

Her şeyden önce, video kod çözme ile başlayın. Bu en basiti. Ffmpeg video kod çözümünü çağırmak için temel kod yalnızca yaklaşık 100 satırdır. Video kod çözmenin yalnızca h.264'ü anlaması gerekir, %80'den fazla sahne bu kodlama biçimindedir, temel H.264 sps pps NAL ve diğer dosya biçimi kavramlarını anlamalı, YUV görüntü biçimi ilkesini anlamalı ve YUV'nin RGB'ye dönüştürülmesini anlamalıdır. , Böylece görüntü işleme yapabilir, basit bir video oynatıcı elde edebilirsiniz. (Temelde ilk aşamada)

Ardından, video kodlama hakkında bilgi edinmek için x264 ile başlamanız önerilir, x264 kodlama koduna basit bir çağrı 100 satırdan azdır. Kodlama, kod çözmenin yapılandırılması için herhangi bir parametre gerektirmediğinden ve kodlamanın yapılandırılması gereken çok sayıda parametreye sahip olduğundan, kod çözmeden daha karmaşıktır. Başlangıçta, kare hızı, ortak akış kontrol yöntemleri ABR CRF, GOP, I/B /P Frame ne anlama gelir? gibi birkaç temel kavramı anlayın. (Yine X264 kodlamasına aşina)

Ses bölümünün codec bileşeni videonunkine benzer. İlk aşamada, yalnızca iki kodlayıcı EAAC+ ve Silk'i anlamanız, ses kanalı, örnekleme hızı vb. kavramlarını anlamanız ve Wave dosya biçimini anlamanız gerekir. Basit bir ses çalar olabilir. (Bir ses çalar yapın)

Sesin karmaşık kısmı kodek değil, ses efektidir. webRTC'deki Ses İşleme modülüne bir göz atın ve şu kavramları anlayın: gürültü giderme NS, yankı iptali AEC, sessiz algılama VAD, otomatik kazanç kontrolü AGC ve yerleşik webRTC. Algoritma en iyisi olmasa da, sorunların %90'ından fazlasını çözebilir ve öğrenmeye değer. (webrtc ses işlemeyi öğrenin)

Bunu öğrendikten sonra, bir mühendislik rotası mı yoksa algoritmik bir rota mı almak istiyorum sorusu hakkında düşünmem gerekiyor. Algoritmik bir rotaysa, matematik öğrenmeliyim. Dijital sinyal işlemenin arkasında çok sayıda temel matematiksel teori vardır. Bu bir mühendislik rotasıysa, platformlar arası geliştirmeyi öğrenmeniz, birden fazla platformda ses ve videonun toplanmasını, oynatılmasını ve işlenmesini öğrenmeniz ve birden çok platform altında montaj dili optimizasyonunu öğrenmeniz gerekir. (Platformla ilgili)

Ses ve video çok derin bir alandır ve bir ömür boyu öğrenmeyi asla bitiremezsiniz, ancak bu alan, bilgi güncelleme hızının nispeten yavaş olması, öğrenilenlerin ortadan kaldırılmasının kolay olmaması ve deneyim birikimi avantajına sahiptir. çok önemli.v