mysql slave同步错误:Last_Errno: 1062解决办法

场景重现:

      MySQL 双主实现同步之后,同步机器IP设置为:192.168.101.118和192.168.101.119

在同步数据库中创建一个表

 create table test (tno int(5),
tname char(10),
primary key(tno));

然后在118端插入数据如下:

+——-+———+
| tno   | tname   |
+——-+———+
| 10001 | liming  |
| 10002 | linxiao |

在119端实现了同步:

+——-+———+
| tno   | tname   |
+——-+———+
| 10001 | liming  |
| 10002 | linxiao |

然后把119的数据库关闭(模拟119机器环境突然宕机)

在118机器上面插入数据(10003,hanmeimei);

mysql> select * from test;
+——-+———–+
| tno   | tname     |
+——-+———–+
| 10001 | liming    |
| 10002 | linxiao   |
| 10003 | hanmeimei |
+——-+———–+

然后模拟118机器也宕机了,并恢复119的环境,然后在119库里面插入数据(10003,‘gaoyao’),,(10004, ‘chenhu’),插入成功

mysql> select * from test;
+——-+———+
| tno   | tname   |
+——-+———+
| 10001 | liming  |
| 10002 | linxiao |
| 10003 | gaoyao  |
| 10004 | chenhu  |
+——-+———+

然后恢复118机器的环境,此时问题出现,两边不能同步了,

查看记录如下:

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.101.118
                  Master_User: backup
                  Master_Port: 3306
                Connect_Retry: 50
              Master_Log_File: mysql-bin.000014
          Read_Master_Log_Pos: 202
               Relay_Log_File: localhost-relay-bin.000014
                Relay_Log_Pos: 251
        Relay_Master_Log_File: mysql-bin.000013
             Slave_IO_Running: Yes
            Slave_SQL_Running: No
              Replicate_Do_DB: cdn
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 1062
                   Last_Error: Error ‘Duplicate entry ‘10003’ for key ‘PRIMARY” on query. Default database: ‘cdn’. Query: ‘insert into test values(10003, ‘hanmeimei’)’

                   Last_Error: Error ‘Duplicate entry ‘10003’ for key ‘PRIMARY” on query. Default database: ‘cdn’. Query: ‘insert into test values(10003, ‘gaoyao’)’
                  (红色部分为118上面的日志)

            Skip_Counter: 0
          Exec_Master_Log_Pos: 497
              Relay_Log_Space: 915
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 1062
               Last_SQL_Error: Error ‘Duplicate entry ‘10003’ for key ‘PRIMARY” on query. Default database: ‘cdn’. Query: ‘insert into test values(10003, ‘hanmeimei’)’

              Last_SQL_Error: Error ‘Duplicate entry ‘10003’ for key ‘PRIMARY” on query. Default database: ‘cdn’. Query: ‘insert into test values(10003, ‘gaoyao’)’
1 row in set (0.00 sec)

原因分析:

两边数据不一致,数据库开始进行同步,但是由于在复制同步的时候,发现对方库中存在相同的主键,从而同步失败

并导致  Slave_SQL_Running: No  出现

要求:

要求模拟上述场景,并解决工作中实际出现的这种问题

即双主中有一台机器A宕机后,紧接着另一台B在插入了部分数据之后也宕机了,然后A机器先恢复启动,并在不知情的情况下也插入了相同主键但是内容不一致的数据,

然后B再启动,此时就会出现上述错误

解决(1)

此种情况下只要保证机器B先启动就不会存在此种问题,所以要解决的问题是怎么控制B先启动的问题

解决(2)

网上有其他修改参数的相关建议,但是可能场景不是很合要求

如:

修改mysql的配置文件,/etc/my.cnf,在[mysqld]下面添加一行

slave_skip_errors = 1062

保存、重启mysql服务,再次查看主从复制,问题解决。

此种方法在此场景只能保证忽略报错,在后序的数据中还能保持同步,但是对于已经不同步的数据不能恢复同步:

mysql> select * from test;    ————A
+——-+———–+
| tno   | tname     |
+——-+———–+
| 10001 | liming    |
| 10002 | hanmeimei |
| 10003 | Jimmy     |
+——-+———–+

mysql> select  * from test;            ——————B
+——-+———–+
| tno   | tname     |
+——-+———–+
| 10001 | liming    |
| 10002 | hanmeimei |
| 10003 | gaoyao    |
+——-+———–+

在A中插入一条数据(10004,’Green’), 这条数据马上能同步到B, 但是 tno = 10003的数据还是混乱的,不知道选择哪条了,所以此条记录没有同步

还有另外一种:  此种和上面方法类似,都是相当于路过了当前问题,令后面的同步

mysql> slave stop;
     mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
     mysql> slave start;

使用ffmpeg合并视频文件的三种方法

ffmpeg合并视频的方法有三种。国内大多数仅介绍了其中之一。于是觉得有必要翻译一下。其实在ffmpeg的 FAQ文档中有比较详细的说明。

  1. 使用concat协议进行视频文件的合并

    这种方式的适用场景是:视频容器是MPEG-1, MPEG-2 PS或DV等可以直接进行合并的。换句话说,其实可以直接用cat或者copy之类的命令来对视频直接进行合并。很多文章介绍了这种方法,但适用性却没有提及。这并不是一个通用的方法。典型的命令示例如下:

    ffmpeg -i concat:"intermediate1.mpg|intermediate2.mpg" -c copy intermediate_all.mpg
  2. 使用concat demuxer进行视频文件的合并

    这种合并方式的适用场景是:当容器格式不支持文件层次的合并,而又不想(不需要)进行再编码的操作的时候。这种方式对源视频同样有同格式同性质的要求。其详细语法参见 这里 。典型的命令示例如下:

    ffmpeg -f concat -i Cam01.txt -c copy Cam01.mp4

    其中,Cam01.txt 为包含了输入文件的描述文件。

  3. 使用concat滤镜(filter)进行视频文件的合并:

    当需要进行任意程度的重新编解码时,官方推荐使用的方法即是用concat滤镜来进行视频文件的合并处理。详细说明参见 这里 。典型命令示例如下:

    ffmpeg -i opening.mkv -i episode.mkv -i ending.mkv -filter_complex \ '[0:0] [0:1] [0:2] [1:0] [1:1] [1:2] [2:0] [2:1] [2:2]
       concat=n=3:v=1:a=2 [v] [a1] [a2]' \
      -map '[v]' -map '[a1]' -map '[a2]' output.mkv

    这段命令目的是将三段双语格式的视频合并至最终的一段视频(output.mkv)。参数n=3说明待合成的视频有三段,v=1说明视频流为一,a=2说明音频流为二。 -map参数的详细说明可以从Filtergraph文档中找到。

众所周知,从某些视频网站下载的视频是分段的。比如新浪视频每隔6分钟分段,俗称“6分钟诅咒”。
现在的任务是将这些视频片段合并起来,并且尽量无损。

方法一:FFmpeg concat 协议

对于 MPEG 格式的视频,可以直接连接:

ffmpeg -i "concat:input1.mpg|input2.mpg|input3.mpg" -c copy output.mpg

对于非 MPEG 格式容器,但是是 MPEG 编码器(H.264、DivX、XviD、MPEG4、MPEG2、AAC、MP2、MP3 等),可以包装进 TS 格式的容器再合并。在新浪视频,有很多视频使用 H.264 编码器,可以采用这个方法
ffmpeg -i input1.flv -c copy -bsf:v h264_mp4toannexb -f mpegts input1.ts
ffmpeg -i input2.flv -c copy -bsf:v h264_mp4toannexb -f mpegts input2.ts
ffmpeg -i input3.flv -c copy -bsf:v h264_mp4toannexb -f mpegts input3.ts
ffmpeg -i "concat:input1.ts|input2.ts|input3.ts" -c copy -bsf:a aac_adtstoasc -movflags +faststart output.mp4
保存 QuickTime/MP4 格式容器的时候,建议加上 -movflags +faststart。这样分享文件给别人的时候可以边下边看。

方法二:FFmpeg concat 分离器

这种方法成功率很高,也是最好的,但是需要 FFmpeg 1.1 以上版本。先创建一个文本文件filelist.txt
file 'input1.mkv'
file 'input2.mkv'
file 'input3.mkv'
然后:

ffmpeg -f concat -i filelist.txt -c copy output.mkv

注意:使用 FFmpeg concat 分离器时,如果文件名有奇怪的字符,要在 filelist.txt 中转义。

方法三:Mencoder 连接文件并重建索引

这种方法只对很少的视频格式生效。幸运的是,新浪视频使用的 FLV 格式是可以这样连接的。对于没有使用 MPEG 编码器的视频(如 FLV1 编码器),可以尝试这种方法,或许能够成功。

mencoder -forceidx -of lavf -oac copy -ovc copy -o output.flv input1.flv input2.flv input3.flv

方法四:使用 FFmpeg concat 过滤器重新编码(有损)

语法有点复杂,但是其实不难。这个方法可以合并不同编码器的视频片段,也可以作为其他方法失效的后备措施。

ffmpeg -i input1.mp4 -i input2.webm -i input3.avi -filter_complex '[0:0] [0:1] [1:0] [1:1] [2:0] [2:1] concat=n=3:v=1:a=1 [v] [a]' -map '[v]' -map '[a]' <编码器选项> output.mkv

如你所见,上面的命令合并了三种不同格式的文件,FFmpeg concat 过滤器会重新编码它们。注意这是有损压缩。
[0:0] [0:1] [1:0] [1:1] [2:0] [2:1] 分别表示第一个输入文件的视频、音频、第二个输入文件的视频、音频、第三个输入文件的视频、音频。concat=n=3:v=1:a=1 表示有三个输入文件,输出一条视频流和一条音频流。[v] [a] 就是得到的视频流和音频流的名字,注意在 bash 等 shell 中需要用引号,防止通配符扩展。

提示

  1. 以上三种方法,在可能的情况下,最好使用第二种。第一种次之,第三种更次。第四种是后备方案,尽量避免。
  2. 规格不同的视频合并后可能会有无法预测的结果。
  3. 有些媒体需要先分离视频和音频,合并完成后再封装回去。
  4. 对于 Packed B-Frames 的视频,如果封装成 MKV 格式的时候提示 Can't write packet with unknown timestamp,尝试在 FFmpeg 命令的 ffmpeg 后面加上 -fflags +genpts

访问Google的神器:Chrome的QUIC协议

在Google新版的Chrome浏览器中,支持QUIC协议,在 Chrome 浏览器中打开“实验性功能”页面(chrome://flags/),启用“实验性 QUIC 协议”和“经由实验性 QUIC 协议发出的 HTTPS 请求”,重启浏览器后可以正常登陆 Google 相关服务(被DNS污染的除外)。对于被DNS污染的Google服务,还需要设置Hosts的IP,然后通过HTTPS才能访问。

QUIC协议的原理介绍:

TCP、UDP都是计算机网络通信层的主要协议。TCP是面向连接的,更强调的是传输的可靠性,UDP是面向无连接的,也即在通信双方进行数据交换之前,无需建立连接,只要知道对方地址即可发送数据,由于UDP协议是无连接方式的协议,所以它的效率高,速度快,占资源少。

为了集合两者的优点,谷歌公司研制了一种UDP通信的改进版——Quick UDP Internet Connections(QUIC),快速UDP互联网连接。

QUIC的主要特点包括,具有SPDY(SPDY是谷歌研制的提升HTTP速度的协议,是HTTP/2.0的基础)所有的优点;0-RTT连接;减少丢包;前向纠错,减少重传时延;自适应拥塞控制, 减少重新连接;相当于TLS加密。

总之,QUIC系统能够降低网络通信的延迟,提供更好的用户互动体验,尽管随着互联网的发展,网络带宽会持续增加,QUIC等新型通信协议具有越来越重要的意义。

QUIC是Quick UDP Internet Connections的缩写,读作quick。由Google开发,概要设计文档放在google docshttps://docs.google.com/document/d/1RNHkx_VvKWyWg6Lr8SZ-saqsQx7rFV-ev2jRFUoVD34/edit,还在不断更新。传输格式的详细设计文档放在https://docs.google.com/document/d/1WJvyZflAO2pq77yOLbp9NsGjC1CHetAXV8I0fQe-B_U/edit

概要设计文档从TCP/UDP特性、网络安全等考虑出发,做了非常多设计思路方面的论述,开头就阐述了SPDY的4个缺点

  1. 单个包(packet)丢失会阻塞整个流(stream)。
  2. TCP避免拥堵的机制做的不好,导致带宽降低和序列化的等待时间开销。
  3. TLS会话重连的等待时间开销。握手机制带来额外的Round Trip。
  4. TLS解密的开销。先到的包必须等后面的包到来才能解密。

可以认为QUIC是为了解决SPDY在TCP遇到的瓶颈而在UDP上做探索所设计的方案。参考SPDY来理解,可认为QUIC的传输内容分两层,高层类似SPDY,低层是在UDP上模仿实现TCP的面向连接特性和可靠性并加入类似TLS的加密过程。

QUIC的文档还算未完成的状态,且Chromium的实现代码也在完善中,这还是个试验性的半成品,没有性能比较的数据。只浅浅研究即止,不深入了。

ffprobe使用大全

目录

1. 语法

2. 描述

3. 选项

3.1 流指示符

3.2 通用选项

3.3 音视频选项

3.4 主选项

4. 写入器

4.1 默认值

4.2 compact, csv

4.3 flat

4.4 ini

4.5 json

4.6 xml

5. Timecode



1. 语法

  ffprobe [options] [‘input_file’]



2. 描述

ffprobe收集多媒体文件或流的信息,并以人和机器可读的方式输出。

例如,它可以用来检查多媒体流的容器格式,以用每个流的类型和格式;

如果指定的以文件作为输入,ffprobe会打开文件并解析文件内容,如果文件打开失败或文件不是媒体文件,则返回负值。



ffprobe可以作为一个命令行程序独立使用,也可以于一个文本过滤器组合使用,从而实现更复杂的处理,

如统计处理或绘图。

选项用来列出ffprobe支持的格式,指定要显示的信息,和设置如何显示。



ffprobe的输出设计成可以方便地被文本过滤器解析,由一个或多个章节组成,由“print_format”选项指定。

章节是递归的,都有一个唯一的标识名。



容器或流中的Metadata标签识别成”FORMAT”,”STREAM”或”PROGRAM_STREAM”章节



3. 选项

如果没有特别的声明,所有的数字选项都可带一个表示数字的字符串,如’K’,’M’,’G’.



3.1 流指示符

很多选项可应用于每个流,如码率或codec.

流指示符用于明确指示给定的选项属于哪个流。



流指示符是跟在选项名后的字符串,由冒号分隔。

例如:

   -codec:a:1 ac3

它包含了 a:1 这个流指示符,用于匹配第二个音频流,因此,整个意思是选择AC3 codec来处理第二个音频流。



一个流指示符可以匹配多个流,因此选项也可以同时作用于它们。

例如,

   -b:a 128k     匹配所有的音频流;



空流指示符匹配所有流。

例如:

   -codec copy 或 -codec:copy  指示所有的流都不进行再编码;



流指示符的可能形式:

‘stream_index’ 使用索引号来匹配流;

例如:

   -threads:1 4 

将设置第二个流的线程数为4;



‘stream_type[:stream_index]’

stream_type可以是下列之一: 

‘v’  为视频;

‘a’  为音频;

‘s’  为子目录;

‘d’  为数据;

‘t’  为附录。

如果指定了stream_index,那么这些类型只能stream_index指定的流有效,否则,对所有的流起作用; 



‘p:program_id[:stream_index]’

如果指定了stream_index, 那么它只匹配id号为program_id的由stream_index指定的流,否则,匹配节目中的所有流。



‘#stream_id or i:stream_id’

匹配stream_id指定的流(如, MPEG-TS容器中的PID)



3.2 通用选项

这些选项可用于所有ff* 工具。

-L : Show license.

-h, -?, -help, –help [arg]

       显示帮助. 

       arg 的值可以是:

         ‘long’ , Print advanced tool options in addition to the basic tool options.

         ‘full’ , Print complete list of options, including shared and private options for encoders, 

                     decoders, demuxers, muxers, filters, etc.

decoder=decoder_name

       Print detailed information about the decoder named decoder_name. 

       Use the ‘-decoders’ option to get a list of all decoders.

encoder=encoder_name

       Print detailed information about the encoder named encoder_name. 

       Use the ‘-encoders’ option to get a list of all encoders.

demuxer=demuxer_name

       Print detailed information about the demuxer named demuxer_name. 

       Use the ‘-formats’ option to get a list of all demuxers and muxers.

muxer=muxer_name

       Print detailed information about the muxer named muxer_name. 

       Use the ‘-formats’ option to get a list of all muxers and demuxers.

filter=filter_name

       Print detailed information about the filter name filter_name. 

       Use the ‘-filters’ option to get a list of all filters.

-version :Show version.

-formats :Show available formats.

-codecs  :Show all codecs known to libavcodec.

       Note that the term ’codec’ is used throughout this documentation as a shortcut 

       for what is more correctly called a media bitstream format.

-decoders:Show available decoders.

-encoders:Show all available encoders.

-bsfs    :显示有效的流过滤器

-protocols:Show available protocols.

-filters :Show available libavfilter filters.

-pix_fmts:Show available pixel formats.

-sample_fmts:Show available sample formats.

-layouts:显示通道名和标准的通道布局

-colors :Show recognized color names.

-loglevel [repeat+]loglevel | -v [repeat+]loglevel

       设置库中的日志级别。

       “repeat+”表示不将重复的日志输出都放在第一行,并去掉”Last message repeated n times”行。

       如果“repeat”单独使用并没有更高的loglevel设置,则使用默认的级别;

       如果指定了多个loglevel的参数,使用’repeat’将不会改变loglevel。

       loglevel是一个数字或字符串,可以使用的值如下:

        ‘quiet’  Show nothing at all; be silent.

        ‘panic’  Only show fatal errors which could lead the process to crash,

                   such as and assert failure. This is not currently used for anything.

        ‘fatal’  Only show fatal errors. These are errors after which the process absolutely cannot continue after.

        ‘error’  Show all errors, including ones which can be recovered from.

        ‘warning’Show all warnings and errors. 

                   Any message related to possibly incorrect or unexpected events will be shown.

        ‘info’   Show informative messages during processing. This is in addition to warnings and errors. 

                   This is the default value.

        ‘verbose’Same as info, except more verbose.

        ‘debug’  Show everything, including debugging information.



默认的程序日志是输出到stderr, 如果终端支持颜色,则error和warning会标识成不同的颜色。



-report :导出所有命令行和控制台的输出到文件,文件位于当前路径,命名为program-YYYYMMDD-HHMMSS.log.

          这个文件可以用作bug报告,也样也使用-loglevel选项设置。

          设置环境变量FFREPORT成任意值有同样的效果。

        

Setting the environment variable FFREPORT to any value has the same effect. 

If the value is a ’:’-separated key=value sequence, these options will affect the report;

options values must be escaped if they contain special characters or the options delimiter ’:’ 

(see the “Quoting and escaping” section in the ffmpeg-utils manual). The following option is recognized:

file    :set the file name to use for the report; 

          %p is expanded to the name of the program, 

          %t is expanded to a timestamp, %% is expanded to a plain %

          Errors in parsing the environment variable are not fatal, and will not appear in the report.



-hide_banner :关闭版本声明输出.

          All FFmpeg tools will normally show a copyright notice, build options and library versions.

          This option can be used to suppress printing this information.



-cpuflags flags (global)

          Allows setting and clearing cpu flags. This option is intended for testing. 

          Do not use it unless you know what you’re doing.

          ffmpeg -cpuflags -sse+mmx …

          ffmpeg -cpuflags mmx …

          ffmpeg -cpuflags 0 …

          Possible flags for this option are:

          ‘x86’

          ‘mmx’

          ‘mmxext’

          ‘sse’

          ‘sse2’

          ‘sse2slow’

          ‘sse3’

          ‘sse3slow’

          ‘ssse3’

          ‘atom’

          ‘sse4.1’

          ‘sse4.2’

          ‘avx’

          ‘xop’

          ‘fma4’

          ‘3dnow’

          ‘3dnowext’

          ‘cmov’

          ‘ARM’

          ‘armv5te’

          ‘armv6’

          ‘armv6t2’

          ‘vfp’

          ‘vfpv3’

          ‘neon’

          ‘PowerPC’

          ‘altivec’

          ‘Specific Processors’

          ‘pentium2’

          ‘pentium3’

          ‘pentium4’

          ‘k6’

          ‘k62’

          ‘athlon’

          ‘athlonxp’

          ‘k8’

-opencl_bench: 基准测试所有openCL设备并显示结果. 

          This option is only available when FFmpeg has been compiled with –enable-opencl.



-opencl_options options (global):

          Set OpenCL environment options. This option is only available when FFmpeg has been compiled with –enable-opencl.

          options must be a list of key=value option pairs separated by ’:’.

          See the “OpenCL Options” section in the ffmpeg-utils manual for the list of supported options.



3.3 音视频选项

这些选项直接由libavformat, libavdevice和libavcodec库提供,它们可以分成两类:

generic : 这些选项可以用于设置所有容器,codec或设备。

          一般的选项都列在AVFormatContext容器/设备之下,并根据AVCodecContext中选择编解码器。

private : 这些选项用于设置指定的容器,设备和codec. 私有选项都列在它们对应的容器/设备/codec下。



例如:

写一个ID3v2.3头来代替默认的ID3v2.4头到一个MP3文件,使用MP3混合器的”id3v2_version”私有选项:

    ffmpeg -i input.flac -id3v2_version 3 out.mp3



所有AVOption选项可作用于每个流,因此使用流指示符来指示作用于特定流。

Note: the ‘-nooption’ syntax cannot be used for boolean AVOptions, use ‘-option 0’/‘-option 1’.

Note: the old undocumented way of specifying per-stream AVOptions by prepending v/a/s to the options name is now obsolete and will be removed soon.



3.4 主选项

-f format :Force format to use.

-unit     :Show the unit of the displayed values.

-prefix   :Use SI prefixes for the displayed values. 

            Unless the “-byte_binary_prefix” option is used all the prefixes are decimal.

-byte_binary_prefix

          :Force the use of binary prefixes for byte values.

-sexagesimal

          :Use sexagesimal format HH:MM:SS.MICROSECONDS for time values.

-pretty:Prettify the format of the displayed values, 

             it corresponds to the options “-unit -prefix -byte_binary_prefix -sexagesimal”.

-of, -print_format writer_name[=writer_options]

          :设置输出打印格式

            writer_name 指定写入器的名字,

            writer_options指定传输给写入器的选项

           For example for printing the output in JSON format, specify:

            -print_format json

           For more details on the available output printing formats, see the Writers section below.

-sections:Print sections structure and section information, and exit. The output is not meant to be parsed by a machine.

-select_streams stream_specifier:

           选择邮stream_sepcifier指定的流

           This option affects only the options related to streams (e.g. show_streams, show_packets, etc.).

           For example to show only audio streams, you can use the command:

              ffprobe -show_streams -select_streams a INPUT

           To show only video packets belonging to the video stream with index 1:

              ffprobe -show_packets -select_streams v:1 INPUT

-show_data: 显示负载数据, as a hexadecimal and ASCII dump.

             Coupled with ‘-show_packets’, it will dump the packets’ data. 

             Coupled with ‘-show_streams’, it will dump the codec extradata.

             The dump is printed as the “data” field. It may contain newlines.

show_error:显示出错信息

            The error information is printed within a section with name “ERROR”.

-show_format:显示容器格式信息

            All the container format information is printed within a section with name “FORMAT”.

-show_format_entry name

            Like ‘-show_format’, but only prints the specified entry of the container format information, 

            rather than all. This option  may be given more than once, then all specified entries will be shown.

            This option is deprecated, use show_entries instead.

-show_entries section_entries:Set list of entries to show.

            Entries are specified according to the following syntax. 

            section_entries contains a list of section entries separated by :. 





            Each section entry is composed by a section name (or unique name), 

            optionally followed by a list of entries local to that section, separated by ,.





If section name is specified but is followed by no =, all entries are printed to output, 

together with all the contained sections. Otherwise only the entries specified in the local section entries list are printed. In particular, if = is specified but the list of local entries is empty, then no entries will be shown for that section.





Note that the order of specification of the local section entries is not honored in the output, 

and the usual display order will be retained.

The formal syntax is given by:

LOCAL_SECTION_ENTRIES ::= SECTION_ENTRY_NAME[,LOCAL_SECTION_ENTRIES]

SECTION_ENTRY         ::= SECTION_NAME[=[LOCAL_SECTION_ENTRIES]]

SECTION_ENTRIES       ::= SECTION_ENTRY[:SECTION_ENTRIES]

For example, to show only the index and type of each stream, and the PTS time, duration time, and stream index of the packets, 





you can specify the argument:

  packet=pts_time,duration_time,stream_index : stream=index,codec_type

To show all the entries in the section “format”, but only the codec type in the section “stream”, specify the argument:

  format : stream=codec_type

To show all the tags in the stream and format sections:

  format_tags : format_tags

To show only the title tag (if available) in the stream sections:

  stream_tags=title





-show_packets:显示每个包信息

        The information for each single packet is printed within a dedicated section with name “PACKET”.

-show_frames :Show information about each frame and subtitle contained in the input multimedia stream.

        The information for each single frame is printed within a dedicated section with name “FRAME” or “SUBTITLE”.

-show_streams:Show information about each media stream contained in the input multimedia stream.

       Each media stream information is printed within a dedicated section with name “STREAM”.

-show_programs:

       Show information about programs and their streams contained in the input multimedia stream.

       Each media stream information is printed within a dedicated section with name “PROGRAM_STREAM”.

-show_chapters

       Show information about chapters stored in the format.

       Each chapter is printed within a dedicated section with name “CHAPTER”.

-count_frames

       Count the number of frames per stream and report it in the corresponding stream section.

-count_packets

       Count the number of packets per stream and report it in the corresponding stream section.

-read_intervals read_intervals

       Read only the specified intervals. 

       read_intervals must be a sequence of interval specifications separated by “,”. 

       ffprobe will seek to the interval starting point, and will continue reading from that.

       Each interval is specified by two optional parts, separated by “%”.





The first part specifies the interval start position. It is interpreted as an abolute position, 

or as a relative offset from the current position if it is preceded by the “+” character. 

If this first part is not specified, no seeking will be performed when reading this interval.





The second part specifies the interval end position. It is interpreted as an absolute position, 

or as a relative offset from the current position if it is preceded by the “+” character. 

If the offset specification starts with “#”, it is interpreted as the number of packets to read 

(not including the flushing packets) from the interval start. If no second part is specified, 

the program will read until the end of the input.





Note that seeking is not accurate, thus the actual interval start point may be different from the specified position. 

Also, when an interval duration is specified, the absolute end time will be computed by adding 

the duration to the interval start point found by seeking the file, rather than to the specified start value.





The formal syntax is given by:

INTERVAL  ::= [START|+START_OFFSET][%[END|+END_OFFSET]]

INTERVALS ::= INTERVAL[,INTERVALS]

A few examples follow.

Seek to time 10, read packets until 20 seconds after the found seek point, 

then seek to position 01:30 (1 minute and thirty seconds) and read packets until position 01:45.

    10%+20,01:30%01:45

Read only 42 packets after seeking to position 01:23: 

    01:23%+#42

Read only the first 20 seconds from the start:

    %+20

Read from the start until position 02:30: 

    %02:30





-show_private_data, -private

   Show private data, that is data depending on the format of the particular shown element. 

   This option is enabled by default, but you may need to disable it for specific uses, 

   for example when creating XSD-compliant XML output.

-show_program_version

   Show information related to program version.

   Version information is printed within a section with name “PROGRAM_VERSION”.

-show_library_versions

   Show information related to library versions.

   Version information for each library is printed within a section with name “LIBRARY_VERSION”.



-show_versions

   Show information related to program and library versions. 

   This is the equivalent of setting both ‘-show_program_version’ and ‘-show_library_versions’ options.



-bitexact

   Force bitexact output, useful to produce output which is not dependent on the specific build.



-i input_file

   读取input_file.



4. 写入器

写入器定义了ffprobe的输出格式,将用于打印所有输出

A writer may accept one or more arguments, which specify the options to adopt. 

The options are specified as a list of key=value pairs, separated by “:”.

All writers support the following options:

‘string_validation, sv’ Set string validation mode.

The following values are accepted.

‘fail’

   The writer will fail immediately in case an invalid string (UTF-8) sequence or code point is found in the input. 

   This is especially useful to validate input metadata.



‘ignore’

   Any validation error will be ignored. This will result in possibly broken output, especially with the json or xml writer.



‘replace’

   The writer will substitute invalid UTF-8 sequences or code points with the string specified with the 



‘string_validation_replacement’.

   Default value is ‘replace’.

‘string_validation_replacement, svr’

   Set replacement string to use in case ‘string_validation’ is set to ‘replace’.



In case the option is not specified, the writer will assume the empty string, that is it will remove the 

invalid sequences from the input strings.

A description of the currently available writers follows.



4.1 默认值 

默认格式 

Print each section in the form: 

   [SECTION]

   key1=val1

   …

   keyN=valN

   [/SECTION]

Metadata tags are printed as a line in the corresponding FORMAT, STREAM or PROGRAM_STREAM section, 

and are prefixed by the string “TAG:”.



A description of the accepted options follows.

‘nokey, nk’

   If set to 1 specify not to print the key of each field. Default value is 0.



‘noprint_wrappers, nw’

   If set to 1 specify not to print the section header and footer. Default value is 0.



4.2 compact, csv

Compact and CSV format.

The csv writer is equivalent to compact, but supports different defaults.

Each section is printed on a single line. If no option is specifid, the output has the form:

   section|key1=val1| … |keyN=valN

Metadata tags are printed in the corresponding “format” or “stream” section. 

A metadata tag key, if printed, is prefixed by the string “tag:”.



The description of the accepted options follows.



‘item_sep, s’

Specify the character to use for separating fields in the output line. It must be a single printable character, it is “|” by 



default (“,” for the csv writer).



‘nokey, nk’

If set to 1 specify not to print the key of each field. Its default value is 0 (1 for the csv writer).



‘escape, e’

Set the escape mode to use, default to “c” (“csv” for the csv writer).



It can assume one of the following values:



‘c’

Perform C-like escaping. Strings containing a newline (’\n’), carriage return (’\r’), a tab (’\t’), a form feed (’\f’), 

the escaping character (’\’) or the item separator character SEP are escaped using C-like fashioned escaping, so that a 

newline is converted to the sequence “\n”, a carriage return to “\r”, ’\’ to “\\” and the separator SEP is converted to 

“\SEP”.

‘csv’

Perform CSV-like escaping, as described in RFC4180. Strings containing a newline (’\n’), a carriage return (’\r’), a double 

quote (’”’), or SEP are enclosed in double-quotes.

‘none’

Perform no escaping.

‘print_section, p’

Print the section name at the begin of each line if the value is 1, disable it with value set to 0. Default value is 1.



4.3 flat

Flat format.

A free-form output where each line contains an explicit key=value, such as “streams.stream.3.tags.foo=bar”. The output is shell 

escaped, so it can be directly embedded in sh scripts as long as the separator character is an alphanumeric character or an 

underscore (see sep_char option).

The description of the accepted options follows.

‘sep_char, s’

Separator character used to separate the chapter, the section name, IDs and potential tags in the printed field key.

Default value is ’.’.

‘hierarchical, h’

Specify if the section name specification should be hierarchical. If set to 1, and if there is more than one section in the 

current chapter, the section name will be prefixed by the name of the chapter. A value of 0 will disable this behavior.

Default value is 1.



4.4 ini

INI format output.

Print output in an INI based format.

The following conventions are adopted:

all key and values are UTF-8

’.’ is the subgroup separator

newline, ’\t’, ’\f’, ’\b’ and the following characters are escaped

’\’ is the escape character

’#’ is the comment indicator

’=’ is the key/value separator

’:’ is not used but usually parsed as key/value separator

This writer accepts options as a list of key=value pairs, separated by “:”.

The description of the accepted options follows.

‘hierarchical, h’

Specify if the section name specification should be hierarchical. If set to 1, and if there is more than one section in the 

current chapter, the section name will be prefixed by the name of the chapter. A value of 0 will disable this behavior.

Default value is 1.



4.5 json

JSON based format.

Each section is printed using JSON notation.

The description of the accepted options follows.

‘compact, c’

If set to 1 enable compact output, that is each section will be printed on a single line. Default value is 0.

For more information about JSON, see http://www.json.org/.



4.6 xml

XML based format.

The XML output is described in the XML schema description file ‘ffprobe.xsd’ installed in the FFmpeg datadir.

An updated version of the schema can be retrieved at the url http://www.ffmpeg.org/schema/ffprobe.xsd, which redirects to the 

latest schema committed into the FFmpeg development source code tree.

Note that the output issued will be compliant to the ‘ffprobe.xsd’ schema only when no special global output options (‘unit

’, ‘prefix’, ‘byte_binary_prefix’, ‘sexagesimal’ etc.) are specified.

The description of the accepted options follows.

‘fully_qualified, q’

If set to 1 specify if the output should be fully qualified. Default value is 0. This is required for generating an XML file 

which can be validated through an XSD file.

‘xsd_compliant, x’

If set to 1 perform more checks for ensuring that the output is XSD compliant. Default value is 0. This option automatically 

sets ‘fully_qualified’ to 1.

For more information about the XML format, see http://www.w3.org/XML/.





5. 时间戳

ffprobe supports Timecode extraction:



MPEG1/2 timecode is extracted from the GOP, and is available in the video stream details 

(‘-show_streams’, see timecode).MOV timecode is extracted from tmcd track,

so is available in the tmcd stream metadata (‘-show_streams’, see TAG:timecode).

DV, GXF and AVI timecodes are available in format metadata (‘-show_format’, see TAG:timecode).

ffmpeg, ffplay, ffprobe用法

1. 使用ffmepg

将input.avi转码成output.ts,并设置视频的码率为640kbs

用法举例:ffmpeg -i input.avi -b:v 640k output.ts



详细使用说明(英文):http://ffmpeg.org/ffmpeg.html

将多张图片压缩成一个视频

[html] view plain copy

 print?在CODE上查看代码片派生到我的代码片

  1. ffmpeg -framerate 1/5 -i images2\%03d.png -c:v libx264 -r 30 -pix_fmt yuv420p out.mp4  

-framerate 1/5: 输入帧率为5秒,也就说一张图片,在压缩后的out.mp4中要显示5秒。

-i image\%03d.png: 表示输入图片的位置

-c:v libx264: 压缩算法

-r 30:表示输出图片的帧速率为 30帧/秒

-pix_fmt yuv420p:表示像素格式

out.mp4:输出的文件名(当前文件夹)

下面是我测试的过程:

我输入了8张jpg图片,可以在这里下载

压缩后生成的out.mp4文件格式为:

播放时间正好为40秒 = 8张图片 × 5秒/张

帧速率为: 30帧/秒

然后我又播放了一下这个out.mp4,测验的结果为:

[javascript] view plain copy

 print?在CODE上查看代码片派生到我的代码片

  1. Index: 1, packet’s size: 176396  
  2. Index: 2, packet’s size: 556  
  3. Index: 3, packet’s size: 115  
  4. Index: 4, packet’s size: 107  
  5. Index: 5, packet’s size: 116  
  6. //…  
  7. Index: 1198, packet’s size: 31  
  8. Index: 1199, packet’s size: 31  
  9. Index: 1200, packet’s size: 39  

说明一共有1200个Frame。计算一下,30帧/秒 × 40秒 = 1200帧,验证了。

参考:https://trac.ffmpeg.org/wiki/Create%20a%20video%20slideshow%20from%20images


2. 使用ffplay

详细使用说明(英文):http://ffmpeg.org/ffplay.html




3. 使用ffprobe

简介:用于查看文件格式的应用程序。

详细使用说明(英文):http://ffmpeg.org/ffprobe.html



先测试一个aac格式的音频文件(wavinflag.aac),结果如下:

[cpp] view plain copy

 print?在CODE上查看代码片派生到我的代码片

  1. hwh@Mountain:~/ffmpeg/ffmpeg-2.1.4/doc/examples$ ffprobe wavinflag.aac  
  2. ffprobe version 2.1.4 Copyright (c) 2007-2014 the FFmpeg developers  
  3.   built on Mar  7 2014 15:39:45 with gcc 4.7 (Ubuntu/Linaro 4.7.2-2ubuntu1)  
  4.   configuration:  
  5.   libavutil      52. 48.101 / 52. 48.101  
  6.   libavcodec     55. 39.101 / 55. 39.101  
  7.   libavformat    55. 19.104 / 55. 19.104  
  8.   libavdevice    55.  5.100 / 55.  5.100  
  9.   libavfilter     3. 90.100 /  3. 90.100  
  10.   libswscale      2.  5.101 /  2.  5.101  
  11.   libswresample   0. 17.104 /  0. 17.104  
  12. [aac @ 0xa55c820] Estimating duration from bitrate, this may be inaccurate  
  13. Input #0, aac, from ‘wavinflag.aac’:  
  14.   Duration: 00:03:51.27, bitrate: 122 kb/s  
  15.     Stream #0:0: Audio: aac, 44100 Hz, stereo, fltp, 122 kb/s  







aac:Advanced Audio Coding。一种专为声音数据设计的文件压缩格式,与Mp3不同,它采用了全新的算法进行编码,更加高效,具有更高的“性价比”。利用AAC格式,可使人感觉声音质量没有明显降低

的前提下,更加小巧。;

44100 Hz:表示一秒钟采样44100次即采样精度,常见的还有22050 Hz等。

stereo:表示立体声(就是有2个声道);

fltp:AV_SAMPLE_FMT_FLTP格式的数据( float, 4bit , planar);

122 kb/s:222kbps就是每秒钟有122k的信息量。码率越高,文件所含的信息量就越大,音质就越高。

播放时间(00:03:51.27):我们可以用“总播放时间=文件大小*8/比特率”粗略计算播放时间。

该文件大小为:3535748B

比特率为:122kb/s,即数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒。

那么播放时间 = (3235748 * 8)/122000 ~ 231秒。





再测试一个视频文件(start.avi),结果如下:

[cpp] view plain copy

 print?在CODE上查看代码片派生到我的代码片

  1. hwh@Mountain:~/ffmpeg/ffmpeg-2.1.4/doc/examples$ ffprobe start.avi  
  2. ffprobe version 2.1.4 Copyright (c) 2007-2014 the FFmpeg developers  
  3.   built on Mar  7 2014 15:39:45 with gcc 4.7 (Ubuntu/Linaro 4.7.2-2ubuntu1)  
  4.   configuration:  
  5.   libavutil      52. 48.101 / 52. 48.101  
  6.   libavcodec     55. 39.101 / 55. 39.101  
  7.   libavformat    55. 19.104 / 55. 19.104  
  8.   libavdevice    55.  5.100 / 55.  5.100  
  9.   libavfilter     3. 90.100 /  3. 90.100  
  10.   libswscale      2.  5.101 /  2.  5.101  
  11.   libswresample   0. 17.104 /  0. 17.104  
  12. [avi @ 0x9877820] non-interleaved AVI  
  13. Input #0, avi, from ‘start.avi’:  
  14.   Duration: 00:00:10.55, start: 0.000000, bitrate: 1838 kb/s  
  15.     Stream #0:0: Video: msvideo1 (CRAM / 0x4D415243), rgb555le, 352×288, 20 tbr, 20 tbn, 20 tbc  
  16.     Stream #0:1: Audio: mp3 (U[0][0][0] / 0x0055), 44100 Hz, stereo, s16p, 320 kb/s  







这里有2个流,视频流和音频流,音频流我们就略过了,直接看视频流。

msvideo1:表示微软是视频格式。

rgb555le:表示颜色标准,常见的还有yuv420p等。

352×288:视频尺寸。

tbr, tbn, tbc:25 tbr代表帧率;1200k tbn代表文件层(st)的时间精度,即1S=1200k,和duration相关;50 tbc代表视频层(st->codec)的时间精度,即1S=50,和strem->duration和时间戳相关

redis编译错误:Test replication partial resync: no backlog in tests/integration/replication-psync.tcl

下午配置一台centos服务器,编译redis, 运行make test 报了这样的一个错误:

!!! WARNING The following tests failed:
*** [err]: Test replication partial resync: ok psync (diskless: yes, reconnect: 1) in tests/integration/replication-psync.tcl
Expected condition ‘[s -1 sync_partial_ok] > 0’ to be true ([s -1 sync_partial_ok] > 0)
Cleanup: may take some time… OK
make[1]: *** [test] Error 1
make[1]: Leaving directory `/usr/local/src/redis-3.2.1/src’
make: *** [test] Error 2

■ 解决办法:

1,只用单核运行 make test:

taskset -c 1 sudo make test


2,更改 tests/integration/replication-psync.tcl 文件:

vi tests/integration/replication-psync.tcl

把对应报错的那段代码中的 after后面的数字,从100改成 500。我个人觉得,这个参数貌似是等待的毫秒数。


编辑文件tests/integration/replication-psync.tcl

然后找到after 100 把此值修改成200或者300。重新执行make test就可以了



same issue on

Linux sie 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt20-1+deb8u4 (2016-02-29) x86_64 GNU/Linux

was able to pass all tests ONLY when using single CPU core using:

taskset -c 0 sudo make test

is it OK to run the server anyway?

M3U8有啥好处 ?

网上搜索了一下,大家众说纷纭,个人理解主要是可以做多码率的适配,根据网络带宽,客户端会选择一个适合自己码率的文件进行播放,保证视频流的流畅。

在IOS device和mac上可以用http的方式进行分发,其中playlist标准为由m3u扩展而来的m3u8文件,媒体文件为MPEG2-TS或者AAC文件(audio only)。

m3u8文件有两种应用场景:

多码率适配流,

#EXTM3U

#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000

http://example.com/low.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2560000

http://example.com/mid.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=7680000

http://example.com/hi.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=65000,CODECS=”mp4a.40.5″

http://example.com/audio-only.m3u8

单码率适配流

#EXTM3U

#EXT-X-TARGETDURATION:5220

#EXTINF:5220,

http://media.example.com/entire.ts

#EXT-X-ENDLIST



国际标准组织对此的定义 rfc doc:

http://tools.ietf.org/html/draft-pantos-http-live-streaming-06

m3u8 文件是m3u文件的扩展。在该rfc中定义了扩展的关键字:

其中:

#EXT-X-TARGETDURATION

定义每个TS的最大的duration。

#EXT-X-MEDIA-SEQUENCE

定义当前m3u8文件中第一个文件的序列号,每个ts文件在m3u8文件中都有固定唯一的序列号,该序列号用于在MBR时切换码率进行对齐。

#EXT-X-KEY

定义加密方式和key文件的url,用于取得16bytes的key文件解码ts文件。

属性:

METHOD

URL

#EXT-X-PROGRAM-DATE-TIME

第一个文件的绝对时间

#EXT-X-ALLOW-CACHE

是否允许cache。

#EXT-X-ENDLIST

表明m3u8文件的结束。live m3u8没有该tag。

#EXT-X-STREAM-INF

属性:

BANDWIDTH              指定码率

PROGRAM-ID            唯一ID

CODECS                    指定流的编码类型

#EXT-X-DISCONTINUITY

当遇到该tag的时候说明以下属性发生了变化:

file format 

number and type of tracks

encoding parameters

encoding sequence

timestamp sequence

#EXT-X-VERSION             该属性用不用都可以,可以没有





M3U8分顶级M3U8和二级M3U8, 顶级M3U8主要是做多码率适配的, 二级M3U8才是真正的切片文件,

客户端默认会首先选择码率最高的请求,如果发现码率达不到,会请求郊低码率的流

一个实际使用中的顶级M3U8文件如下 :

#EXTM3U

#EXT-X-STREAM-INF:PROGRAM-ID=201273221265,BANDWIDTH=358400

11.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=201273221265,BANDWIDTH=972800

22.m3u8



上面顶级M3U8文件中又定义了 11.m3u8 和 22.m3u8 两个二级文件,客户端会选择其中一个获取其内容。

二级M3U8文件内容如下:



#EXTM3U

#EXT-X-VERSION:1

#EXT-X-TARGETDURATION:10

#EXT-X-MEDIA-SEQUENCE:0

#EXTINF:3,

1-4.ts

#EXTINF:8,

1-6.ts

#EXTINF:8,

1-8.ts

#EXTINF:8,

1-10.ts

#EXTINF:8,

1-12.ts

#EXTINF:8,

1-14.ts

#EXTINF:8,

1-16.ts

#EXTINF:9,

1-18.ts

#EXTINF:6,

1-20.ts

#EXTINF:8,

1-22.ts

#EXTINF:9,

1-24.ts

#EXTINF:3,

1-26.ts

#EXT-X-ENDLIST



客户端拿到上面的二级M3U8文件后,会继续请求里面的文件,这时就可进行播放了。

上面讲解的是点播的情况,直播的情况,M3U8文件里面会有属性告诉是直播,客户端会定时来请求新的M3U8文件。

流媒体开发之–HLS–M3U8解析(2): HLS草案

目录

1 简介 2

2 概述 2

3 播放列表文件 3

3.1 介绍 3

3.2新标签 4

3.2.1 EXT-X-TARGETDURATION 4

3.2.2 EXT-X-MEDIA-SEQUENCE 4

3.2.3 EXT-X-KEY 4

3.2.4 EXT-X-PROGRAM-DATE-TIME 5

3.2.5 EXT-X-ALLOW-CATCH 5

3.2.6 EXT-X-ENDLIST 5

3.2.7 EXT-X-STREAM-INF 5

3.2.8 EXT-X-DISCONTINUITY 6

3.2.9 EXT-X-VERSION 6

4 多媒体文件 7

5 密钥文件 7

5.1 介绍 7

5.2  IV FOR AES-128 7

6 客户端/服务器行为 8

6.1 介绍 8

6.2 服务器进程 8

6.2.1介绍 8

6.2.2 滑动窗口播放列表 9

6.2.3 加密媒体文件 9

6.2.4 提供变种数据流 10

6.3 客户端进程 10

6.2.1 介绍 10

6.2.2 加载播放列表文件 11

6.2.3播放播放列表文件 11

6.2.4重新载入播放列表文件 11

6.2.5 确定下一个要加载的文件 12

6.2.6 解密经加密的媒体文件 12

7 协议版本的兼容性 12

8 例子 12

8.1 简单的播放列表文件 12

8.2 滑动窗口播放列表,使用https 13

8.3 加密的媒体文件与播放列表文件 13

8.4 变种的播放列表文件 13

 
 

1简介

本文档介绍了通过HTTP传输极大的多媒体数据流的协议[RFC2616]。该协议支持媒体数据的加密,并提供流的备用版本(如比特率)。媒体数据可以在创建后被很快地传输,允许它在近实时被接收。

在第11章中列出了,如HTTP的,描述相关标准的外部引用。

 

2概述

多媒体演示文稿是由播放列表文件中的URI指定的,播放列表是一个由uri和信息标签组成的有序列表。每一个URI都关联了一个媒体文件,该媒体文件是一个连续数据流的一个分片。
为了播放数据流,客户端首先获取播放列表文件,然后获取并播放列表中的每一个媒体文件。正如本文档所描述的那样,它通过重载播放列表文件来发现其他新增的分片。
文档中的关键词“必须”“不准”,“需要”“应该”“不应该”“推荐”“可以”“可选”等见RFC2119
 

3播放列表文件

3.1介绍

播放列表必须是扩展的M3U文件,该文档通过定义新的标签扩展了m3u文件的格式。M3U播放列表是一个文本文件,它包含了各自独立的行,行以一个LF字符或者LF字符紧跟一个CR字符来结束。行可以是一个URI,空行,或者以字符#开头。空行将会被忽略。空格只能作为一行中不同元素间的分隔。

一个URI 表示一个媒体文件或是变种播放列表文件(见3.2.7)

    URI可以是相对的,一个相对的URI必须被包含该URI的播放列表文件中的URI所解析。

以注释字符#开头的行可能是注释或者标签,标签以#EXT开头,其他所有行都应该被忽略。播放列表文件的持续时间是他所指向的媒体文件的时长的总和。

.M3U8作为文件名后缀或者HTTPContent-Type(RFC2616)为“Application/vnd.apple.mpegurl”的M3U播放列表文件使用UTF-8(RFC3629)编码。以.M3U作为文件名后缀或者HTTPContent-Type为“audio/mpegurl”的M3U播放列表文件使用US-ASCII编码。

播放列表文件名必须以.M3U8为后缀、HTTPContent-Type为“Application/vnd.apple.mpegurl”(如果使用http传输)或者以.M3U为后缀、HTTPContent-Type为“audio/mpegurl”。

扩展的M3U文件格式定义了两种标签:EXTM3U和EXTINF。区分扩展的M3U文件与普通M3U文件的关键在于前者的首行为#EXTM3U。

EXTINF是一个记录标记,该标记描述了后边URI所指定的媒体文件。每个媒体文件URI前边必须有EXTINF标签。格式如下:

#EXTINF: <DURATION>,<TITLE>

DURATION是一个整数,它指定了媒体文件以秒为单位的持续时间,时间应四舍五入到最接近的整数。行内逗号后边的剩余部分是媒体文件的名字,该名字是媒体分片的人眼可读的信息标题。

该文档定义了如下的新标签:EXT-X-TARGETDURATION,EXT-X-MEDIA-SEQUENCE,EXT-X-KEY,EXT-X-PROGRAM-DATE-TIME,EXT-X-ALLOW-CATCH,EXT-X-ENDLIST,EXT-X-STREAM-INF,EXT-X-DISCONTINUITY,EXT-X-VERSION

 

3.2新标签

3.2.1      EXT-X-TARGETDURATION

该标签指定了媒体文件持续时间的最大值,播放文件列表中的媒体文件在EXTINF标签中定义的持续时间必须小于或者等于该标签指定的持续时间。该标签在播放列表文件中必须出现一次,其格式为:
# EXT-X-TARGETDURATION:<s>
S是一个以秒为单位的整数。

3.2.2      EXT-X-MEDIA-SEQUENCE

播放列表文件中每个媒体文件的URI都有一个唯一的序列号。URI的序列号等于它之前那个RUI的序列号加一。EXT-X-MEDIA-SEQUENCE指明了出现在播放列表文件中的第一个URI的序列号。其格式如下:
#EXT-X-MEDIA-SEQUENCE:<Number>
播放列表文件中的EXT-X-MEDIA-SEQUENCE标签不能多于一个。如果播放列表文件中没有EXT-X-MEDIA-SEQUENCE标签,那么将会把播放列表中第一个URI的序列号当成0。
媒体文件的序列号码不是必须出现在它的URI中的。见6.3.2和6.3.5。

3.2.3      EXT-X-KEY

媒体文件可能是被加密的,EXT-X-KEY提供了解密媒体文件的必要信息,它的格式如下:
#EXT-X-KEY:METHOD=<method> [,URI = “<uri>”] [,IV = <iv>]
Method属性指定了加密方法,定义了两种加密方法:NONE和AES-128。
加密方法NONE表示媒体文件不被加密,如果加密方法是NONE,那么URI和IV属性不允许存在。
加密方法AES-128表示媒体文件使用高级加密标准128位密钥和PKCS7 padding加密。如果加密方法是AES-128,那么对于URI属性,如果存在,则指定获取密钥的方法;对于IV属性,如果存在,则指定使用密钥的初始化向量。
IV属性出现在协议版本2中,新的EXT-X-KEY将会取代任何一个先前的EXT-X-KEY。
如果播放列表文件没有包含EXT-X-KEY标签,那么媒体文件将不会被加密。
密钥文件的格式见第五章,媒体文件加密信息见5.2、6.2.3、6.3.6。

3.2.4      EXT-X-PROGRAM-DATE-TIME

EXT-X-PROGRAM-DATE-TIME标签将下一个媒体文件的开头和绝对日期关联起来。日期/时间的表示基于ISO/IEC,并且要指明时区。例如:
#EXT-X-PROGRAM-DATE-TIME:<YYYY–MM–DDThh:mm:ssZ>
详见6.2.1和6.3.3

3.2.5      EXT-X-ALLOW-CATCH

EXT-X-ALLOW-CATCH标签指定客户端可以或者不准缓存下载的媒体文件用来重播。它可能会出现在播放列表文件的任何地方,但是不能出现两次或以上。该标签适用于播放列表中的所有分片。其格式如下:
#EXT-X-ALLOW-CACHE:<YES|NO>
详见6.3.3

3.2.6      EXT-X-ENDLIST

    EXT-X-ENDLIST标签标示没有更多媒体文件将会加入到播放列表中,它可能会出现在播放列表文件的任何地方,但是不能出现两次或以上。其格式如下:

#EXT-X-ENDLIST

3.2.7      EXT-X-STREAM-INF

     EXT-X-STREAM-INF标签表示在播放列表中的下一个URI标识另一个播放列表文件。格式如下:

#EXT-X-STREAM-INF:[attribute=value][,attribute=value]* <URI>

在一个EXT-X-STREAM-INF标签中attribute不能出现两次或以上。其它属性定义:
BANDWIDTH = <n>
n为每秒比特数,它必须是每个媒体文件比特速率的上限,必须经过计算包含那些在播放列表中出现的或者将要出现的容器开销。
PROGRAM-ID=<i>
i是一个数字,在播放列表文件的范围内唯一的标识了一个特定的演示文稿。
    一个播放列表文件可能包含多个具有相同PROGRAM-ID 的EXT-X-STREAM-INF标签来标识某个演示文稿的不同编码。这些变种的的播放列表可能包含额外的EXT-X-STREAM-INF标签。
 
CODECS="[format][,format]*"
 
每一种格式都指定了存在于媒体文件中的媒体类型。合法的格式标示符都是那些在ISO文件格式名称空间被RFC4281定义的格式。
RESOLUTION=<N>x<M>
 
N是流中视频水平编码分辨率的近似,以像素数表示,M是编码垂直分辨率的近似。

3.2.8      EXT-X-DISCONTINUITY

     EXT-X-DISCONTINUITY标签表示该标签后边的媒体文件和之前的媒体文件之间的编码间断。特性可能改变的一组是:
file format
number and type of tracks
encoding parameters
encoding sequence
详见第四章,6.2.1、6.3.3。
 
 

3.2.9      EXT-X-VERSION

EXT-X-VERSION标签指出了播放列表版本的适应性。播放列表文件、其关联的媒体和服务器必须遵守最新版本的所有规定。
 
 

4多媒体文件

每一个媒体文件资源定位符都必须标识一个媒体文件,该文件是整体数据的一个分片。每个媒体文件必须按照MPEG-2的传输流和MPEG-2音频流的格式。[ISO13818]
传输流文件必须包含一个MPEG-2节目。在每个文件的开始应该有一个节目关联表和一个节目映射表。包含视频的文件应该有至少一个密钥帧和足够的信息来完全初始化一个视频解码器。
播放列表中的媒体文件必须是编码流中媒体文件的末尾与先前的序列号的延续,除非它是播放列表中出现的第一个媒体文件,或者它前边有EXT-X-DISCONTINUITY标签。
客户端应该准备好处理一个特定类型(音频或视频等)的多个轨道。一个没有优先级的客户端应该选择它能播放的具有最小数字编号的音轨。
客户端应该忽略那些传输流的内部不能识别的流。
媒体文件内样本流和相应的多媒体流的编码参数应保持一致。然而客户端应该解决编码的变化问题,例如缩放视频内容以适应分辨率改变。

5密钥文件

5.1介绍

    URI属性中EXT-X-KEY标签标识一个密钥文件。密钥文件包含解密播放列表中媒体文件的密钥。AES-128加密算法使用16字节的密钥。密钥文件的格式为16字节的二进制数数组。

5.2  IV FOR AES-128

128位AES在加密和解密的时候需要提供一个相同的16字节的初始化向量(IV),变换IV可以提高密钥的健壮性。
如果EXT-X-KEY标签有IV属性,在使用密钥加密或者解密的时候必须使用此属性值作为IV。这个值必须被解释为128位的16进制数,而且必须有前缀0x。
    如果EXT-X-KEY标签没有IV属性,在加密或者解密媒体文件的时候必须使用序列号作为IV值。大端二进制表示的序列号应该放置在16字节的缓冲区中且左边补0。

6客户端/服务器行为

6.1介绍

本章介绍服务器怎样产生播放列表和媒体文件以及客户端怎样下载并播放。

6.2服务器进程

6.2.1介绍

MPEG-2数据流的产生超过了本文档的范围,本文档仅仅假设有一个数据流连续的源。
服务器必须将数据流分割成持续时间大致相等的媒体文件,服务器应该尝试点分割流来支持对个别媒体文件的有效解码,例如包和关键帧的边界。
服务器必须为媒体文件创建URI,允许它的客户端能够获取到文件。
服务器必须创建播放列表。播放列表必须符合第三章描述的格式。服务器要提供的媒体文件的URI必须按顺序出现在播放列表中。如果URI出现在了播放列表中,那么这个媒体文件对于客户端必须是可用的。
播放列表文件必须包含一个EXT-X-TARGRTDURATION标签,它必须指明添加到播放列表中媒体文件的最大EXTINF值。整个演示文稿期间,这个值必须保持不变。典型持续时间为10s。
播放列表文件应该包含EXT-X-VERSION标签来说明流对于版本的兼容性。它的值应该是服务器、播放列表文件和其所关联的媒体文件都能执行的最低协议版本。
如果播放列表文件通过HTTP传输,那么服务器应该支持客户端请求使用gzip内容编码。
从客户端的角度来看,播放列表文件的变更必须是自动的。
服务器不可以改变EXT-X-ALLOW-CATCH的值。
播放列表中每个媒体文件的URI必须以EXTINF作为前缀来说明媒体文件的持续时间。
服务器可以将媒体文件和绝对的日期和时间关联起来,只要在它的URI前缀上一个EXT-X-PROGRAM-DATE-TIME标签。日期和时间的值提供了一个媒体时间表到挂钟时间的信息映射,该挂钟时间可以作为搜索、显示或其他目的的基准。
如果服务器提供了这个映射,那么它应该在每个EXT-X-DISCONTINUITY标签的后边加一个EXT-X-PROGRAM-DATE-TIME标签。
如果播放列表文件包含演示文稿的最后一个分片,那么应该加一个EXT-X-ENDLIST标签。
如果播放列表文件没有包含EXT-X-ENDLIST标签,那么服务器应该使一个新版本的播放列表文件可用,并至少包含一个媒体文件的URI。新的播放列表文件必须与前一个播放列表文件在相对的时间内有效:从上一个播放列表文件开始有效的时间算起,不早于0.5倍持续时间,不晚于1.5倍持续时间。//不太清楚可用是什么意思?
如果服务器期望移除演示文稿,它必须使播放列表文件对于客户端不可用,在播放列表被清除时,它应该确保播放列表文件中的所有媒体文件对于客户端来说至少在一个播放列表文件持续时间内是可用的。

6.2.2滑动窗口播放列表

服务器可以限制最近一段时间添加到播放列表文件中的媒体文件的可用性,为了达到这个目的,播放列表文件必须包含准确的EXT-X-MEDIA-SEQUENCE标签。标签的值是按照从播放列表中移除的媒体文件的URI递增的。
媒体文件的URI必须按照其加入的顺序移除。当服务器从播放列表移除URI时,媒体文件在一段时间内必须保持可用,该时间等于媒体文件的时间加上包含该媒体文件的最长播放列表文件的时间。
当媒体文件通过http传输给客户端后,如果服务器打算移除该文件,那么它应该确保http响应头包含反应生存时间的过期头。
那些不包含EXT-X-ENDLIST标签的播放列表文件的持续时间必须至少三倍于targrtdutration。//为什么是三倍?

6.2.3加密媒体文件

如果媒体文件需要被加密,那么服务器必须定义一个URI来允许被授权的客户端获取包含解密密钥的密钥文件。密钥文件必须符合第五章描述的格式。服务器可以在密钥响应中设置超时头来表名密钥可以被缓存。
如果采用AES-128加密算法,那么AES-128 CBC加密模式应该适应于每一个媒体文件。整个文件必须是加密的。密码块的连接不能用于跨媒体文件。用于解密的初始化向量必须是媒体文件的序列号或者EXT-X-KEY标签的IV属性的值。服务器必须使用这种加密算法和其他由紧随在播放列表文件中URI后边的EXT-X-KEY标签所指定的属性来加密播放列表文件中的每一个媒体文件。EXT-X-KEY标签中方法为none或者没有EXT-X-KEY标签的媒体文件不能被加密。
    如果播放列表文件包含了一个经过加密的媒体文件的URI,那么服务器不可以将EXT-X-KEY标签从播放列表文件中移除。

6.2.4提供变种数据流

服务器可以提供多个播放列表文件来支持对同一个演示文稿的不同编码。提供变种播放列表文件列出每一个变种流,从而使得客户端可以在不同编码之间动态切换。
变种播放列表文件必须为每一个变种流包含一个EXT-X-STREAM-INF标签。同一演示文稿的每个EXT-X-STREAM-INF都必须有相同的programid。每个演示文稿的programid在变种播放列表内必须是唯一的。
如果EXT-X-STREAM-INF标签包含CODECS属性,则属性值必须包含RFC4281定义的所有格式,
 
服务器在生成变种流的时候必须遵守以下规则:
1)每一个变种流必须呈现相同的内容,包括流的间断性。
2)每个变种播放列表文件必须有相同的target duration。
3)只在个别变种播放列表文件中出现的内容必须放在列表文件的头或者尾,且不能超过target duration。
4)变种流内匹配内容,必须有匹配时间戳。这可以使客户端同步流。
5)基本音频流文件必须在文件中第一个样本的采样信号的时间戳前预先准备一个ID3 PRIV标签,标签的所有者标示符为“com.apple.streaming.transportStreamTimestamp”。二进制数据必须是33位的基本时间戳,用8字节的数字表示。
 
另外,所有的变种流都应该包含相同编码的音频二进制流。这使得客户端在不同的流之间切换时没有毛刺声音。//什么事毛刺声音?

6.3客户端进程

6.3.1介绍

客户端怎样获取播放列表中的URI不在本文档的范围之内,我们假设已经获取到了URI。

6.3.2加载播放列表文件

每一次加载或者重载播放列表文件时:
客户端必须保证播放列表文件以EXTM3U标签开头,并且如果协议版本号存在,客户端必须支持该版本。否则,客户端不可以试图使用该列表文件。
客户端可以忽略它不能识别的标签和属性。
如果播放列表文件包含了EXT-X-MEDIA-SEQUENCE标签,那么客户端会假设在播放列表被加载的时间内以及播放列表的持续时间内媒体文件将变得不可用。播放列表的持续时间等于其中包含的媒体文件时长的总和。//为啥假设不可用?

6.3.3播放播放列表文件

当开始播放的时候,客户端首先从播放列表中选择要播放的媒体文件。如果不存在EXT-X-ENDLIST标签,并且客户端想正常播放媒体(按顺序以标准速率播放),那么客户端就不应该从播放列表文件尾部选择少于三个target duration的媒体文件。
为了达到正常播放的目的,媒体文件必须按照他们在播放列表中的顺序播放。客户端还可以用其他任何方式播放,比如顺序播放,随机播放,特效播放等。
对于存在EXT-X-DISCONTINUITY标签的媒体文件,在播放之前客户端必须准备好重置分析和解码器。
为了不间断播放,应该提前载入媒体文件,以补偿延时和吞吐量的变化。
如果播放列表文件包含了EXT-X-ALLOW-CATCH标签,并且它的值为NO,那么客户端在播放以后不可以缓存媒体文件。否则允许缓存用来以后重播。
客户端可以使用EXT-X-PROGRAM-DATE-TIME标签来为用户显示节目的起始时间。如果这个值包含了时区信息,那么客户端应该考虑到这点;如果不包含,那么客户端不可以推测时区。
客户端不能依靠EXT-X-ALLOW-CATCH标签值的正确性和一致性。

6.3.4重新载入播放列表文件

客户端必须阶段性的重新载入播放列表文件,除非文件包含了EXT-X-ENDLIST标签。然而也不能过于频繁的载入。
当客户端第一次载入播放列表文件或者已经载入但是发现文件与上次载入的时候有了变化,客户端都必须等待一段时间在可以再次载入。这段时间被称为原始最小重载延迟,它是从客户端开始载入一个播放列表文件开始计算的。
原始最小重载延迟是播放列表文件中最后一个媒体文件的持续时间。媒体文件的持续时间由EXTINF标签来指定。
如果客户端重载了一个播放列表文件,但是发现文件并没有变化,那么它在重试之前必须等一段时间。最小延迟是target duration的倍数。第一次是0.5倍,第二次1.5倍,3倍。。。

6.3.5确定下一个要加载的文件

当播放列表文件被载入或者重载以后,客户端必须检查播放列表来确定要载入的媒体文件。要载入的第一个文件必须是客户端要播放的第一个文件,见6.3.3。
    如果要播放的文件已经被载入,并且播放列表文件不包含EXT-X-MEDIA-SEQUENCE标签,那么客户端必须确认播放列表文件包含了最后一个被载入的媒体文件的URI,如果不包含,则暂停播放。要载入的下一个媒体文件必须是上一次载入的媒体文件URI之后的第一个媒体文件的URI。
    如果要播放的文件已经被载入,并且播放列表文件包含EXT-X-MEDIA-SEQUENCE标签,那么要载入的下一个媒体文件就是比上一次载入的文件的序列号大的媒体文件中的序列号最小者。

6.3.6解密经加密的媒体文件

如果播放列表文件包含了一个指定密钥文件URI的EXT-X-KEY标签,客户端必须获取密钥文件,并使用其中的密钥来解密KEY标签之后的所有媒体文件,直到遇到另一个EXT-X-KEY标签为止。

7协议版本的兼容性

客户端和服务器必须使用版本2以及更高版本。
 
 

8例子

8.1简单的播放列表文件

#EXTM3U

#EXT-X-TARGETDURATION:5220

#EXTINF:5220,

http://media.example.com/entire.ts

#EXT-X-ENDLIST

 

8.2滑动窗口播放列表,使用https

#EXTM3U

#EXT-X-TARGETDURATION:8

#EXT-X-MEDIA-SEQUENCE:2680

#EXTINF:8,

https://priv.example.com/fileSequence2680.ts

#EXTINF:8,

https://priv.example.com/fileSequence2681.ts

#EXTINF:8,

https://priv.example.com/fileSequence2682.ts
 

8.3加密的媒体文件与播放列表文件

#EXTM3U

#EXT-X-MEDIA-SEQUENCE:7794

#EXT-X-TARGETDURATION:15

#EXT-X-KEY:METHOD=AES-128,URI=”https://priv.example.com/key.php?r=52″

#EXTINF:15,

http://media.example.com/fileSequence52-1.ts

#EXTINF:15,

http://media.example.com/fileSequence52-2.ts

#EXTINF:15,

http://media.example.com/fileSequence52-3.ts

#EXT-X-KEY:METHOD=AES-128,URI=”https://priv.example.com/key.php?r=53″

#EXTINF:15,

http://media.example.com/fileSequence53-1.ts

变种的播放列表文件

#EXTM3U

#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000

http://example.com/low.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2560000

http://example.com/mid.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=7680000

http://example.com/hi.m3u8

#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=65000,CODECS=”mp4a.40.5″

http://example.com/audio-only.m3u8

重磅:广电总局祭出牌照大旗,直播行业即将洗牌,面临生死大考

摘要:广电总局要求直播须持有视听许可证,否则不得开展业务。视听直播行业该应当引起非常重视,因为这样的监管信号比之以往更为强烈,如果再不加以重视,直播平台将终矣。

近日,国家新闻出版广电总局下发《关于加强网络视听节目直播服务管理有关问题的通知》,重申相关规定,要求网络视听节目直播机构依法开展直播服务。

通知要求的核心在于:未持有《信息网络传播视听节目许可证》的机构和个人,不得通过互联网直播间以个人网络演艺形式开展直播业务,也不得利用网络直播平台(直播间)开办新闻、综艺、体育、访谈、评论等各类视听节目。未经批准,任何机构和个人不得在互联网上使用“电视台”、“广播电台”、“电台”、“TV”等广播电视专有名称开展业务。

1.直播行业大限已至?

狼来了”喊了无数遍后,广电总局这次是真的下决心要整顿视听直播行业了,毕竟截止今年4月,广电总局就已然进行了25轮行业专项整治。我们如果仔细观察,其实也不难发现在整个互联网行业下,近期各主管部门纷纷出台规定,针对各类互联网模式加重监管要求,并导致多个行业领域面临生死大考。P2P网络借贷行业在《网络借贷信息中介机构业务活动管理暂行办法》出台后,97%以上的P2P平台都面临淘汰;网约专车行业在《网络预约出租汽车经营服务管理暂行办法》颁出后,各网约车平台即面临重大变革;跨境电商行业在海关总署的税收新政后变得惴惴不案,但还好获得暂缓一年的转型机会。

2015-2016年,在《网络安全法立》法大趋势下,互联网行业内各领域都加速了洗牌的节奏,这也是近些年互联网行业乱象丛生背后的监管之义。2016年被称为网络直播元年,但是视听直播行业却长期一直处于风口浪尖之中,不论是业内的不正当竞争,例如今年刚判决的电竞直播第一案,还是直播领域内的低俗秀场表演,都让人感觉这简直就是一个无法无天的领域。

如果对广电总局的多轮视听节目整治有所观察,我们会发现广电总局此次使用了最为简洁明了的语言,直接针对视听直播,要求其持有《信息网络传播视听节目许可证》,其实真可谓不多见,甚至说是前所未有,这更与往常只打击低俗内容,以及以混沌不清的官方法律字眼表述直播节目和视听许可证之间的关系并不相同。所以,我们认为视听直播行业该应当引起非常重视,因为这样的监管信号比之以往更为强烈,如果再不加以重视,直播平台将终矣。

2.视听直播行业持证现状观察

根据艾瑞咨询《2016年中国在线直播行业专题研究》显示,2015年中国在线直播平台数量接近200家。而网络资料显示,截至2016年初,获取《信息网络传播视听节目许可证号的平台》数量为332家,而其中“广播电视、电台”类传统媒体持证机构为91家,报社类持证机构为35家,新闻类机构为15家,以及我们所知道的优酷、乐视等老牌视频节目服务商。稍加观察即可发现,持证单位主要还是分布在国有封闭型广播电视传媒行业内,纯互联网新兴商业体下其实并不普遍,特别是垂直直播领域内单位几乎可以忽略不计。

先来看一下图表。以下是2016年4月,互联网法律匠公众平台(MCLAWMAN)所做的统计图表《视听商业模式准入证照聚合图表》:

QQ截图20160912154007.jpg

 

这张图表将目前主流的互联网视频创业分类为综合视频、音乐、电台、直播及短视频这几类。从图上可以看出,和互联网视频创业相关的许可证照主要包括信息网络传播视听节目许可证、广播电视节目制作经营许可证、网络文化经营许可证、互联网新闻信息服务许可证、互联网出版许可证及出版物经营许可证这几个大类。可以看到,持有信息网络传播视听节目许可证》的单位也主要分布于视频点播类平台,而不是垂直视频直播类平台,这与视频点播类明确需要视听许可证之监管规则不无关系。

再细一步,观察直播领域,目前商业模式主要分类为秀场直播、游戏电竞直播、电商类直播、社交类直播、活动分享类直播、弹幕类直播等,在各类不同的直播模式下,持证情况也各不相同,但总体上绝大部分直播平台,不论是PC端,还是移动端,均没有办理《信息网络传播视听节目许可证》,照这样的模式下去,包括新浪直播、斗鱼直播、网易直播、脉脉职播等都将不能继续从事直播业务了。

QQ截图20160912153938.jpg

 

3.博弈:《视听许可证》和《网络文化许可证》

长期以来,基于秀场直播以及游戏电竞类直播而兴起的互联网直播行业,一直将自己的商业模式定位于“网络表演”,而非视听节目,这也导致绝大部分直播平台转而向各地文化主管单位申办《网络文化经营许可证》,即“文网文证”,而不向广电系统申办视听许可证的直接原因。这点其实一直令行业普遍感到非常困惑,连很多行业从业者也不太了解两个证照之间的区别。只取得文网文证就开展直播业务,这到底有没有法律依据?答案很可惜:没有!

根据文化部《互联网文化管理暂行规定》规定,“互联网文化产品”均需办理《网络文化经营许可证》,而“互联网文化产品”包括“专门为互联网而生产的网络音乐娱乐、网络游戏、网络演出剧(节)目、网络表演、网络艺术品、网络动漫等互联网文化产品”,其中就包括网络表演。而互联网文化活动也包括“将文化产品登载在互联网上……供用户浏览、欣赏、使用或者下载的在线传播行为”。

再看,2008年开始实施的《互联网视听节目服务管理规定》规定“互联网视听节目服务,是指制作、编辑、集成并通过互联网向公众提供视音频节目,以及为他人提供上载传播视听节目服务的活动”,顾名思义,凡是通过互联网向公众提供视频和音频节目的,都必须办理该视听许可证。

而当我们比较以上两个规定时,几乎所有正常人都看不出网络视频节目到底该办哪个证,还是两个都要办。但依据《互联网视听节目服务管理规定》,不论是直播还是点播,都必须办理视听许可证,毕竟我们仍应当看到,很多直播平台也不是纯直播,其在直播后也可以提供回看的点播功能。同时,我们在《互联网视听节目服务业务分类目录》中也看到第二大类中第7项视听许可为“一般社会性、团体性文化活动、体育赛事等向公众进行实况视音频直播的服务”,即包括直播业务。

而为什么很多平台只申请了文网文证就宣告万事大吉了呢,主要原因还在于“自我催眠”,或者说是自欺欺人,毕竟这些平台基本都是拿不到视听许可证的,所以只能寻求文网文证的庇护,加上主管部门总是没来查处,所以更加有恃无恐了。

关键问题来了,为什么说基本都是拿不到视听许可证的?根据目前法规,办理《信息网络传播视听节目许可证》的第一项要求就是申办单位“为国有独资或国有控股单位”意思就是说,不好意思,事况重大,只有我们国有单位才能办证,一般小单位就算了别来凑热闹了,是不是就有点傻眼了。而且非控股的非公有资本如果想来投资,你们之间不得有关联关系——你们别想联合起来。反观办理文网文证,其要求就没有这么苛刻了,目前来看最大的实质性“障碍”是“不低于100万元的注册资金,其中申请从事网络游戏经营活动的应当具备不低于1000万元的注册资金”的要求,这对于动则进入ABCDE轮融资的互联网企业而言,不是个问题。所以,天然的“又红又专”纯正血统才是难以逾越的障碍。

4.广播电视专用名称不得使用

《关于加强网络视听节目直播服务管理有关问题的通知》规定:未经批准,任何机构和个人不得在互联网上使用“电视台”、“广播电台”、“电台”、“TV”等广播电视专有名称开展业务。而遍观我国广播电视管理条例等法规,我国并没有明确规定何为“广播电视专有名称”,只在我国《互联网视听节目服务管理规定》第二十三条规定“擅自在互联网上使用广播电视专有名称开展业务的”,可“并处3万元以下罚款”。

在这样的模式下,目前业内所知道的虎牙TV,战旗TV、熊猫TV都不能再使用了而应当改名了,顺着这个思路(即电视的英文翻译为TV),我们发现例如FM也将不能使用了,因为FM的中文即为电台,那么类如蜻蜓FM、荔枝FM、豆辩FM、考拉FM等都应当进入改名行列。可以想象一下,如果这些公司都已经将FM列入商标申请,那该有多少悲催,一切从头来。

全局精确流量调度新思路-HttpDNS服务详解

小编:对于互联网,域名是访问的第一跳,而这一跳很多时候会“失足”,导致访问错误内容,失败连接等,让我们在互联网上畅游的爽快瞬间消失,而对于这关键的第一跳,鹅厂也在持续深入研究和思考对策,今天小编就邀请了我们负责这块域名解析的好伙伴—廖伟健同学跟我们做一个分享。同时,今天小编也非常希望了解大伙对这块内容的感受,所以今天文中加入了投票功能,希望您投上神圣的一票哦。事不延迟,我们启程 !

但凡使用域名来给用户提供服务的互联网企业,都或多或少地无法避免在有中国特色的互联网环境中遭遇到各种域名被缓存、用户跨网访问缓慢等问题。那么对于腾讯这样的域名数量在10万级别的互联网公司来讲,域名解析异常的情况到底有多严重呢?每天腾讯的分布式域名解析监测系统在不停地对全国所有的重点LocalDNS进行探测,腾讯域名在全国各地的日解析异常量是已经超过了80万条。这给腾讯的业务带来了巨大的损失。为此腾讯建立了专业的团队与各个运营商进行了深度沟通,但是由于各种原因,处理效率及效果均不能达到腾讯各业务部门的需求。除了和运营商进行沟通,有没有一种技术上的方案,能从根源上解决域名解析异常及用户访问跨网的问题呢?

一、问题根源:

要解决问题,我们得先得了解下现在国内各ISP的LocalDNS的基本情况。国内运营商LocalDNS造成的用户访问异常可以归为下三类:

1、域名缓存:

域名缓存很好理解,就是LocalDNS缓存了腾讯的域名的解析结果,不向腾讯权威DNS发起递归,示意图如下:

022251G8O.jpg

022251G8O.jpg

022251G8O.jpg

为何LocalDNS要把域名解析结果进行缓存呢?原因有以下几个:

(1)保证用户访问流量在本网内消化:国内的各互联网接入运营商的带宽资源、网间结算费用、IDC机房分布、网内ICP资源分布等存在较大差异。为了保证网内用户的访问质量,同时减少跨网结算,运营商在网内搭建了内容缓存服务器,通过把域名强行指向内容缓存服务器的IP地址,就实现了把本地本网流量完全留在了本地的目的。

(2)推送广告:有部分LocalDNS会把部分域名解析结果的所指向的内容缓存,并替换成第三方广告联盟的广告。

这种类型的行为就是我们常说的域名缓存,域名缓存会导致用户产生以下的访问异常:

A、仅对80端口的http服务做了缓存,如果域名是通过https协议或其它端口提供服务的,用户访问就会出现失败。比如支付服务、游戏通过指定端口连接connect server服务等。

B、缓存服务器的运维水平参差不齐,时有出现缓存服务器故障导致用户访问异常的问题。

2、解析转发:

除了域名缓存以外,运营商的LocalDNS还存在解析转发的现象。解析转发是指运营商自身不进行域名递归解析,而是把域名解析请求转发到其它运营商的递归DNS上的行为。正常的LocalDNS递归解析过程是这样的:

而部分小运营商为了节省资源,就直接将解析请求转发到了其它运营的递归LocalDNS上去了:

这样的直接后果就是腾讯权威DNS收到的域名解析请求的来源IP就成了其它运营商的IP,最终导致用户流量被导向了错误的IDC,用户访问变慢。

3、LocalDNS递归出口NAT:

LocalDNS递归出口NAT指的是运营商的LocalDNS按照标准的DNS协议进行递归,但是因为在网络上存在多出口且配置了目标路由NAT,结果导致LocalDNS最终进行递归解析的时候的出口IP就有概率不为本网的IP地址:

这样的直接后果就是GSLB DNS收到的域名解析请求的来源IP还是成了其它运营商的IP,最终导致用户流量被导向了错误的IDC,用户访问变慢。

二、现有的解决方案及存在的问题:

运营商的LocalDNS解析域名异常,给对用户访问腾讯业务的体验造成了非常大的损害。那么我们是如何处理这些域名解析异常的问题的呢?

1、实时监控+商务推动:

这种方案是目前腾讯的运营团队一直在使用的方案。这种方案就是周期比较长,毕竟通过行政手段来推动运营商来解决这个问题是比较耗时的。另外我们通过大数据分析,得出的结论是Top 3的问题用户均为移动互联网用户。对于这部分用户,我们有什么技术手段可以解决以上的问题呢?

2、绕过自动分配DNS,使用114dns或Google public DNS:

这个方案看上去很美好,114dns是国内最大的中立缓存DNS,而Google又是秉承不作恶理念的互联网工程帝国巨鳄,而且腾讯的权威DNS又支持edns-client-subnet功能,能直接识别使用Google publicDNS解析腾讯域名的用户的IP地址,不会出现流量调度失效。但是问题来了:

(1)如何在用户侧构造域名请求:对于PC端的客户端来说,构造一个标准的DNS请求包并不算什么难事。但在移动端要向一个指定的LocalDNS上发送标准的DNS请求包,而且要兼容各种iOS和android的版本的话,技术上是可行的,只是兼容的成本会很高。

(2)推动用户修改配置极高:如果要推动用户手动修改PC的DNS配置的话,在PC端和手机客户端的WiFI下面还算勉强可行。但是要用户修改在移动互联网环境下的DNS配置,其难度不言而喻。

3、完全抛弃域名,自建connectcenter进行流量调度:

如果要采用这种这种方案的话,首先你就得要拿到一份准确的IP地址库来判断用户的归属,然后再制定个协议搭个connect center来做调度,然后再对接入层做调度改造。这种方案和2种方案一样,不是不能做,只是成本会比较高,尤其对于腾讯这种业务规模如此庞大的公司而言。

三、利用HttpDNS解决用户域名解析异常:

既然上面的方案都存在那么多的问题,那有没有一种调度精准、成本低廉、配置方便的基于域名的流量调度系统呢?答案是肯定的。腾讯公司的GSLB 团队推出了一种全新的域名解析调度系统:HttpDNS。HttpDNS是为移动客户端量身定做的基于Http协议和域名解析的流量调度解决方案,专治LocalDNS解析异常以及流量调度不准。详细介绍如下:

(1)HttpDNS基本原理:

HttpDNS的原理非常简单,主要有两步:

A、客户端直接访问HttpDNS接口,获取业务在域名配置管理系统上配置的访问延迟最优的IP。(基于容灾考虑,还是保留次选使用运营商LocalDNS解析域名的方式)

B、客户端向获取到的IP后就向直接往此IP发送业务协议请求。以Http请求为例,通过在header中指定host字段,向HttpDNS返回的IP发送标准的Http请求即可。

(2)HttpDNS优势:

从原理上来讲,HttpDNS只是将域名解析的协议由DNS协议换成了Http协议,并不复杂。但是这一微小的转换,却带来了无数的收益:

A、根治域名解析异常:由于绕过了运营商的LocalDNS,用户解析域名的请求通过Http协议直接透传到了腾讯的HttpDNS服务器IP上,用户在客户端的域名解析请求将不会遭受到域名解析异常的困扰。

B、调度精准:HttpDNS能直接获取到用户IP,通过结合腾讯自有专利技术生成的IP地址库以及测速系统,可以保证将用户引导的访问最快的IDC节点上。

C、实现成本低廉:接入HttpDNS的业务仅需要对客户端接入层做少量改造,无需用户手机进行root或越狱;而且由于Http协议请求构造非常简单,兼容各版本的移动操作系统更不成问题;另外HttpDNS的后端配置完全复用现有权威DNS配置,管理成本也非常低。总而言之,就是以最小的改造成本,解决了业务遭受域名解析异常的问题,并满足业务精确流量调度的需求。

D、扩展性强:HttpDNS提供可靠的域名解析服务,业务可将自有调度逻辑与HttpDNS返回结果结合,实现更精细化的流量调度。比如指定版本的客户端连接请求的IP地址,指定网络类型的用户连接指定的IP地址等。

当然各位可能会问:用户将首选的域名解析方式切换到了HttpDNS,那么HttpDNS的高可用又是如何保证的呢?另外不同运营商的用户访问到同一个HttpDNS的服务IP,用户的访问延迟如何保证?

为了保证高可用及提升用户体验,HttpDNS通过接入了腾讯公网交换平台的BGP Anycast网络,与全国多个主流运营商建立了BGP互联,保证了这些运营商的用户能够快速地访问到HttpDNS服务;另外HttpDNS在多个数据中心进行了部署,任意一个节点发生故障时均能无缝切换到备份节点,保证用户解析正常。

四、接入效果及未来展望:

当前HttpDNS已在腾讯内部接入了多个业务,覆盖数亿用户,并已持续稳定运行超过一年时间。而接入了HttpDNS的业务在用户访问体验方面都有了非常大的提升。以某个接入HttpDNS的业务为例,该业务仅通过接入HttpDNS,在未做任何其它优化的情况下,用户平均访问延迟下降超过10%,访问失败率下降了超过五分之一,用户访问体验的效果提升非常显著。另外腾讯的HttpDNS服务除了在腾讯内部被广泛使用以外,也受到了业务同行的肯定。国内最大的publicDNS服务商114dns在受到腾讯DNS的启发下,也推出了HttpDNS服务。

在未来的日子里,腾讯GSLB团队将会在腾讯内部进一步推广HttpDNS服务,并将在实际业务的需求下对HttpDNS服务进行升级,如提供更为通用、安全、简单的接入协议,进一步提升接入用户的网络访问体验等等。希望HttpDNS能为各位在解决域名解析异常及全局流量调度失效方面提供一个简单、可行的思路,也欢迎各位业界同行与腾讯一起,就如何进行更精准的全局流量调度方面进行更为深入的讨论!

http://119.29.29.29/

接入文档
https://www.dnspod.cn/httpdns/guide

DEMO
https://www.dnspod.cn/httpdns/demo

腾讯DNSPod公共DNS 119.29.29.29 体验报告

腾讯DNSPod推出新Open DNS服务,公共DNS是119.29.29.29