题 如何防止用户将二进制文件提交到subversion中?


我有一个顽固的用户,他固执地坚持将他的二进制文件(可执行文件,DLL)提交到我们的subversion存储库中。我会进去删除它们,但当然没有任何东西可以从subversion中删除。

虽然有时我们需要提交二进制文件,但我不希望用户这样做是例行公事。我可以设置一个ignore属性,但这并不会阻止用户在确定二进制文件时提交它们。我想要做的是能够控制提交指定文件类型的能力,特别是.exe和.dll文件,逐个目录。

有没有办法在SVN中做到这一点?如果它有任何不同,我们使用VisualSVN服务器和TortoiseSVN。


13
2018-01-29 22:42


起源


好吧,有三个答案如此quicly并且无法在两者之间做出选择,我确信示例脚本将确保“已接受”状态:) - Tim Long
如何管理您的用户?并非所有解决方案都是技术知识吗? - Lasse Vågsæther Karlsen
@Lasse:我同意,但实际上我发现这对预防有用 我 从 偶然 将二进制文件放入SVN存储库(即在新机器上设置Tortoise并忘记添加“bin”和“obj”异常) - Aaronaught
不幸的是,在志愿者的努力中,不存在对用户进行约束的问题。他的贡献对于项目来说太有价值,可能会让他完全失去他,所以我的首选解决方案就是默默地忽略大多数二进制文件。 - Tim Long
我同意这一点。我个人使用VisualSVN,当我用它添加一个项目到Subversion时,它会自动为我添加这些忽略,以及其他一些很好的测量。但要注意,如果你正在与一个骨头用户打交道(读:愚蠢),无论你做什么,他都能做到。他的下一步可能是尝试以某种方式伪装文件。 - Lasse Vågsæther Karlsen


答案:


蒂姆:

你可以尝试这个python钩子脚本。它(松散地)基于上面的那个,但允许拒绝路径的正则表达式模式,并允许通过开始一行来覆盖检查

此改变:

在日志消息中。它使用新的python打印语法,因此它需要一个相当新版本的python(2.6+?)。

from __future__ import print_function

import sys,os
import subprocess 
import re

#this is a list of illegal patterns:
illegal_patterns = [
    '\.exe$',
    '\.dll$',
    '[\^|/]bin/',
    '[\^|/]obj/',
]

# Path to svnlook command:
cmdSVNLOOK=r"{}bin\svnlook.exe".format(os.environ["VISUALSVN_SERVER"])

print(illegal_patterns, file=sys.stderr)

print("cmdSVNLook={}".format(cmdSVNLOOK), file=sys.stderr)

def runSVNLook(subCmd, transact, repoPath):
    svninfo =  subprocess.Popen([cmdSVNLOOK, subCmd, '-t', transact, repoPath], 
                          stdout = subprocess.PIPE, stderr=subprocess.PIPE)
    (stdout, stderr) = svninfo.communicate()

    if len(stderr) > 0:
        print("svnlook generated stderr: " + stderr, file=sys.stderr)
        sys.exit(1)

    return [ line.strip() for line in stdout.split("\n") ]

def findIllegalPattern(fileName):
    for pattern in illegal_patterns:
        if re.search(pattern, fileName):
            print("pattern: {} matched filename:{}".format(pattern, fileName))
            return pattern
    return None

def containsOverRide(logOutput):
    retVal = False
    for line in logOutput:
        print("log line: {}".format(line), file=sys.stderr)
        if re.match("^override:", line.lower()):
            retVal = True
            break
    print("contiansOverRide={}".format(retVal), file=sys.stderr)
    return retVal

def findIllegalNames(changeOutput):
    illegalNames = []
    prog = re.compile('(^[ACUDRM_])[ACUDRM]*\s+(.+)')  # regex for svnlook output
    for line in changeOutput:
        print("processing:{}".format(line), file=sys.stderr)
        if (line != ""):
            match=re.search(prog, line.strip())
            if match:
                mode = match.group(1) 
                ptFilename = match.group(2)
                if mode == 'A':
                  pattern = findIllegalPattern(ptFilename)
                  if pattern:
                      illegalNames.append((pattern, ptFilename))
            else:
                print("svnlook output parsing failed!", file=sys.stderr)
                sys.exit(1)
    return illegalNames

######### main program ################
def main(args):
    repopath = args[1]
    transact = args[2]

    retVal = 0

    overRidden = containsOverRide(runSVNLook("log", transact, repopath))
    illegalFiles = findIllegalNames(runSVNLook("changed", transact, repopath))

    if len(illegalFiles):
        msg = "****************************************************************************\n"

        if len(illegalFiles) == 1:
            msg += "* This commit contains a file which matches a forbidden pattern            *\n"
        else:
            msg += "* This commit contains files which match a forbidden pattern               *\n"

        if overRidden:
            msg += "* and contains an Override line so the checkin will be allowed            *\n"
        else:
            retVal = 1

            msg += "* and is being rejected.                                                   *\n"
            msg += "*                                                                          *\n"
            msg += "* Files which match these patterns are genreraly created by the            *\n"
            msg += "* built process and should not be added to svn.                            *\n"
            msg += "*                                                                          *\n"
            msg += "* If you intended to add this file to the svn repository, you neeed to     *\n"
            msg += "* modify your commit message to include a line that looks like:            *\n"
            msg += "*                                                                          *\n"
            msg += "* OverRide: <reason for override>                                          *\n"
            msg += "*                                                                          *\n"
        msg +=  "****************************************************************************\n"

        print(msg, file=sys.stderr)

        if len(illegalFiles) == 1:
            print("The file and the pattern it matched are:", file=sys.stderr)
        else:
            print("The files and the patterns they matched are:", file=sys.stderr)

        for (pattern, fileName) in illegalFiles:
              print('\t{}\t{}'.format(fileName, str(pattern)), file=sys.stderr)

    return retVal

if __name__ == "__main__":
    ret = main(sys.argv)
    sys.exit(ret)

5
2018-01-11 02:53



太棒了。我在服务器上安装了IronPython,这个脚本完全可以满足我的需求。我喜欢让用户能够覆盖hookscript的概念。 VisualSVN需要一个批处理文件,所以我不得不创建一个单行来调用Python脚本。 - Tim Long


这是一个小钩子脚本,它正在做你想要的: 你必须配置两件事:

  • illegal_suffixes:一个包含所有后缀的python列表,应该中止提交
  • cmdSVNLOOK:svnlook程序的路径

 

import sys
import subprocess 
import re

#this is a list of illegal suffixes:
illegal_suffixes = ['.exe','.dll']

# Path to svnlook command:
cmdSVNLOOK="/usr/bin/svnlook";

def isIllegalSuffix(progname):
    for suffix in illegal_suffixes:
        if (ptFilename.endswith(suffix)):
            return True
    return False

######### main program ################
repopath = sys.argv[1]
transact = sys.argv[2]

retVal = 0
svninfo = subprocess.Popen([cmdSVNLOOK, 'changed', '-t', transact, repopath], 
                                                        stdout = subprocess.PIPE, stderr=subprocess.PIPE)
(stdout, stderr) = svninfo.communicate();

prog = re.compile('(^[ACUDRM_])[ACUDRM]*\s+(.+)')  # regex for svnlook output
for line in stdout.split("\n"):
    if (line.strip()!=""):
        match=re.search(prog, line.strip())
        if match:
            mode = match.group(1) 
            ptFilename = match.group(2)
            if mode == 'A' and isIllegalSuffix(ptFilename): 
              retVal = 1
              sys.stderr.write("Please do not add the following ")
              sys.stderr.write("filetypes to repository:\n")
              sys.stderr.write(str(illegal_suffixes)+"\n")
              break
        else:
            sys.stderr.write("svnlook output parsing failed!\n")
            retVal = 1
            break
    else:
        # an empty line is fine!
        retVal = 0
sys.exit(retVal)

5
2018-01-30 19:28



谢谢,我感谢你花时间发帖 - 不幸的是我们正在使用Windows上的VisualSVN服务器。我需要VBScript,JScript或DOS批处理文件。尽管如此,+1用于发布脚本。 - Tim Long
你可以在windows下使用python,svnlook可用于visual svn: visualsvn.com/support/svnbook/ref/svnlook - Valentin Rocher
我在windwos下开发了这个;-)它在linux和windows上测试过。您肯定可以使用python进行挂钩,而svnlook是VisualSVN的一部分,否则您可以(并且应该)安装svn-commandline - Peter Parker
我接受了这个答案,因为海报花时间提供示例代码。这实际上并没有解决我的问题,因为我们是Windows商店并在Windows Server上运行VisualSVN,我们真的只限于VBScript(唉!)。从来没有,逻辑是合理的,我相信我可以翻译它。 - Tim Long


编写一个预提交钩子,检查添加的文件是否符合您的标准。

你可以用 pre-commit-check.py 作为一个起点。


3
2018-01-29 22:48



您如何建议我在每个目录的基础上控制它?我需要一些目录来允许检入二进制文件,其他目录不是。我宁愿不必将这些信息硬编码到脚本中。 - Tim Long
您的脚本可以从文件中读取允许的路径列表(您可能希望将文件存储在服务器上,而不是存储库中,以便用户无法更改它)如果要将信息存储在存储库中,则可以改为使用目录上的属性。这使信息更加本地化,​​并且它将自动处理新的分支/标签。 - oefe


在TortoiseSVN上,您可以让用户将.dll,.exe等添加到忽略列表中。这样,他们的用户就不会意外地检查它们。有关详细信息,请参阅此处:

http://tortoisesvn.net/docs/release/TortoiseSVN_en/tsvn-dug-ignore.html

在服务器端,正如其他人所说,您可以使用钩子脚本。


3
2018-01-29 22:56



嗯,这是我在这里处理的一个任性的用户。他被问过几次不要提交二进制文件,但仍然这样做。我不认为这是一个记忆的问题。这就是我需要的原因 执行 政策。 - Tim Long
坦率地说,解决这个问题的一种方法就是解雇他。我并不是说这是你处理它的第一种方法,但是如果推动推进,那么非团队球员就没有位置。 - Lasse Vågsæther Karlsen
您也可以拒绝任何提交访问权限。因此,他只能将他的差异作为补丁发送给他的同事。这是Subversion本身限制其对其存储库的写访问的方式:您必须通过向邮件列表发送补丁来证明您编写了正确的代码 - Peter Parker
@Lasse - 这是一项志愿者工作,我不能真正考虑“解雇”正在做好工作的志愿者。我们确实需要他对该项目的贡献。我只需要阻止他犯二进制文件。如果这不是一个自愿的努力,并假设我是经理,那么显然我会处于更有利的地位。 - Tim Long
关键是,他可能不知道不检查那些。他只是在目录中添加所有内容并提交。让他的乌龟忽视他们,问题可能会消失。 - Joel


你可以用一个 预提交 钩。您必须编写一个简单的程序(使用任何语言),如果文件是二进制文件,则返回非零值。

看到 这里 有关存储库挂钩的通用文档,以及 这里 来自Apache的python示例。

您可以查看文件名,或使用 文件 看看他们的类型。


3
2018-01-29 22:48



这一般 - 你可能也想检查.dll,.exe等...文件名给定这个用户的顽固持久性。 - Michael Greene


您可以使用svnlook命令。这是一个执行此工作的python类:

    SVNTransactionParser(object):
        def __init__(self, repos, txn):
            self.repos = repos
            self.txn = txn
            self.ms = magic.open(magic.MAGIC_NONE)
            self.ms.load()

        def tx_files(self):
            files_to_analyze = list()
            for l in self.__svnlook('changed')[0].readlines():
                l = l.replace('\n', '');
                if not l.endswith('/') and l[0] in ['A', 'U']:
                    files_to_analyze.append(l.split(' ')[-1:][0])

            files = dict()        
            for file_to_analyze in files_to_analyze:
                files[file_to_analyze] = {
                                'size': self.__svnlook('filesize', file_to_analyze)[0].readlines()[0].replace('\n', ''),
                                'type': self.ms.buffer(self.__svnlook('cat', file_to_analyze)[0].readline(4096)),
                                'extension': os.path.splitext(file_to_analyze)[1]}

            return files

        def __svnlook(self, command, extra_args=""):
            cmd = '%s %s %s -t "%s" %s' % (SVNLOOK, command, self.repos, self.txn, extra_args)
            out = popen2.popen3(cmd)
            return (out[0], out[2])

tx_files() 方法返回一个包含如下信息的地图:

{ 
    '/path/to/file1.txt': {'size': 10, 'type': 'ASCII', 'extension': '.txt'}, 
    '/path/to/file2.pdf': {'size': 10134, 'type': 'PDF', 'extension': '.dpf'}, 
}

你将需要库python-magic(https://github.com/ahupp/python-magic


1
2017-08-27 20:14





您可以使用预提交钩子脚本来检查文件是二进制文件还是文本文件。


0
2018-01-29 22:48



不好的想法,你不能为网站添加图片。扩展检查要好得多 - Sander Rijken