10/06/16 Let’smakeyour ideasfly! www.uppdragshuset.se Uppdragshuset u:set:] [²ụp:dra:gsh edinthe ywasfound Thecompan lad& LinusWretb year2000by xaminers previouslye JoniSayeler, ce. hPatentOffi attheSwedis arch setoffersse Uppdragshu dvising n o innovaA a d n a s e ic rv se issues, nIPRrelated o s cu o f h it w -tools lopmentofIT ve e d o ls a d an Ko n gtheinnova forsupporKn process. arter toofferasm Thevisionis hemain t h it portw p u s n o / va o inn RdetheclientsIP t is ss a to s focu provnAnouslyaim cisionsbyco es. ic rv se sandour ingourselve fthe sethashalfo Uppdragshu ia, in d ideScan av turnoverouts m ro f mersrange nts wherecusto lie c e Th S&Asia. U o t e p ro Eu mpanies, &Dbasedco R f o s st si n co &Tech eylawfirms rn o aN t n e pat anisaKons. Transferorg 1 10/06/16 TUWien • InformaKonManagementandPreservaKonLab – 8JahreErfahrungimBereichPatentSucheund Evaluierung. – zusammenmitunserenPartners,habenwir `EvaluaKoncampaigns’organisiert: • TREC-CHEM – NIST,UCL,U.ofYork,NIH • CLEF-IP – PROMISENoE(FP7),max-recallGmbH,JoanneumResearch – zusammenarbeitmit • EPO,PIUG,CE-PIUG,etc. Problem:toefficientlyselectnewideas Numberof ideas …afilteringproblem… Timeforreviewing &selecKng 2 10/06/16 SoluKon:automaKcpriorartscreening Was&Wiewirdgemessen? • IREvaluaKonForschungsgebiet – DieEvaluierungvonVerfahrenundSystemenspieltin IReinewichKgeRolle – Evaluierung? • Effizienz–möglichstsparsamerUmgangmitRessourcen – theoreKscheundempirischeAnalysenderverwendeten Algorithmen • EffekKvität–inBezugaufdieUnterstützungdesBenutzers beiderLösungseinesAnwendungsproblems – experimentelleMethodensindhierdieRegel,i.e.„Test CollecKons“ 3 10/06/16 Herausforderungen • dieBewertungderEffekKvitätstehtinengemBezugzur RelevanzvongefundenenElemente • Relevanzisttypischerweisenichtbinär – SelbstwennRelevanzbinärwäre,kannesschwierigsein,eine Beurteilungabzugeben • Relevanzist – SubjekAv:hängtvonderspezifischenBeurteilungdes Anwendersab – SituaAv:beziehtsichaufdieaktuellenBedürfnissedes Anwenders – KogniAv:hängtvondermenschlichenWahrnehmungundden Verhaltenab – Dynamisch:VeränderungenüberdieZeit. Lösungen:Gold-Standard • wireinigenunsübereine„Korrekte“Lösung – gegebenseieinKorpusvonDokumenten – SammleeineListevonAnfragenfürdiesenKorpus – EinodermehreremenschlicheExperten kennzeichnendierelevantenDokumentejeder Anfrage • erforderterheblichenmenschlichenAufwand • AlternaKve: – “Pooling“ – CitaKons 4 10/06/16 Lösungen:MaßefürdieEvaluierung • Precision/Recall gefundene Dokumente – Präzision/Vollständigkeit – sehreindeuKgeMaße relevante Dokumenten – relaKvinstabil – niedrigesDifferenzierungspotenzialDokumentuniversum • Precision-RecallCurve • MeanAveragePrecision • NDCG – nichtbinär # retrieved documents increases 1 precision 0 recall 1 Lösungen:PatentSuche • GoldStandard – CLEF-IP • PriorArt • PassageRetrieval 5 10/06/16 Lösungen:PatentSuche • GoldStandard – CLEF-IP • PriorArt • PassageRetrieval Lösungen:PatentSuche • GoldStandard – CLEF-IP • PriorArt • PassageRetrieval – TREC-CHEM • PatentundNon-PatentLiterature 6 10/06/16 OperaKonalMeasurements 100000EP applicaKons ~5mil. documents SemanKc search Resultlist vs citaKons HowisitMeasured? Thepercentagepresentsthera-oofcita-onsfoundbyaseman-csearchenginein rela-ontototalnumberofdocumentscitedbythepatentofficeexaminer. 7 0.0 A01B A21C A23N A42B A46D A61D A62D B02B B07C B22C B24B B26F B28D B41B B43K B60H B60W B62J B64F B67B C01G C06D C08G C10B C12G C21B C25F D03J D06N E01C E04C E21B F02B F03G F16F F21L F23J F24J F28G G01C G01R G03G G06F G07G G10H H01B H01S H03D H04L 10/06/16 RecallIPCSubclass 80.0 Recalltop100documents 70.0 60.0 50.0 40.0 30.0 20.0 10.0 Summary • • • • • GoldStandard Standardizedmeasurementsmethods OpenaccessduringtesKng Transparencysuppliersandusers Qualitylevels 8 10/06/16 Conclusion SemanKcsearchengine Batchtest AnalyzeTechnicalDomain Selectsearchengine Let’smakeyour ideasfly! www.uppdragshuset.se 9
© Copyright 2024 ExpyDoc
