想飞的菜鸟 http://sgzlove2007.javaeye.com UTF-8 Copyright 2003-2008, JavaEye.com http://blogs.law.harvard.edu/tech/rss JavaEye - 做最棒的软件开发交流社区 lunece建立索引遇到的问题 sgzlove2007 作者: sgzlove2007  链接：http://sgzlove2007.javaeye.com/blog/85078  发表时间: 2007年05月31日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

 

最近对lucene的检索进行了肤浅的学习  先是把论坛里大部分的lucene的帖子看了下  大致了解了下lucene   决定学习  在自己测试的时候  发现在对大表的创建索引时耗费的时间实在太长 想通过多线程来解决 对一个表的总记录数来决定创建几个线程来创建索引， 结果是报错：

 D:\lucene\index\_a.fnm (系统找不到指定的文件。)

Lock obtain timed out: SimpleFSLock@D:\lucene\index\write.lock

之类

 

难道lucene创建索引耗费是太长的问题真的没有解决  ，因为是初学没有去研究源代码  只是在自己的博客上发发感概  无意看到我篇文章的朋友不要笑我肤浅啊 鼓了勇气才敢来写第一篇博客的

我测试的代码：

主函数：

java 代码
  1. package luceneTest;   
  2.   
  3. import java.io.File;   
  4. import java.sql.Connection;   
  5. import java.sql.PreparedStatement;   
  6. import java.sql.ResultSet;   
  7. import java.sql.SQLException;   
  8. import java.sql.Statement;   
  9.   
  10. import dataConnectionPool.DataConnectionPool;   
  11.   
  12. public class TMain {   
  13.     private String find = " select id,name from author";   
  14.     private Connection con;   
  15.     private Statement stmt;   
  16.     private File indexFile;   
  17.     private int count ;   
  18.     public TMain(File indexFile)   
  19.     {   
  20.         this.indexFile = indexFile;   
  21.         this.count = countD();   
  22.     }   
  23.     public int countD()   
  24.     {      
  25.         int count=0;   
  26.         try {   
  27.             con = DataConnectionPool.getBasicDataSource().getConnection();   
  28.             stmt = con.createStatement(ResultSet.TYPE_SCROLL_INSENSITIVE,ResultSet.CONCUR_READ_ONLY);   
  29.             ResultSet rs  = stmt.executeQuery(find);   
  30.             while(rs.next())   
  31.            {   
  32.                   rs.last(); // 移动到最后一行    
  33.                   count = rs.getRow(); // 获得当前行号：此处即为最大记录数    
  34.            }    
  35.                
  36.             System.out.println(" 表的总记录数 ："+count);   
  37.         } catch (SQLException e) {   
  38.             // TODO Auto-generated catch block   
  39.             e.printStackTrace();   
  40.         }   
  41.         return count;   
  42.     }   
  43.     public void create() throws InterruptedException   
  44.     {   
  45.         int num = count/10;   
  46.            
  47.         for(int i = 1;i<=num;i++)   
  48.         {   
  49.             System.out.println("main start :"+((i-1)*10+1));   
  50.             CDataIndex cd = new CDataIndex(((i-1)*10+1),10,indexFile);   
  51.   
  52.                 cd.start();   
  53.                
  54.        
  55.         }      
  56.     }   
  57.     public void print(File indexFile, String markInfo)   
  58.     {   
  59.         FData fd = new FData(indexFile,markInfo);   
  60.         fd.findData();   
  61.     }   
  62.        
  63.     public static void main(String[] args) {   
  64.         // TODO Auto-generated method stub   
  65.      File indexFile = new File("D:/lucene/index");   
  66.      String markInfo = "you";   
  67.      TMain tm = new TMain(indexFile);   
  68.       try {   
  69.         tm.create();   
  70.           tm.print(indexFile, markInfo);   
  71.     } catch (InterruptedException e) {   
  72.         // TODO Auto-generated catch block   
  73.         e.printStackTrace();   
  74.     }       
  75.     }   
  76.   
  77. }   

 

调用一个建立索引的类：

java 代码
  1. package luceneTest;   
  2.   
  3. import java.io.File;   
  4. import java.io.IOException;   
  5. import java.sql.Connection;   
  6. import java.sql.PreparedStatement;   
  7. import java.sql.ResultSet;   
  8. import java.sql.SQLException;   
  9. import java.util.Date;   
  10.   
  11. import org.apache.lucene.analysis.cjk.CJKAnalyzer;   
  12. import org.apache.lucene.document.Document;   
  13. import org.apache.lucene.document.Field;   
  14. import org.apache.lucene.index.IndexReader;   
  15. import org.apache.lucene.index.IndexWriter;   
  16. import org.apache.lucene.store.FSDirectory;   
  17.   
  18. import dataConnectionPool.DataConnectionPool;   
  19.   
  20. public class CDataIndex extends Thread {   
  21.     private Connection con;   
  22.     private String find = " select id,name from author";   
  23.     private PreparedStatement ps;   
  24.     private int start = 0;   
  25.     private int num = 0;   
  26.     private File indexFile;   
  27.     private boolean mark = false;    //通过这个来控制是用增量索引还是全局索引
  28.     public CDataIndex(int start,int num,File indexFile)   
  29.     {   
  30.         this.start = start;   
  31.         this.num = num;   
  32.         this.indexFile = indexFile;   
  33.     }   
  34.        
  35.        
  36.        
  37.     public void run()   
  38.     {   
  39.            
  40.         System.out.println(" 开始索引！");   
  41.         Date beginDate = new Date();               
  42.                
  43.             try {   
  44.                 FSDirectory fsd =  FSDirectory.getDirectory(indexFile.getAbsolutePath(), mark);   
  45.                    if(IndexReader.isLocked(fsd)){      //这   
  46.                        IndexReader.unlock(fsd);;   
  47.                       }   
  48.             IndexWriter writerF = new IndexWriter(fsd,new CJKAnalyzer());   
  49. //          RAMDirectory ramD = new RAMDirectory();   
  50. //          IndexWriter writerR = new IndexWriter(ramD,new StandardAnalyzer());   
  51.                
  52.                
  53.             con = DataConnectionPool.getBasicDataSource().getConnection();   
  54.             ps = con.prepareStatement(find,ResultSet.TYPE_SCROLL_INSENSITIVE,ResultSet.CONCUR_READ_ONLY);   
  55.             ResultSet rs  = ps.executeQuery();   
  56.             System.out.println(" start :"+start);   
  57.             rs.absolute(start);   
  58.             rs.previous();   
  59.             while(rs.next()&&num!=0)   
  60.             {   
  61.                 Document doc = new Document();   
  62.                 doc.add(new Field("id",rs.getString(1),Field.Store.YES, Field.Index.UN_TOKENIZED));   
  63.                 doc.add(new Field("content",rs.getString(2), Field.Store.YES,Field.Index.TOKENIZED ));   
  64.                 //writerR.optimize();   
  65.                 //writerR.addDocument(doc); 
  66.                 writerF.optimize(); 
  67.                 writerF.addDocument(doc);   
  68.                 num--;   
  69.             }   
  70. //          writerR.optimize();   
  71. //          writerR.close();           
  72.             writerF.close();               
  73. //          writerF.addIndexes(new Directory[]{ramD});   
  74.             Date endDate = new Date();   
  75.   
  76.             System.out.println("索引耗去的时间(毫秒) ："  
  77.                     + (endDate.getTime() - beginDate.getTime()));   
  78.                
  79.         } catch (IOException e) {   
  80.             // TODO Auto-generated catch block   
  81.             e.printStackTrace();   
  82.         } catch (SQLException e) {   
  83.             // TODO Auto-generated catch block   
  84.             e.printStackTrace();   
  85.         }   
  86.   
  87.     }   
  88.   
  89. }   


已有 10 人发表留言，猛击->>这里<<-参与讨论


JavaEye推荐



]]> Thu, 31 May 2007 14:13:41 +0800 http://sgzlove2007.javaeye.com/blog/85078 http://sgzlove2007.javaeye.com/blog/85078